自作トークナイザーを作ってみた。

自作トークナイザーを作ってみた。

摘要

BPE（Byte Pair Encoding）是一种用于NLP的算法，通过递归替换高频字节对生成新词，广泛应用于GPT等大语言模型。它介于字符和单词之间，能有效处理未知词。OpenAI提出字节级BPE，将基础词汇限制在256个，同时通过限制跨字符类别合并优化效率。本文通过实例和代码展示了BPE的实现过程，适合自定义领域词汇或特定文本类型的Tokenizer开发。