YouTokenToMe YouTokenToMe是专注于计算效率的无监督文本令牌生成器。 目前，它实现了快速字节对编码（BPE）[ ]。 在训练和标记化方面，我们的实现要比 ， 和。 在某些测试案例中，它快90倍。 查看我们的结果。 主要优势： 多线程训练和令牌化 该算法具有O(N)复杂度，其中N是训练数据的长度 C ++中的高效实现 Python包装器和命令行界面 额外功能： BPE退出（如在） 与原始论文的算法一样，我们也没有考虑跨越单词边界的标记。 就像在，所有空格符号都由元