提供当今最常用的令牌生成器的实现，重点放在性能和多功能性上。 主要特点： 使用当今最常用的标记生成器训练新词汇并标记化。 得益于Rust的实现，速度非常快（训练和令牌化）。 只需不到20秒即可对服务器CPU上的GB文本进行标记。 易于使用，而且用途广泛。 专为研究和生产而设计。 归一化带有路线跟踪。 总是有可能获得与给定标记相对应的原始句子部分。 执行所有预处理：截断，填充，添加模型所需的特殊标记。 绑定 我们提供对以下语言的绑定（以后还会有更多！）： （原始实现） 使用Pyth