泰语分词器 快速和准确的泰式标记化库，使用专为全文搜索应用程序设计的受监督 。 安装 pip3 install thai_tokenizer 用法 默认的配对对已针对简短的泰语-英语产品描述进行了优化。 from thai_tokenizer import Tokenizer tokenizer = Tokenizer () tokenizer ( 'iPad Mini 256GB เครื่องไทย' ) #> 'iPad Mini 256GB เครื่อง ไทย' tokeni