这是什么？ 这是日语令牌生成器（AKA令牌生成器）的简单python包装器 该项目旨在调用令牌生成器，并将句子尽可能容易地拆分为令牌。 并且，该项目支持各种Tokenization工具的通用接口。 因此，比较各种标记器的输出很容易。 也有此项目。 如果发现任何错误，请向github问题报告。 或任何拉请求是欢迎的！ 要求 Python 2.7 Python 3.x 在3.5、3.6、3.7中签入 产品特点 各种令牌生成器之间的简单/通用接口 简单/通用接口，用于使用停用词或词性条件进行