缓冲令牌生成器 通过指定令牌有状态地分割输入数据 BufferedTokenizer在实例化时使用定界符，或者默认情况下基于行。 它允许输入是从某个外部源中输入的，该外部源接收任意长度的数据报，这些数据报可能包含也可能不包含用于分隔实体的令牌。 在这方面，它理想地与东西配对。 支持的Ruby版本 该库旨在支持以下Ruby实现，并以下Ruby实现： Ruby 1.8.7 Ruby 1.9.2 Ruby 1.9.3 Ruby 2.0.0 Ruby 2.1.0 如果某些解释器无法正常工作，