文本语料库分析
词汇探究可产生很少的统计数据,例如常见单词的数量,数据集的唯一单词以及查找出现在五种,四种,三种,两种和两种中的单词所占的百分比,包括和不包括停用词列表。 Sentence Vector Exploration(句子向量探究)基于两种句子向量表示方法的捕获能力比较它们的能力。 其中包括Spark ML库使用基于TDIDF的矢量表示以及Google发布的预训练语句编码器。
设置环境
创建EMR集群
You are suggested to download the MNLI dat