本资源为大数据分析工具的数据预处理部分，完整的描述了数据清洗与处理的过程，仅供参考。数据预处理从数据输入到清洗处理，去除异常值，常数列的一系列操作。

lgb 代码入口：sh base_run.sh。 写了很多冗余特征，跑起来非常慢，需要做一下特征选择。 线上提交后0.7154。 代码中用到了分词和词向量，需要将切词的代码换成自己的切词代码，需要自己提供词向量。 我的预训练向量是之前使用百科文本作为预料利用FastText训练出来的。 恩 数据准备：python3 data / data_preprocess.py。 代码入口：python3 src / run_model.py train / pred。 写了两个网络cnn_network_

神经网络项目 该项目由我们的神经网络项目的脚本组成。 第1部分： 数据预处理读取conll格式并仅提取pos和word及其位置。分析数据，获取每个标签的最小句子长度，句子总数，句子平均长度和数据分布。 第2部分： 尚未完成 表中的内容： 数据样本 src data_preprocess.py 环境文件 自述文件 运行 虚拟环境创建 使用点 virtualenv pip install -r environment.yaml 使用conda conda env update --file en