本项目为一个清洗对话数据的多线程框架，目前还比较简陋，欢迎提bug和优化，索引句重复重复降重函数的正则或者后缀算法。代码还在继续完善中，注释以及一些函数出处引用等待完善。 目录结构 --clean: 清洗框架主目录 ---rules: 存放各级别的规则函数 ---tool_data: 存放黑名单词典，每行一个词 ---run_dist.py: 主运行文件，构造dataloader, 加载黑名单 ---single_filter.py: run_dist.py所调