最近在利用shell帮公司优化挖掘关键词的流程，用shell替代了多个环节的操作，极大提高了工作效率。下面这篇文章就给大家分享了利用shell实现两个文件去重的多种姿势，有需要的朋友们可以参考借鉴，下面来一起看看吧。

前言 大家都知道shell在文本处理上确有极大优势，比如多文本合并、去重等，但是最近遇到了一个难搞的问题，即两个大数据量文件去重。下面来看看详细的介绍吧。 要求  有txt文件A.txt和B.txt。 其中A为关键词和搜索量，以逗号分隔，约90万行。 B为关键词，约400万行。 需要从A中找出与B重复的关键词。 我试了N种姿势，但结果都不尽人意，最奇怪的是有些方法对小数据量的测试文件有用，一旦用在A与B上就会失败，真叫人百思不得其解。 姿势一： awk -F, '{print $1}' A &