在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间

在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间