文件名称:
基于Kafka的多台远程服务器上的网页文件接入到本地的技术方案以及Flume+Kafka调研
开发工具:
文件大小: 427kb
下载次数: 0
上传时间: 2019-03-13
详细说明： 第一章 需求 对方的网页文件接入到我方服务器。每个文件要知道其：网站、采集时间等。 通过消息队列将多个远程服务器上的【数据文件】源源不断的接入到本地服务器，数据文件是下载下来的网页，传输过来的时候还要带上来自的网站和下载日期等信息。 目前讨论消息队列用Kafka。 第二章 基本方案 1、我现在能想到的就是: 远程服务器编写程序, 不停读取文件的内容成为一个字符串，然后再加上来自的网站、下载日期等信息，组合成一个JSON字符串，通过调用kafka的生产者API将字符串写入Kafka。 2、JSON数据格式设计： { “source”: “来源网站名” , “filename” :
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
