文件名称:
基于kafka1.0建立企业级消息平台的若干思考.pdf
开发工具:
文件大小: 953kb
下载次数: 0
上传时间: 2019-10-15
详细说明:唯品会高级架构师的kafka实际使用经验总结,干货满满,非常难得唯品会消息平台演进之路
使用原生态的开源产品(Kaka/ RabbitMQ)
业务各自封装原生客户端SDK
·原生态->WMSv1.0平台
标准化的接入流程
·统一客户端SDK接凵,去访问 Kafka和 RabbitMQ服务
提供资源类的管理和展示,提升运维治理能力
消息监控和告警的统一接入 Mercury系统
·WMSV1.0->v2.0平台
优化接入流程(如流程审核),动态配置更新
统一消息引擎,迁移至 Kafka
扩展 Kafka功能,提供更友好业务支持
X个
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
唯品会消息平台建设中遇到问题及思考
·业务团队维护各自消息资源,数量增多后,维护困难;
7500
TOP
7000
GROU
各应用的消息服务配置及动态更新的支持问题;
6500
P5968
6000
使用不同消息引擎,客户端SK不同,版本不统一;
5500
5000
两种引擎维护成本高,功能上的差异易使用户混淆
资源数量
35
Rabbi
运维治理能力,提升服务可用性的问题
30
25
Kafka
tMQ
消息可靠性问题;
20
15
·消息服务的监控及告詟的支持等问题;
10
集群数量
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
唯品会消息平台建设中遇到问题及思考
资源接入管理:
集群资源的管理
接入资源的申请( Topic/ group)和应用认证授权
消息服务配置管理
运行时管理:
在线服务的配置更新
故障或升级时服务迁移
流量的配额限制
消息服务的降级处理(启/停服务实例)
消息的回溯
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
堆品会消息平台建设中遇到问题及思考
加强监控和告警,提升服务质量
监控数据采集和时序存储
监控指标的历史查询和对比
按业务域SLA的要求制定服务告警 Trigger
按应用域分组的告警邮件和短信通知
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
唯品会消息平台VMS架构图
事件驱动
数据同步
任务分配
志归集
VMS
VMS Management
VMS Backend
Platform
VMS SDK (kafka/rabbitmq proxy)
Service
集群管理
延时消息
服务
Meta管理
应用配置管理
Restful服务
Kafka
RabbitMQ
支持多语言
认证授权
监控指标
服务治理
米集服务
监控告詈
VMS SDK (kafka/rabbitmg proxy)
业务系统
JOB任务
数据持久化
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
唯品会消息平台VMS功能支持
认证与
增强
监控及
消息
授权
回溯
配置管
端到端
理及流
拓扑关
优先级
程审核
系管理
队列
延时
死信
肖息
消息
消息/高性能
队列
多维度
查询
过滤
可靠的
事务
PTP模
ACK机
式
动态水
制
Pubsub
集群资
组内
平扩容
源管理
广播
消息
灰度
申请资
重试
源管理
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
唯品会消息平台V2.0的改进方案介绍
WMSv2.0版本重要的几点变化:
1.统一消息引擎到 Kafka1.0版本(扩展 Kafka功能替换 RabbitMQ
消费端可靠性加强及提升单实例并行消费能力
3.提供延时消息服务
4.组内广播的支持
5.灰度发布的支持
6.支持消息追踪
贴88
RabbitMQ kafka
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
改进方案之消息引擎的统
统一到Kaka引擎的好处:
功能扩展更容易,接口设计更简单
减少用户使用时混淆
相比较 RabbitMQ, Kafka在综合性能上有所提升;
运维难度的降低;
需解决的问题:
解决不同元数据的映射关系;
支持 RabbitMQ的 binding路由机制
用户迁移策略,平滑无感知;
实现DQ延时消息的功能;
10
唯品会
Www.vip.cOm
唯品会仝球精选正品特卖
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.