文件名称:
阿里Hadoop集群架构及服务体系.PDF
开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2019-08-03
详细说明：阿里Hadoop集群架构及服务体系集群发展现状规模
3000
3000
2500
2000
2000
1500
1000
■集群规模(台)
1000
700
500
200
0
200942010.32010.72012.12012.10
上线集群迁 Oracle rac基服务扩展
移机房本迁移完成至全集团
迎战1111
Alibaba confidentia
集群发展现状容量与负载
集群容量
集群负载
约3200台服务器
每天Job数150,000+道
物理CPU30000核
每天 hive query数6,000
内存"100TB
每天扫描数据量7.5PB
磁盘36000块
每天扫描文件数4亿
存储利用率80%
存储容量60PB
CPU利用率65%峰值80%
Alibaba confidentia
集群发展现状业务
150+集群用户组
4,500+集群用户
淘
淘宝
阿里的“水电煤”服务
聚划算
天猫
CBU
支付宝
HDES
云梯 Hadoop集群
Alibaba confiden
集群服务模式分组管理
Name Quota
f/group/taobao-dev
/group/tmall-dev
Space Quota
按需申请
业务方:
淘宝测试
计费
按需申请
cug-taobao-dev
min/maxSlots
cug-tmall-dev
real slots
Alibaba confidentia
集群服务模式数据共享
原始表/中间表/元数据共享
避免重复计算和存储
“阿里巴巴数据交换中心”
淘宝
交易表
淘
天猫
评价表
支付宝
成交表
Alibaba confidentia
集群服务模式集群共享
生产\开发\测试\预发共享一个集群
重点生产业务09点运行
非生产限制在923点可用
测试」「预发
避免数据在不同集群间拖动
开发
9~23点
9~23
点
9~23点
HDFS
全天可用
云梯 Hadoop集群
Alibaba confidentia
集群服务模式生态系统
Hive
基于 Mapreduce的SQL引擎
Streaming可以用任意可执行程序运行 Mapreduce
Mahout机器学习算法库
Pig
类似于 cHive的大规模数据分析工具
HBase
准在线存储服务
Alibaba confidentia
集群服务模式优势
自建
Hadoop
集群
共用 Hadoop集群
集群搭建机器采购,机房布局
不用考虑
集群运维节点宕机后需要立即介入不用考虑
集群扩计算或存储资源不足,需网页申请,审批通过即
要扩容,采购新的机器可生效
代码维护 adop代码维护,专业的
Hadoop
开发人员
不用考虑
数据复使用其他团队数据,需要集团大部分数据集中在
从另外集群复制过来
起
成本1168台
2861台
Alibaba confidentia
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
