开发工具:
文件大小: 1mb
下载次数: 0
上传时间: 2012-02-29
详细说明： 杨传辉 日照@淘宝 V 0.1 2010-10 分布式系统工程实践 ....................................................................................................................... 1 1 引言.......................................................................................................................................... 3 2 基础知识 .................................................................................................................................. 3 2.1 硬件基础 .................................................................................... ................................... 4 2.2 性能估算 ....................................................................................................................... 4 2.3 CAP ............................................................................................................................... 6 2.4 一致性模型 ................................................................................................................... 7 2.5 NOSQL与SQL ............................................................................................................... 9 2.6 Two-Phase commit ...................................................................................................... 10 2.7 Paxos ........................................................................................................................... 11 3 关键技术实现 ......................................................................................................................... 12 3.1 网络编程框架 ............................................................................................................. 12 3.2 HA与Replication ........................................................................................................ 13 3.3 分裂 ............................................................................................................................. 14 3.4 迁移 ............................................................................................................................. 15 3.5 负载均衡 ..................................................................................................................... 16 3.6 Chubby ........................................................................................................................ 16 3.7 分布式事务 ................................................................................................................. 17 3.8 Copy-on-write与Snapshot ........................................................................................ 17 3.9 操作日志与checkpoint .............................................................................................. 19 3.10 列式存储与压缩 ..................................................................................................... 19 4 通用存储系统分类 ................................................................................................................. 20 5 典型存储系统工程实现 ......................................................................................................... 21 5.1 单机存储引擎 ............................................................................................................. 21 5.1.1 随机访问存储引擎 ......................................................................................... 21 5.1.2 通用存储引擎 ................................................................................................. 22 5.1.3 单机存储优化 ................................................................................................. 23 5.2 SQL数据库 ................................................................................................................. 23 5.3 线上最终一致性系统 ................................................................................................. 24 5.4 线上弱一致性系统 ..................................................................................................... 26 5.5 半线上及线下系统 ..................................................................................................... 29 5.5.1 两层结构 ......................................................................................................... 29 5.5.2 GFS................................................................................................................... 30 5.5.3 Bigtable ............................................................................................................ 31 6 通用计算系统分类 ................................................................................................................. 32 7 典型计算系统工程实现 ......................................................................................................... 33 7.1 MapReduce Offline ..................................................................................................... 33 7.2 Online计算 ................................................................................................................. 34 7.2.1 流式计算 ......................................................................................................... 34 7.2.2 并行数据库的SQL查询 ................................................................................. 35 7.2.3 数据仓库复杂查询 ......................................................................................... 36 8 应用........................................................................................................................................ 38 8.1 电子商务类 ................................................................................................................. 38 8.2 搜索类 ......................................................................................................................... 38 8.3 社交类 ......................................................................................................................... 39 8.4 邮箱类 ......................................................................................................................... 40 8.5 图片及视频类 ............................................................................................................. 40 8.6 数据仓库类 ................................................................................................................. 40 8.7 云服务类 ..................................................................................................................... 41 9 工程实现注意事项 ................................................................................................................. 41 9.1 工程现象 ..................................................................................................................... 41 9.2 规范制订 ..................................................................................................................... 42 9.3 经验法则 ..................................................................................................................... 42 9.4 质量控制 ..................................................................................................................... 42 9.4.1 测试第一 ......................................................................................................... 42 9.4.2 代码Review .................................................................................................... 42 9.4.3 服务器程序的资源管理 ................................................................................. 43 ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
