开发工具:
文件大小: 10mb
下载次数: 0
上传时间: 2012-10-22
详细说明： Infobright最近有部分工作涉及到了 Infobright 数据仓库，就浏览了一些相关的资料，感觉很受启发。下面写一些感想，如有谬误，还请指正。 简单的来讲，Infobright 主要有下面的一些优点： 1. TB 级的数据存储和高效查询。大数据量存储主要依赖自己提供的高速数据加载工具（百G/小时）和高数据压缩比（>10:1），高效查询主要依赖特殊设计的存储结构对查询的优化，但这里优化的效果还取决于数据库结构和查询语句的设计。 2. 高数据压缩比，号称一般能够达到 10:1 以上的数据压缩率。高数据压缩比主要依赖列式存储和 patent-pending 的灵活压缩算法。 3. 与主要 BI 分析工具的兼容性。兼容性这点主要依赖与 MySQL 的集成，作为 MySQL 的存储引擎自然地能够保证与 BI 分析工具的兼容。 除了上面的优点外，它也有一些限制： 1. 不支持数据更新。这使对数据的修改变得很困难，这样就限制了它作为实时数据服务的数据仓库来使用。用户要么忍受数据的非实时或非精确，这样对最（较）新数据的分析准确性就降低了许多；要么将它作为历史库来使用，带来的问题是实时库用什么？很多用户选择数据仓库系统，不是因为存储空间不够，而 是数据加载性能和查询性能无法满足要求。 2. 不支持高并发。虽然单库 10 多个并发对一般的应用来说也足够了，但较低的机器利用率对投资者来说总是一件不爽的事情，特别是在并发小请求较多的情况下。 3. 没有提供主从备份和横向扩展的功能。如果没有主从备份，想做备份的话，也可以主从同时加载数据，但只能校验最终的数据一致性，这会使得从机在数据加载时停服务的时间较长；横向扩展方面，倒不是 Infobright 的错，它本身就不是分布式的存储系统，但如果把它搞成一个分布式的系统，应该是一件比较好玩的事情。 在架构方面，Infobright 给我展示了不少新想法，算是受益颇多吧。首先是按列存储，然后把列数据切成小块（Data Pack），进行压缩和统计（DPN, Data Pack Node），然后再对多块数据之间进行知识关联（Knowledge Node），最后对整个表形成知识网格（Knowledge Grid）。虽然说 Infobright 没有提供索引结构，但它 Knowledge Grid 中的 Numerical Histogram、Character Map 和 Pack-to-Pack 结构，怎么看都和 bitmap 索引脱不了关系。只是它的组织形式不像传统数据库中的索引罢了。 其实我们在设计类似的分布式表格系统时，也可以实现类似于 Knowledge Grid 的结构。这个结构未必跟 Infobright 的一样，但是如果在压缩的基础上，基于系统查询模式（分布式系统的查询模式一般相对简单，复杂的也做不来），存储一些辅助的块统计信息以及块之间的关联信息，对于减少查询的资源消耗，提高查询效率会非常有帮助，这也正好是针对分布式表格系统很难建立索引这一缺点的弥补。 ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
