文件名称:
内存数据交换格式ApacheArrow.zip
开发工具:
文件大小: 7mb
下载次数: 0
上传时间: 2019-07-18
详细说明： Apache Arrow是Apache基金会下一个全新的开源项目，同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。用户在应用大数据分析时除了将Hadoop等大数据平台作为一个经济的存储和批处理平台之外也很看重分析系统的扩展性和性能。过去几年开源社区已经发布了很多工具来完善大数据分析的生态系统，这些工具涵盖了数据分析的各个层面，比如列式存储格式(Parquet/ORC)、内存计算层(Drill、Spark、Impala和Storm)以及强大的API接口(Python和R语言)。Arrow则是最新加入的一员，它提供了一种跨平台跨应用的内存数据交换格式。提高大数据分析性能的一个重要手段是对列式数据的设计和处理。列式数据处理借助向量计 算和SIMD使我们可以充分挖掘硬件的潜力。Apache Drill这一大数据查询引擎无论是在硬盘还是在内存中数据都是以列的方式存在的，而Arrow就是由Drill中Value Vector这一数据格式发展而来。除了列式数据，Apache Arrow也支持关系型和动态数据集，这使它成了处理物联网等数据时的理想格式选择。Apache Arrow为大数据生态系统带来了可能性是无穷的。有Apache Arrow做为今后的标准数据交换格式，各个数据分析的系统和应用之间的交互性可以说是上了一个新的台阶。过去大部分的CPU周期都花在了数据的序列化和反序列化上，现在我们则能够实现不同系统之间数据的无缝共享。这意味着用户在将不同的系统结合使用时再也不用为数据格式多花心思了。Performance Advantage of Columnar In-Memory Advantages of a Common Data Layer 每个系统都有自己内部的内存格式70-80%的CPU浪费在序列化和反序列化过程类似功能在多个项目中实现，没有一个标准所有系统都使用同一个内存格式避免了系统间通信的开销项目间可以共享功能（比如Parquet-to-Arrow reader） 标签：Apache
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
