注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. tfs-1.3 淘宝内部使用的分布式文件系统 代码

  2. TFS，Taobao File System，淘宝内部使用的分布式文件系统，主要针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据的存储。

  3. 所属分类：其它

    • 发布日期：2011-03-22
    • 文件大小：721920
    • 提供者：superficiak

  1. 海量大量文件复制工具

  2. 经常用到需要拷贝大量的小文件。用系统自带的也可以，但是太慢，占用资源也多。用这个软件应该可以解决。

  3. 所属分类：其它

    • 发布日期：2012-02-01
    • 文件大小：2097152
    • 提供者：litaoa

  1. 淘宝文件系统TFS深入分析

  2. TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好

  3. 所属分类：电子商务

    • 发布日期：2012-02-16
    • 文件大小：1048576
    • 提供者：luolaigen2008

  1. Taobao海量图片存储与CDN系统-v2-系统架构师

  2. 淘宝的影响越来越大，数据的安全也更加重要，数据存储量以每年二倍的速度增长（即原来的三倍）， •商用存储产品，对小文件的存储无法优化，文件数量大，网络存储设备无法支撑，连接的服务器越来越多，网络连接数已经到达了网络存储设备的极限，扩容成本高，10T的存储容量需要几百万￥，单点，容灾和安全性无法得到很好的保证

  3. 所属分类：群集服务

    • 发布日期：2013-07-29
    • 文件大小：1048576
    • 提供者：guoyncn

  1. 多个小文件下载

  2. 实现多个海量小文件无损下载，有详细的下载介绍，属于工具类，可以直接拿来使用

  3. 所属分类：Android

    • 发布日期：2014-03-22
    • 文件大小：2097152
    • 提供者：liericiyan

  1. HBase存储海量图片

  2. 本文档详细的描述了如何采用HBase存储海量图片，以及如何将大批量的小文件写成sequenceFile文件格式。

  3. 所属分类：Java

    • 发布日期：2014-08-08
    • 文件大小：583680
    • 提供者：ls386239766

  1. SQL-DFS：一种基于HDFS的海量小文件存储系统.pdf

  2. 针对 Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时 NameNode 内存占用率高的问题,通过分析 HDFS 基础架构,提出了基于元数据存储集群的 SQL-DFS 文件系统. 通过在 NameNode 中加 入小文件处理模块实现了小文件元数据由 NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行化,减少了文件客户端对 NameNode 的请求次数;通过将部

  3. 所属分类：Java

    • 发布日期：2017-09-13
    • 文件大小：2097152
    • 提供者：fanpei_moukoy

  1. hadoop处理海小文件的改进方法

  2. hadoop处理海小文件的一种改进方法的文章，可供参考。

  3. 所属分类：Hadoop

    • 发布日期：2017-10-26
    • 文件大小：945152
    • 提供者：nastialee

  1. （办公小帮手）免安装挑选复制文件神器

  2. 办公神器，本软件包含两大功能：1、可从海量目录文件中，挑选复制出自己想要的文件夹 2、可从海量文件中挑选复制出来自己想要的文件

  3. 所属分类：C#

    • 发布日期：2017-10-30
    • 文件大小：2097152
    • 提供者：chenxiao417

  1. SQL-DFS:一种基于HDFS 的海量小文件存储系统

  2. 针对Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时NameNode 内存占用率高的问题,通过分析HDFS 基础架构,提出了基于元数据存储集群的SQL-DFS 文件系统. 通过在NameNode 中加入小文件处理模块实现了小文件元数据由NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode 的请求次数;通过将部分DataNo

  3. 所属分类：Hadoop

    • 发布日期：2018-04-23
    • 文件大小：2097152
    • 提供者：w397090770

  1. 磁盘性能测试脚本（海量小文件）

  2. 脚本用于测试磁盘处理小文件的效率。 会在/data01/filesystemtest/ 目录创建TEST_CASE 指定的(目录数量、文件数量)，默认每个文件6K字节，可以生成多组case 一起测试，对比每次的结果。 需要注意脚本执行完成后不会清理使用的文件，请自行手动清理。 有python 环境即可，兼容Windows、lniux

  3. 所属分类：Linux

    • 发布日期：2019-01-09
    • 文件大小：3072
    • 提供者：mineo

  1. 基于 Hadoop 的海量小文件处理技术研究

  2. 基于 Hadoop 的海量小文件处理技术研究 ，主要工作包括两个方面： 1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现 有小文件处理的思想，对海量小文件进行合并然后建立索引。其中索引结构的设 计是本文的创新点及研究重点，包括索引预处理、索引分层、索引分片等。通过 对小文件按类型进行合并，建立多层索引，并对Hadoop平台源代码进行相应改进， 海量小文件在 Hadoop 平台上耗费节点内存的问题得到解决，检索效率得到一定程 度提升、名字节点负担得到减轻、实用性也得

  3. 所属分类：Hadoop

    • 发布日期：2019-03-24
    • 文件大小：3145728
    • 提供者：bbqm2012

  1. 阿里巴巴开源的分布式文件系统 TFS.zip

  2. TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据。 目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，Taobao File System（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。 文章首先概括了TFS的特点：最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文（《TFS简介》

  3. 所属分类：其它

    • 发布日期：2019-07-19
    • 文件大小：1048576
    • 提供者：weixin_39840588

  1. 海量存储原理系列

  2. 用户接口是指结构化查询语言（SQL）。 关系代数是数据库关系模型和关系演算的理论基础。 事务引擎是保证事务ACID性质的组件，在很大程度上影响数据库的效率。 存 和索引是数 库 本模块， 数 织和操作方式。一致性和隔离性,可以归结为一个问题,即数据什么时候可被共享,什么时候必 须被独占。这些决策,最终决定整个数据库系统的并行度,直接决定多线程并发 的性能指标 更改数据的同时要保证一致性和隔离性,就要使得针对不同数据的更改,不同人 或杋器不发送冲突。如果出现对相同薮据的更改,则要将更新进行排队。一

  3. 所属分类：MySQL

    • 发布日期：2019-07-02
    • 文件大小：465920
    • 提供者：abacaba

  1. c++实现合并文件以及拆分实例代码

  2. 本文主要研究的是c++实现合并文件以及拆分的相关内容，分享了实现代码，具体如下。 昨天看到一篇介绍TFS的文章，大意是为了处理海量图片，采用分布式架构，将小图片合并为大的文件 兴趣驱使下，写了一个简单的文件合并拆分程序 合并的方法很简单，将小文件写入到大文件中，使用二进制的方式。在大文件头，用一个int记录合并进来的小文件的数量，接下来，一块一块的写入小文件。 每一块都分为三个部分，第一部分是文件的名称，用20个char 来记录；第二部分用一个int来记录小文件的长度；第三部分则是小文件的实际内

  3. 所属分类：其它

    • 发布日期：2020-12-26
    • 文件大小：46080
    • 提供者：weixin_38655767

  1. SQL_DFS_一种基于HDFS的海量小文件存储系统_马志强.pdf

  2. 针对Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时NameNode 内存占用率高的问题,通过分析HDFS 基础架构,提出了基于元数据存储集群的SQL-DFS 文件系统. 通过在NameNode 中加入小文件处理模块实现了小文件元数据由NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode 的请求次数;通过将部分DataNod

  3. 所属分类：Hadoop

    • 发布日期：2021-03-16
    • 文件大小：1048576
    • 提供者：C_harry

  1. BRFS:博睿文件系统-源码

  2. 防弹背心 BRFS是一个主要针对海量小文件（快照，图片，语音等）存储而设计的高可用，高性能，易扩展的分布式文件系统。BRFS对存储的文件格式没有限制和要求，任何格式的文件以字节字节流的方式进行存储。此系统功能包括以前已有的其他开源产品的权限控制，数据增删读取，多副本备份，数据检验等基础功能，同时我们还设计了独特且高效的副本自动迁移和平衡策略，多应用数据隔离且独立配置，系统资源管理插件，切换状态可视化监控与报警等功能。 首先，一个BRFS系统包含如下三个部分： 1，FS_Server.jar：在其

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：6291456
    • 提供者：weixin_42151036

  1. LFS:文件系统-源码

  2. 轻量级 文件系统（两次简单） 写入速度提升 29%，读取速度提升 39%，“快”很任性。 非常非常快的文件系统，可以同时存储海量大文件和小文件，高并发存储视频音乐和图片等非常棒 链接： 示例： //上传文件，只需一行 // ？如果文件特别大怎么办，是不是需要切片？ // ：为什么需要呢？依然只有这一行，10G? 100G? 1T? 都如你所愿 // ？是否会有碎片？ // ：1 个字节都木有 // ？是否支持断点上传？会不会复杂？ // ：如果我告诉你，依然只有这一行呢？仅仅多了两个参数而

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：757760
    • 提供者：weixin_42165980

  1. 海量数据处理面试题集锦与Bit-map详解

  2. 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。遍历文件b，采取和a相同的方式将url分别存储到1000小文件中（记为）。这样处理后，所有可能相同的url都在对应的小文件（）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。求每对小文件中

  3. 所属分类：其它

    • 发布日期：2021-01-31
    • 文件大小：133120
    • 提供者：weixin_38676500

  1. 海量数据处理面试题集锦与Bit-map详解

  2. 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的大约为300M。遍历文件b，采取和a相同的方式将url分别存储到1000小文件中（记为）。这样处理后，所有可能相同的url都在对应的小文件（）中，不对应的小文件不可能有相同的url。然后我们只要求出1000对小文件中相同的url即可。求每对小文件中

  3. 所属分类：其它

    • 发布日期：2021-01-31
    • 文件大小：133120
    • 提供者：weixin_38565221
« 12 3 4 5 6 7 8 9 10 »