hdfs路径信息获取程序前言shell源码执行语句生成结果说明 前言 经历了资源降维的打击之后，我终于认清现实，决定静下心来处理眼前的这个看似有规划，实则处处不合理的集群。 入职的第一周的周五，也就是前几天，我们智能数据部门的一台机器就因为磁盘故障而宕机了（据运维说是磁盘坏掉了，导致不能开机），当时100T出头的磁盘空间写到了85T，不得不说存储资源还是蛮紧张的；当我发现节点宕机之后，第一反应就是担心hdfs的故障恢复机制会不会将剩余的磁盘写满，当时也有同事提出暂定将备份机制调至2来规避这个问题

【Spark2运算效率】【Spark2运算效率】第五节 影响生产集群运算效率的原因之小文件前言问题概述案例结语跳转 前言 关于小文件的治理方案颇多，可以回归到hdfs底层的block层面看待治理问题。，首先可以通过查询命令（hadoop dfs -count 路径）来查看路径目录下文件夹数目、文件数目及文件总大小（博主曾分享过相关的自动化脚本，有需要的可以去看看，很容易上手【小工具】 hdfs路径信息获取程序），具体可从图3.4的显示效果中查看。也可以采用fsck方法查看具体block数量信息，