第1章 神奇的大象——Hadoop 1.1 初识神象 1.2 Hadoop初体验 1.2.1 了解Hadoop的构架 1.2.2 查看Hadoop活动 1.3 Hadoop族群 1.4 Hadoop安装 1.4.1 在Linux系统中安装Hadoop 1.4.2 在Windows系统中安装Hadoop 1.4.3 站在象背上说“hello” 1.4.4 Eclipse下的Hadoop应用开发 参考文献 第2章 HDFS——不怕故障的海量存储 2.1 开源的GFS——HDFS 2.1.1 设计前

一、UDF相关概念 udf函数，用户自定义函数，可以直接在sql语句中计算的函数 优点： 允许实现模块化的程序设计、方便修改代码、增加函数 UDF的执行速度很快，通过缓存计划在语句重复执行时降低代码的编译开销，比存储方法的执行效率更高 可用于减少网络流量 UDF放入内存中，设计不当可能导致系统的崩溃，所以必须在必要的时候实施优化，对udf的优化是通过改写原来的udf代码实现，主要包括两种场景 如果udf嵌套复杂，可以重写一个嵌套层数较少且可以实现相同功能的udf，使性能成倍提升 针对过滤类