开发工具:
文件大小: 55mb
下载次数: 0
上传时间: 2015-10-05
详细说明： 1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。 3.Pig基本数据类型：int、long、float、double、chararry、bytearray 复合数据类型：Map、Tuple、Bag Bag的类型如{('age',31),('name','张三')} 4.如何安装Pig 4.1 把pig-0.11.1.tar.gz复制到/usr/local下 4.2 使用命令tar -zxvf pig-0.11.1.tar.gz解压缩 4.3 使用命令mv pig-0.11.1 pig 进行重命名 4.4 编辑文件vi /etc/profile 设置环境变量 export $PIG_HOME=/usr/local/bin export PATH =......$PIG_HOME/bin.... 保存，然后执行source /etc/profile 4.5 编辑文件$PIG_HOME/conf/pig.properties，增加两行如下 内容 fs.default.name=hdfs://hadoop0:9000 mapred.job.tracker=hadoop0:9001 5.对wlan数据如何使用pig进行分析处理 5.1 把待处理的数据上传到HDFS中 5.2 把HDFS中的数据转换为pig可以处理的模式 A = LOAD '/wlan' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray); 5.3 把里面的有用的字段抽取出来 B = FOREACH A GENERATE msisdn, t6, t7, t8, t9; 5.4 分组数据 C = GROUP B BY msisdn; 5.5 流量汇总 D = FOREACH C GENERATE group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9); 5.6 存储到HDFS中 STORE D INTO '/wlan_result'; ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
