开发工具:
文件大小: 40mb
下载次数: 0
上传时间: 2011-12-24
详细说明： Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。 Pig是一个客户端应用程序，就算你要在Hadoop集群上运行Pig，也不需要在集群上装额外的东西。Pig的安装是灰常的简单的： 1、安装JAVA6（在Windows的话要装Cygwin），设置好JAVA_HOME。 % export JAVA_HOME=/home/tom/jdk1.6 2、下载本文件，解压到你的工作空间： % tar xzf pig-x.y.z.tar.gz 3、为了方便，可以把Pig的程序目录放到命令行路径里，比如： % export PIG_INSTALL=/home/tom/pig-x.y.z % export PATH=$PATH:$PIG_INSTALL/bin 注销或重启，你就可以用pig -help来查看使用帮助了，安装够简单吧？ ：） Pig有两种模式： 一种是Local mode，也就是本地模式，这种模式下Pig运行在一个JVM里，访问的是 本地的文件系统，只适合于小规模数据集，一般是用来体验Pig。而且，它并没有用到Hadoop的Local runner，Pig把查询转换为物理的Plan，然后自己去执行。 在终端下输入 % pig -x local 就可以进入Local模式了。 还有一种就是Hadoop模式了，这种模式下，Pig才真正的把查询转换为相应的MapReduce Jobs，并提交到Hadoop集群去运行，集群可以是真实的分布式也可以是伪分布式。要想Pig能认识Hadoop，你要告诉它Hadoop的版本以及一些关键daemon的信息（也就是Namenode和Jobtracker的Address和Port）。比如，下面这个可以允许Pig连接到任何Hadoop0.20.*上： % export PIG_HADOOP_VERSION=20 接下来，你还要指明集群的Namenode和Jobtracker的所在。有两种方法，一种就是把你Hadoop的Conf地址添加到Pig的Classpath上： % export PIG_CLASSPATH=$HADOOP_INSTALL/conf/ 还有一种就是在Pig目录的Conf文件夹（可能需要自己创建）里创建一个pig.properties文件，然后在里面添加集群的Namenode和Jobtracker的信息： fs.default.name=hdfs://localhost/ mapred.job.tracker=localhost:8021 搞定后，在终端执行下面的命令： % pig 你就会看到下面的信息： 2009-03-29 21:22:20,489 [main] INFO org.apache.pig.backend.hadoop.executionengine. HExecutionEngine – Connecting to hadoop file system at: hdfs://localhost/ 2009-03-29 21:22:20,760 [main] INFO org.apache.pig.backend.hadoop.executionengine. HExecutionEngine – Connecting to map-reduce job tracker at: localhost:8021 grunt> 如你所见，Pig报告已经连上了Hadoop的Namenode和Jobtracker，是不是也灰常的简单？ 到此，Pig的安装和配置讲解完毕，是不是很Easy，那还等什么，赶紧去试试，玩玩~ ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
