Hadoop集群内lzo的安装与配置
创始人
2024-07-26 11:20:59
0

 为了配合部门hadoop平台测试,作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包:gcc、ant、lzo、lzo编码/解码器并配置lzo的文件:core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正文:

最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛。在此总结一下,也给大家做个参考。

操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-CDH3B4

安装lzo所需要软件包:gcc、ant、lzo、lzo编码/解码器,另外,还需要lzo-devel依赖

配置lzo的文件:core-site.xml、mapred-site.xml

大致步骤

1)安装和更新gcc、ant

2)在各个节点安装lzo

3)安装lzo编码/解码器

4)修改配置文件,并同步各节点的配置文件

注:没有特别指出的话,所有操作都是在Namenode中进行的

一、lzo安装:

1、gcc的安装:yum即可,记得同时更新lib*、glibc*、gcc*

2、ant的安装:

删除旧版本:yum remove ant

安装新版本:

wget http://mirror.bjtu.edu.cn/apache//ant/binaries/apache-ant-1.8.2-bin.tar.bz2 
tar -jxvf apache-ant-1.8.2-bin.tar.bz2

添加ant的环境变量:

vi /etc/profile 
export ANT_HOME=/usr/local/apache-ant-1.8.2 
export PATH=$PATH:$ANT_HOME/bin 
source /etc/profile

3、lzo的安装:

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz 
tar -zxvf lzo-2.04.tar.gz 
./configure --enable-shared 
make && make install

库文件被默认安装到了/usr/local/lib,我们需要进一步指定lzo库文件的路径,两个方法都可以:

1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台),或/usr/lib64(64位平台)

2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件,写入lzo库文件的路径,然后运行/sbin/ldconfig -v,使配置生效

4、在各个节点安装lzo:

这句话本可以一笔带过,但我把它单独列出作为一步,就是要提醒大家:Namenode和Datanode都要安装lzo!

所需软件包:gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm

安装过程:略

调整库文件路径:略

5、lzo编码/解码器的安装:

这里必须要说明:如果hadoop是cloudera版的,那么lzo编码/解码器就不要用google官方的那个!

到这里下载:https://github.com/kevinweil/hadoop-lzo。我曾经被官方那个东西郁闷了很久,搜索了大量资料,最后搞明白。

wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz 
tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz 
cd kevinweil-hadoop-lzo-2ad6654 
ant compile-native tar

编译失败:

make: *** [impl/lzo/LzoCompressor.lo] Error 1

解决方法参考:http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1

我这里是由于缺少lzo-devel依赖的原因,lzo-devel有lzo- 2.04-1.el5.rf的依赖:

wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm 
wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm 
rpm -ivh lzo-2.04-1.el5.rf.i386.rpm 
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm

重新ant compile-native tar,编译成功!

编译成功后,还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下,拷贝操作请参考google的官方文档:

cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/ 
tar -cBf - -C build/native . | tar -xBvf - -C home/hadoop/hadoop-0.20.2-CDH3B4/lib/native 
cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/ 
chown -R hdfs:hadoop native/

6、同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录

这里有一点要说明,由于某种原因,我把它们也拷贝到了hbase的相应目录下,但我认为其实是不需要拷贝的。

当初在集群内测试lzo时,遇到了问题,我以为hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目录,就把它们拷贝到了hbase。后来问题解决,发现不是hbase的原因,但我最终没有在hbase里删除它们。所以,是否有必要把它们也拷贝到hbase,有待于大家亲自测试。#p#

二、配置lzo:

1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性:

vi core-site.xml:

 

 
io.compression.codecs  
org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.Gzip
Codec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec 

  
io.compression.codec.lzo.class  
com.hadoop.compression.lzo.LzoCodec  

 

vi mapred-site.xml:

 

  
mapreduce.map.output.compress  
true  
 
  
mapred.child.env  
JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64  
 
  
mapreduce.map.output.compress.codec  
com.hadoop.compression.lzo.LzoCodec

2、同步各节点的配置文件!

三、hadoop集群内测试lzo:

首先,安装lzop,生成一些lzo文件,然后上传到hdfs,供我们的开发人员在hive中直接调用。

lzo前面已经安装,lzo库文件的路径也已经调整,现在只要安装lzop就可以了:

wget http://www.lzop.org/download/lzop-1.03.tar.gz 
tar -zxvf lzop-1.03 
cd lzop-1.03 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/ lib 
./configure 
make && make install

要说明的是,在指定LD_LIBRARY_PATH时,我没有使用官方帮助文档中的写法,因为那个写法在编译时老出错,不知什么原因。

lzop -U -9 66_22_2011-04-14.txt  
$HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus 
开发人员在Hive中直接调用这个lzo文件时出错:
Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available

这个错误,困住了我整整两天!试了各种方法都不行,期间的辛苦自不必待言,直到我看到一个网页:http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。(注:访问该网页需要用代理。万恶的网络管制!)

页面的最下方,有这样一句话:So, I just deleted the hadoop-gpl-compression and everything started working.于是,我删除了$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jar,终于,everything is OK!

所以,如果你也像我一样,做了所有该做的事情,但是调用lzo时还是会出现native-lzo library not available的错误,请检查你的$HADOOP_HOME/lib目录下是否有google官方的那个lzo编码/解码器!

原文:http://share.blog.51cto.com/278008/549393

【编辑推荐】

  1. Apache Hadoop最佳实践和反模式
  2. 浅析Hbase中的Hadoop单机环境配置
  3. 经验总结:Hadoop分布式文件系统中架构和设计要点汇总

相关内容

热门资讯

如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
施耐德电气数据中心整体解决方案... 近日,全球能效管理专家施耐德电气正式启动大型体验活动“能效中国行——2012卡车巡展”,作为该活动的...
20个非常棒的扁平设计免费资源 Apple设备的平面图标PSD免费平板UI 平板UI套件24平图标Freen平板UI套件PSD径向平...
德国电信门户网站可实时显示全球... 德国电信周三推出一个门户网站,直观地实时提供其安装在全球各地的传感器网络检测到的网络攻击状况。该网站...
为啥国人偏爱 Mybatis,... 关于 SQL 和 ORM 的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行...
《非诚勿扰》红人闫凤娇被曝厕所... 【51CTO.com 综合消息360安全专家提醒说,“闫凤娇”、“非诚勿扰”已经被黑客盯上成为了“木...
2012年第四季度互联网状况报... [[71653]]  北京时间4月25日消息,据国外媒体报道,全球知名的云平台公司Akamai Te...