当前位置:首页 > 技术交流 > Hadoop编译源码

Hadoop编译源码

2021/08/27 17:33 分类: 技术交流 浏览:0

在网上看到好多hadoop编译源码的博客,但是一部分写的不是特别清晰.现在把hadoop编译源码重新梳理一下.

1.前期准备

1.1 CentOS联网 (这里使用centos)

配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的

要注意的是使用root 角色编译,减少文件夹权限出现问题.

 

1.2.  jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)

(1)hadoop-2.7.2-src.tar.gz

(2)jdk-8u144-linux-x64.tar.gz

(3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)

(4)apache-maven-3.0.5-bin.tar.gz

(5)protobuf-2.5.0.tar.gz(序列化的框架)

 

2. jar 包安装  (注意: 所有操作必须使用root用户操作)

 

3. 编译源码    

常见问题:

(1)MAVEN install时候JVM内存溢出

处理方式:在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。

(2)编译期间maven报错

可能网络阻塞问题导致依赖库下载不完整导致,多次执行 命令(一次通过比较难):

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,nativeN -DskipTests -Dtar

 

   注意: 编程成功需要看人品,可能一次就成功,也可能需要好几次,祝你好运...

#标签:Hadoop,JAVA,编程,编译源码