Hadoop编译源码
2021/08/27 17:33 分类: 技术交流 浏览:0
在网上看到好多hadoop编译源码的博客,但是一部分写的不是特别清晰.现在把hadoop编译源码重新梳理一下.
1.前期准备
1.1 CentOS联网 (这里使用centos)
配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的
要注意的是使用root 角色编译,减少文件夹权限出现问题.
1.2. jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)
(1)hadoop-2.7.2-src.tar.gz
(2)jdk-8u144-linux-x64.tar.gz
(3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)
(4)apache-maven-3.0.5-bin.tar.gz
(5)protobuf-2.5.0.tar.gz(序列化的框架)
2. jar 包安装 (注意: 所有操作必须使用root用户操作)
3. 编译源码
常见问题:
(1)MAVEN install时候JVM内存溢出
处理方式:在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。
(2)编译期间maven报错
可能网络阻塞问题导致依赖库下载不完整导致,多次执行 命令(一次通过比较难):
[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,nativeN -DskipTests -Dtar
注意: 编程成功需要看人品,可能一次就成功,也可能需要好几次,祝你好运...
赞 0