https://www.myziyuan.com/
- 金牛科技
- 1. 下载Hadoop源代码2. 准备编译环境2.1. 系统CentOS5.52.2. Hadoop代码版本hadoop-0.20.2-release2.3. 联网编译Hadoop 会依赖很多第三方库，但编译工具Ant 会自动从网上下载缺少的库，所以必须保证机器能够访问Internet。2.4. java编译Hadoop要用JDK1.6 以上 安装好之后，请设置好JAVA_HOME 环境变量。2.5. Ant 需要使用Ant 工具来编译Hadoop， Ant安装好之后，请设置好ANT_HOME 环境变量。2.6. Eclipse3. 编译Hadoop3.1. 编译Hadoop步骤1) 在Elipse 的Package 视图中单击右键，选择New->Java Project，如下图所示：步骤2) 选择源代码目录，设置Project 名。在上图所示的对话框中e5a48de588b662616964757a686964616f31333337376362，点击Browse 按钮，选择hadoop-0.20.2 源代码目录，并设置Projectname 为hadoop-0.20.2-dev。工程导入完成后，进入Eclipse 主界面，可以看到hadoop-0.20.2 已经导入进来，但可以看到目录上有红叉叉，是因为Elipse默认使用了Java Builder，而不是Ant Builder，所以下一步就是设置使用Ant Builder。步骤3) 设置Builder 为Ant：右键hadoop-0.20.2-dev>Properties->Builders:在上图所示的界面中，点击New 按钮，在弹出的对话框中选中Ant Builder，确定之后会弹出如下对话框：点击Browse File System 按钮，选择hadoop-0.20.2源代码目录下的build.xml 文件，并设置Name 为Ant_Builder（Name 可以改成其它的，但建议使用Ant_Builder，因为这样名副其实），操作结果如下图所示：除上图所示的设置外，还需要设置如下图所示的Targets，建议设置成Manual Build 编译方式，而不是Auto Build 编译方式。因为在Auto Build 模式下，任何修改都会触发编译，而Manual Build 模式下，只在需要的时候，点击编译按钮或菜单编译即可。Hadoop 各成员都需要编译成jar，所以做如下图所示的一个修改：确定之后，返回如下图所示的Edit Configuration 对话框：上面完成后，回到Builder 的主对话框，再将对话框中的Java Builder 下移，并将它前面的勾去掉。进入Eclipse 主界面，由于之前选择了Manual Build，所以需要人工方式驱动编译，编译成功后，可以看到BUILDSUCCESSFUL 字样。 请注意：如果上图所示的菜单中的BuildAutomatically 被勾中，则在common的右键菜单中可能不会出现Build 子菜单。 在编译过程中，Ant 会自动从网上下载所依赖的库。hadoop-0.20.2 编译成功结束后，可以在build 目录下找到编译后生成的文件hadoop-core-0.20.2-dev.jar。3.2编译过程中出现错误1、可能有时候因为eclipse版本或者操作系统版本的问题使得hadoop提供的eclipse plugin不太好用。解决方法：1）修改$HADOOP_HOME/src/contrib/build-contrib.xml增加一行：<propertyname="eclipse.home" location="/home/gushui/eclipse"/>上句后面的/home/gushui/eclipse由自己的$ECLIPSE_HOME代替2）修改$HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java注释掉原来的//importorg.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;改为importorg.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
- 2021-02-27 13:15:01
- H5支付系统
- 第一个阶段：学习hadoop基本使用和基本原理，从应用角度对hadoop进行了解和学习这是第一个阶段，你开始尝试使用hadoop，从应用层面，对hadoop有一定了解，比如你可以使用hadoop shell对hdfs进行操作，使用hdfs API编写一些程序上传，下载文件；使用MapReduce API编写一个数据处理程序。一旦你对hadoop的基本使用方法比较熟悉了，接下来可以尝试了解它的内部原理，注意，不需要通过阅读源代码了解内部原理，只需看一些博客，书籍，比如《Hadoop权威指南》，对于HDFS而言，你应该知道它的基本架构以及各个模块的功能；对于MapReduce而言，你应该知道其具体的工作流程，知道partition，shuffle，sort等工作原理，可以自己在纸上完整个画完mapreduce的流程，越详细越好。
- 2021-02-12 04:00:57
- 225548545
- Hadoop源码分析如何下手,在Eclipse中新建一个java项目，将src下的文件复制到项目的src下，然后导入lib下的jar文件，即可查看源码了。网上有教程
- 2021-02-12 04:00:57
开通会员