想研读下spark的源码，怎么搭阅读和调试的环境,在线搜索，董西城的博客（1）准备以下10）准备JDK 6或JDK 72）安装Scala 2.10.x（注意版本）3）下载的Intellij Idea被解压缩后，安装Scala插件，过程如下：选择“配置” - >“插件” - >“浏览存储库”，输入Scala，然后安装（2）设置火花源阅读环境（需要网络）第一个方法是选择“导入项目”“ - >选择Spark“>”SBT“，然后Intellij自动标识SBT文件，下载依赖外部jar包，整个过程很长，根据机器的网络环境（不推荐在Windows下，可能会为各种问题），通常需要几分钟到几个小时。请注意下载procESS将用于GIT，因此GIT应提前安装。第二种方法是首先在Linux操作系统上生成Intellij项目文件，然后通过Intellij Ideage的“开放式项目”直接打开项目。在Linux上生成Intellij项目文件（需要安装Git，您无需安装Scala，SBT将下载）是：在Spark源代码根目录中，输入SBT / SBT Gen-Idem Note：如果您阅读Windows代码下的源，建议在Linux下生成一个项目文件，然后在Windows中导入Intellij Idea。 （3）建造的Spark开发环境在Intellij Ideag中创建Scala项目，选择“文件” - >“项目结构” - >“Libraries”，选择“+”，介绍Spark-Hadoop，如导入火花 - Assembly_2.10- 0.9.0-I.ncubating-hadoop2.2.2.0.jar（只导入jar包，其他不必要的），如果IDE未被标识，则需要以相同的方式导入Scala库。在开发Scala程序之后：在编写Scala程序后，您可以直接在Intellij中运行，并且该方法在本地模式下运行：单击“Run” - >“运行配置”，填写相应列中的“本地”弹出框，指示参数传递给主函数，如下图所示，然后单击“运行” - >“运行”以运行该程序。如果要将程序置于JAR包中，请以命令行的形式在Spark集群中运行，您可以按照以下步骤操作：选择“文件” - >“项目结构” - >“Artifact”，选择“ +“ - >”jar“ - >”从依赖性的模块中“，se选择主函数并在弹出框中选择输出jar位置，然后选择“确定”。最后，选择“构建” - >“构建工件”生成JAR包。
spark 源码入口类是哪个类,写Li​​nux脚本＃！ / bin / shif [$＃-lt 2];然后“用户：$ 0 $ 1”EXITELSEECHO“WordCount正在启动！” Spark-Supplic \ - Master Spark：// Spark：7077 \类WordCount \ - executor-Memory 512M \ - Total-Executor-Cores 6 \〜/输入/ WordCount.jar \“$ 1”\“$ 2”回声“WordCount停止了！” FI图标
查看spark源码 为什么要编译,建议您在Spark目录中使用Intellij Idem来执行“SBT / SBT Gen-Idea”，自动生成.IDEA项目，进口

责任编辑（林正豪）

以上就是关于**spark源码，spark官网**的全部内容，了解更多请关注蚂蚁资源网。