可按Ctrl+D收藏 蚂蚁资源网

蚂蚁资源网

spark源码编译(spark源码多少行)

  • 时间:2021-02-12 03:16 编辑:刘文步 来源:蚂蚁资源 阅读:198
  • 扫一扫,手机访问
摘要:大家好,今天给大家介绍关于spark源码编译(spark源码多少行)的相关内容,详细讲解如何使用Eclipse搭建Spark源代码编译环境,查看spark源码 为什么要编译,想研读下spark的源码,怎么搭阅读和调试的环境等,希望可以帮助到您。
如何使用Eclipse搭建Spark源代码编译环境,该方法如下:Spark源代码编译,在Linux上压缩,并在补充后将其导入Eclipse,但Eclipse是预先安装Scala插件。
查看spark源码 为什么要编译,建议您在Spark目录中使用Intellij Idem来执行“SBT / SBT Gen-Idea”,自动生成.IDEA项目,进口
想研读下spark的源码,怎么搭阅读和调试的环境,在线搜索,董西城的博客(1)准备以下10)准备JDK 6或JDK 72)安装Scala 2.10.x(注意版本)3)下载的Intellij Idea被解压缩后,安装Scala插件,过程如下:选择“配置” - >“插件” - >“浏览存储库”,输入Scala,然后安装(2)设置火花源阅读环境(需要网络)第一个方法是选择“导入项目”“ - >选择Spark“>”SBT“,然后Intellij自动标识SBT文件,下载依赖外部jar包,整个过程很长,根据机器的网络环境(不推荐在Windows下,可能会为各种问题),通常需要几分钟到几个小时。请注意下载procESS将用于GIT,因此GIT应提前安装。第二种方法是首先在Linux操作系统上生成Intellij项目文件,然后通过Intellij Ideage的“开放式项目”直接打开项目。在Linux上生成Intellij项目文件(需要安装Git,您无需安装Scala,SBT将下载)是:在Spark源代码根目录中,输入SBT / SBT Gen-Idem Note:如果您阅读Windows代码下的源,建议在Linux下生成一个项目文件,然后在Windows中导入Intellij Idea。 (3)建造的Spark开发环境在Intellij Ideag中创建Scala项目,选择“文件” - >“项目结构” - >“Libraries”,选择“+”,介绍Spark-Hadoop,如导入火花 - Assembly_2.10- 0.9.0-I.ncubating-hadoop2.2.2.0.jar(只导入jar包,其他不必要的),如果IDE未被标识,则需要以相同的方式导入Scala库。在开发Scala程序之后:在编写Scala程序后,您可以直接在Intellij中运行,并且该方法在本地模式下运行:单击“Run” - >“运行配置”,填写相应列中的“本地”弹出框,指示参数传递给主函数,如下图所示,然后单击“运行” - >“运行”以运行该程序。如果要将程序置于JAR包中,请以命令行的形式在Spark集群中运行,您可以按照以下步骤操作:选择“文件” - >“项目结构” - >“Artifact”,选择“ +“ - >”jar“ - >”从依赖性的模块中“,se选择主函数并在弹出框中选择输出jar位置,然后选择“确定”。最后,选择“构建” - >“构建工件”生成JAR包。

责任编辑(刘文步

以上就是关于**spark源码编译,spark源码多少行**的全部内容,了解更多请关注蚂蚁资源网。
  • 全部评论(3)
  • 飞创科技
  • 怎么用Eclipse搭建Spark源码阅读环境,应该说这个和是不是Spark项目没什么关系。建议你使用intellij idea,在spark目录下执行"sbt/sbt gen-idea",会自动生成.idea项目,导入即可。idea我不熟,还需要做一些其他的插件配置(python, sbt等)和环境设置。你也可以使用Eclipse看,Eclipse有scala IDE,把Spark项目当maven工程导入。但是子项目之间的依赖会有点问题,会报错。推荐使用前者,向Databricks的开发者看齐;我使用的是后者,我直接依赖了编译好的包就不会报错了,纯读源码的话也勉强可以跟踪和调试。另外,我也看有的Committer用vim看spark代码的,所以怎么看源码都无所谓,你熟悉就好,而且这和是不是Spark项目也没什么关系。:)
  • 2021-02-12 03:16:33
  • 区块链
  • 使用Scala写一个测试代码:object Test { def main(args: Array[String]): Unit = { println("hello world")     } }就把这个Test视为类,项目组织结构如:然后设置编译选项:然后在项目文件夹下面可以找到编译好的Jar包:复制到Spark指定的目录下(自己建的):启动Spark,然后提交任务:spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar
  • 2021-02-12 03:16:33
  • 893811145
  • 试一下命令行启动,确保ipython从anaconda启动第二步:安装spark(需要提前安装JDK)到官网下载spark安装包http://spark.apache.org/downloads.html我下的是这个版本:解压缩之后,不要忘记添加环境变量配置如下系统变量接着需要在命令行键入(spark安装目录下:如D:/spark) > sbt package 进行编译这一步很重要 拷贝 E:/spark/python/pyspark 到 D:/anaconda/Lib/site-packages 目录下第三步:修改spark/conf下的spark-env文件(不知道是否必要)加入如下三行export PYSPARK_PYTHON=/D:/anacondaexport PYSPARK_DRIVER_PYTHON=/D:/anacondaexport PYSPARK_SUBMIT_ARGS='--master local[*]'第四步:启动pyspark发现已启动成功,一般网页会自动打开第五步:测试sc这些其实可以百度得到的望采纳
  • 2021-02-26 13:40:01
最新发布的资讯信息
【简历/资料|内地女明星】 殷茹基本资料( YR个人简历介绍)(2020-12-06 15:19)
【简历/资料|内地女明星】 曹菁基本资料( CJ个人简历介绍)(2020-12-06 15:18)
【简历/资料|内地女明星】 王安妮基本资料( WAN个人简历介绍)(2020-12-06 15:18)
【简历/资料|内地女明星】 白琼基本资料( BQ个人简历介绍)(2020-12-06 15:17)
【简历/资料|内地女明星】 王世霞基本资料( WSX个人简历介绍)(2020-12-06 15:17)
【简历/资料|内地女明星】 宋煜基本资料( SY个人简历介绍)(2020-12-06 15:16)
【简历/资料|内地女明星】 钱增基本资料( QZ个人简历介绍)(2020-12-06 15:16)
【简历/资料|内地女明星】 胡晓黎基本资料( HXL个人简历介绍)(2020-12-06 15:15)
【简历/资料|内地女明星】 李佳慧基本资料( LJH个人简历介绍)(2020-12-06 15:15)
【简历/资料|内地女明星】 张洛嘉基本资料( ZLJ个人简历介绍)(2020-12-06 15:14)
联系客服
网站客服 联系客服
手机版

扫一扫进手机版
返回顶部