spark源码编译（spark源码多少行）

893811145
试一下命令行启动，确保ipython从anaconda启动第二步：安装spark（需要提前安装JDK）到官网下载spark安装包http://spark.apache.org/downloads.html我下的是这个版本：解压缩之后，不要忘记添加环境变量配置如下系统变量接着需要在命令行键入(spark安装目录下：如D:/spark) > sbt package 进行编译这一步很重要拷贝 E:/spark/python/pyspark 到 D:/anaconda/Lib/site-packages 目录下第三步：修改spark/conf下的spark-env文件（不知道是否必要）加入如下三行export PYSPARK_PYTHON=/D:/anacondaexport PYSPARK_DRIVER_PYTHON=/D:/anacondaexport PYSPARK_SUBMIT_ARGS='--master local[*]'第四步：启动pyspark发现已启动成功，一般网页会自动打开第五步：测试sc这些其实可以百度得到的望采纳
2021-02-26 13:40:01

区块链
使用Scala写一个测试代码：object Test { def main(args: Array[String]): Unit = { println("hello world") } }就把这个Test视为类，项目组织结构如：然后设置编译选项：然后在项目文件夹下面可以找到编译好的Jar包：复制到Spark指定的目录下（自己建的）：启动Spark，然后提交任务：spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar
2021-02-12 03:16:33

飞创科技
怎么用Eclipse搭建Spark源码阅读环境,应该说这个和是不是Spark项目没什么关系。建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。idea我不熟，还需要做一些其他的插件配置(python, sbt等)和环境设置。你也可以使用Eclipse看，Eclipse有scala IDE，把Spark项目当maven工程导入。但是子项目之间的依赖会有点问题，会报错。推荐使用前者，向Databricks的开发者看齐；我使用的是后者，我直接依赖了编译好的包就不会报错了，纯读源码的话也勉强可以跟踪和调试。另外，我也看有的Committer用vim看spark代码的，所以怎么看源码都无所谓，你熟悉就好，而且这和是不是Spark项目也没什么关系。:)
2021-02-12 03:16:33