1,启动idea
2,选择IDEA UITheme
3,安装IDEA
4,启动IDEA
5,安装scala插件
6,重启IDEA
,
二:导入spark源码
加入JDK SDK
导入spark源码:
三,IDEA基本配置设置
四:创建SCALA项目
设置scala的sdk
创建scala项目:
增加spark的jar包
五:IDEA打包spark application
第一个spark application
删除多余的jar
设置输出路径:
打包编译;
现在/home/cyhp/tools/sparkApp/目录下会增加一个sparkApp.jar,然后再在spark主目录中:
进入spark主目录,执行命令:bin/spark-submit --jars /home/cyhp/tools/sparkApp/sparkApp.jar