一. JAVA8安装:
1. 安装步骤(略)
2. 验证:
java -version
二. Python3.6安装:
1. 安装步骤(略)
2. 验证:
python --version
pip3 --version
三. scala安装:
1. 安装步骤:
下载地址:https://www.scala-lang.org/download/
下载scala-2.13.1.msi版本,点击安装
注意:scala的安装目录不能有空格,所以不能安装到默认的 program profile 目录下。
2. 验证:
scala -version
四. spark安装:
1. 安装步骤:
下载地址:https://spark.apache.org/downloads.html
2. 配置环境变量:
配置SPARK_HOME
添加path:%SPARK_HOME%in;%SPARK_HOME%sbin;
3. 验证:
pyspark
(会报winutils错误)
五. hadoop配置(不配置会报winutils错误)
1. 配置步骤:
建一个{path}hadoopin目录
下载地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip
将文件内容拷贝到{path}hadoopin中。
2. 配置环境变量:
配置HADOOP_HOME
添加path:%HADOOP_HOME%in
3. 验证:
pyspark
(不会报错)
六. 安装jupyter:
安装步骤:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter
启动:
jupyter notebook --ip 0.0.0.0
以下为远程访问方式:
获取带token的链接:
jupyter notebook list
复制链接,将0.0.0.0替换为实际ip,到浏览器登陆。
七. 其他包:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib