从开始知道需要安装Hadoop到现在Hadoop安装成功并可以使用,前前后后花费了好长时间,但是从中也吸取了很多教训,
1.不要永远照抄别人的教程。这一点是我这近两天发现的,比如在所有的网上的教程,基本都是会指导你去安装一个Windows与Linux之间文件传输的工具
起初我也是按照网上的教程,MobaXterm,这个软件就是那个传输工具,又在这个软件使用上花费了很大功夫,但是更具自己的理解,Linux也是一个系统
既然是一个成熟的系统,那么它就肯定也会具备window绝大部分的功能,很快我就发现了,可以在Linux系统上直接去官网下载相应的jdk和Hadoop。
2.更具自己的理解去配置jdk和Hadoop
为什么这样说呢,以前在配置window上上的jdk时,网上的教程也是千奇百怪,作为一个新手去配置,总会显得好多东西很难理解,而对于Linux又是一个完全不一样的
环境,在这个新的系统,就有新的系统的规则,而Linux的规则就是忘了所有的界面,就比如一个新建文件夹,在Windows中右击新建很轻松,而在Linux系统上mkdir 文件名,这并不是Linux不好,二十Linux有它自己的规则,说到这里。就很清楚了,我们需要知道Linux的规则,而规则很容易就可以从网络上获取,为什么要配置环境变量?不就是希望系统可以找到你的jdk和Hadoop吗。到这里,我们就懂了如何去操作了。
我是这样做的
(1)jdk和Hadoop环境变量配置教程
在windows系统上我们需要配置JAVA_HOME,CALSSPATH,PATH在Linux系统中我们也是需要配置的,下面是我的配置(注意文件的路径是不一样的,根据自己的情况定):
export JAVA_HOME=/home/yan/hadoop/jdk1.8.0_261 export HADOOP_HOME=/home/yan/hadoop/hadoop-2.10.1 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH ~ ~
相信这一段代码很容易就可理解,如果这都不能理解这能说你当时安装jdk时,只是照抄网上的教程,基本意思还不知道
在环境配置好了之后,我们就需要去验证,jdk的验证与Windows一样,Hadoop的验证时hadoop version
如果通过了验证就证明你的环境变量都配置好了。
下面就需要对Hadoop集群进行配置,明天写!