hadoop伪分布式

一、安装jdk

1、下载解压

2、配置环境变量

配置成功：

二、ssh免密码登录

https://www.cnblogs.com/suwy/p/9326087.html

三、hadoop伪分布式配置

1、下载

2、解压

3、修改配置文件

修改为jdk安装位置

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/swy/bigdata/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/swy/bigdata/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/swy/bigdata/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

$ cp  mapred-site.xml.template  mapred-site.xml #定mapreduce编程模型运行在yarn之上

<property>  
    <name>mapreduce.framework.name</name>   
    <value>yarn</value>
</property>

$ vim  yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

4、配置环境变量

 

四、启动hadoop

1、 NameNode 格式化

hdfs namenode -format

 2、开启NameNode 和 DataNode 守护进程

ufw disable  #关闭防火墙

start-dfs.sh

 

3、启动成功，浏览器输入http://localhost:50070，出现如下界面：

 五、启动yarn

$ start-yarn.sh

swy@swy:/swy/bigdata/hadoop/etc/hadoop$ jps
3153 DataNode
3511 ResourceManager
3367 SecondaryNameNode
3032 NameNode
3963 Jps
3627 NodeManager

浏览器输入localhost:8088