VMwareWorkstation 平台 Ubuntu14 下安装配置 伪分布式 hadoop

VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop

安装VmwareStation

内含注册机。

链接：https://pan.baidu.com/s/1j-vKgDcMYyOYWg9QQs3FKg

提取码：byMB

下载与安装Ubuntu

http://www.ubuntu.com

在vmware下安装镜像的过程中能跳过直接跳过，在命令行界面如果卡住直接断网即可。网络问题在后面会得到解决。

配置共享文件夹

图片太糊了，下载这个文档清晰点。

链接：https://pan.baidu.com/s/1Ak4W03u3xeOFCJ8GBeEtiQ
提取码：byMB

 

 

 

复制到桌面后

tar zxf /home/hadoop/Desktop/VMwareTools-8.8.2-590212.tar.gz       #解压

cd /home/hadoop/Desktop/vmware-tools-distrib                       #打开目标文件夹

sudo ./vmware-install.pl                                                             #执行安装程序

虚拟机关机后设置共享文件夹

 

 

创建用户，授权

sudo useradd -m hadoop -s /bin/bash

sudo passwd Hadoop

sudo adduser hadoop sudo

更改下载源

 

 

sudo apt-get update

 

配置安装SSH

sudo apt-get install openssh-server

ssh localhost

exit                           # 退出刚才的 ssh localhost

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa              # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

ssh localhost                                    # 密钥登录

安装JDK

sudo apt-get install default-jre default-jdk

vim ~/.bashrc

在文件最前面添加如下单独一行

export JAVA_HOME=/usr/lib/jvm/default-java

source ~/.bashrc     

安装hadoop

Hadoop2可以在http://mirror.bit.edu.cn/apache/hadoop/common/下载，下载后放进共享文件夹中

 

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop

sudo chown -R hadoop ./hadoop       # 修改文件权限

测试是否安装成功

cd /usr/local/hadoop

mkdir ./input

cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

cat ./output/*          # 查看运行结果

 

配置伪分布式hadoop

gedit ./etc/hadoop/core-site.xml

修改

<configuration>

</configuration>

为

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

gedit ./etc/hadoop/hdfs-site.xml

修改

<configuration>

</configuration>

为

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>

cd /usr/local/hadoop   #执行 NameNode 的格式化:

./bin/hdfs namenode -format  

cd /usr/local/hadoop  #开启 NameNode 和 DataNode 守护进程。

./sbin/start-dfs.sh   

测试是否配置伪分布式hadoop成功

终端输入 jps

 

运行伪分布式实例

cd /usr/local/Hadoop

./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

./bin/hdfs dfs -cat output/*