Hadoop开源软件是可靠的、分布式、可伸缩的。
2018-12-21 14:20:01
1：安装 JDK
a)下载jdk-8u65-linux-x64.tar.gz
b)复制到非共享文件的任意位置后--tar开jdk文件
c)创建/soft文件夹
d)移动tar开的文件到/soft下
e)创建符号连接
f)验证jdk安装是否成功
$>cd /soft/jdk/bin
$>./java -version
2.配置java环境
1.编辑/etc/profile
$>sudo nano /etc/profile
在文件最末尾添加环境变量
export JAVA_HOME=/soft/jdk 【jdk 为自己设置的软连接】
exprot PATH=$PATH:$JAVA_HOME/bin
2.使环境变量即刻生效
$>source /etc/profile 【刷新】
3.进入任意目录下,测试是否ok
$>cd ~
$>java -version
Centos 修改当前路径显示为全路径
修改/etc/bashrc
[ "$PS1" = "\s-\v\$ " ] && PS1="[u@h W]\$ "
修改为（W大写换成小写）
[ "$PS1" = "\s-\v\$ " ] && PS1="[u@h w]\$ "
3.安装hadoop
1：安装
a)下载hadoop-2.7.3.tar.gz
b)tar开
$>su centos ; cd ~
$>cp /mnt/hgfs/tools/hadoop-2.7.3.tar.gz ~/downloads
$>tar -xzvf hadoop-2.7.3.tar.gz
c)移动tar开的文件到/soft下
$>mv ~/downloads/hadoop-2.7.3 /soft/
d)创建符号连接
$>ln -s /soft/hadoop-2.7.3 /soft/hadoop
e)验证hadoop安装是否成功
$>cd /soft/hadoop/bin
$>./hadoop version
2.配置hadoop环境变量
$>sudo nano /etc/profile
在最后一行添加
export HADOOP_HOME=/soft/hadoop
export PATH= $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3.生效
$>source /etc/profile
4.配置hadoop
1.单机模式(本地模式)：standalone(local)
2.伪分布模式：Pseudodistributed mode
a)进入${HADOOP_HOME}/etc/hadoop目录
b)编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)编辑mapred-site.xml
注意:mapred-site.xml不存在，需要拷贝一份
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
f)配置SSH
1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
$yum list installed | grep ssh
2)检查是否启动了sshd进程
$>ps -Af | grep sshd
3)在client侧生成公私秘钥对。
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
4)生成~/.ssh文件夹，里面有id_rsa(私钥) + id_rsa.pub(公钥)
5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys
6)修改authorized_keys的权限为644.
$>chmod 644 authorized_keys
7)测试
$>ssh localhost
克隆---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1.以主控端克隆 n 台 client (客户机)
2.启动 所有 client
3.启用共享文件夹【个人爱好】
4.修改 hostname 和 静态 IP
· cd /etc/hostname
xxxx【客户机名】
· cd /etc/sysconfig/network-scripts/ ---->nano ifcfg-ens33
[centos@s200 /etc/sysconfig/network-scripts]$ cat ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=no
IPV6_DEFROUTE=no
IPV6_PEERDNS=no
IPV6_PEERROUTES=no
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=23d103f7-7702-4708-9771-4ee211440084
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.238.200
PREFIX=24
GATEWAY=192.168.238.2
DNS=192.168.238.2
编辑：IPADDR为在自己IP段内设置的IP
GATEWAY，DNS 更改为自己的默认网关
5.重启网络服务 ----->service network restart
6.修改 etc/resolv.conf 文件
nameserver xxxxxx 【自己的默认网关】
...........................................