一、准备环境:
系统:centos6.5 64位
192.168.1.61 master
192.168.1.5 slave
二、在两台服务器上都要配置ssh免密码登录
在192.168.1.61 上
vim /etc/hosts最后添加
192.168.1.61 master 192.168.1.5 slave
在192.168.1.5 上
vim /etc/hosts最后添加
192.168.1.61 master 192.168.1.5 slave
重要:无论master还是slave都不要在该文件的127.0.0.1后面填写 master 或者 slave
当然两台机器都要修改hostname
接下来修改master和slave1 的配置文件
vim /etc/ssh/sshd_config
(要确保这些字符前无注释符号“#”)
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
PasswordAuthentication yes
PeimitEmptyPasswords yes
修改后重启sshd服务,执行 service sshd restart
到这里免密码登陆的准备工作做完了,接下来是真正的做了:
1.在本地机上输入命令: ssh-keygen -t rsa
2.接着一路按回车,默认情况下ssh生成的公密钥会被存储到目录/root/.ssh下(注意这个文件夹的权限为700),分别为id_rsa 和id_rsa.pub
3.在本地机上创建文件 authorized_keys(权限为600)
touch /root/.ssh/authorized_keys
并将公钥追加到authorized_keys文件中:
cat id_rsa.pub >> authorized_keys
4.修改文件夹/root/.ssh的权限:
(本地机和远程机都要修改)
chmod 700 /root/.ssh
5.修改文件的属性:
chmod 600 /root/.ssh/authorized_keys
6.将公钥复制到ip地址为192.168.1.5的远程机上:
ssh-copy-id -i /root/.ssh/id_rsa/pub root@192.168.1.5 (实践证明在传送公钥时,这个命令好于scp命令 )
笔者在输入命令时已经在远程主机上创建了文件夹如下:/root/.ssh/,并且,已经按上文修改了权限/.ssh (700)
7.在本地机master上执行命令:
ssh-add /root/.ssh/id_rsa
这个是为了将公钥添加进来。
8. 在本地主机上输入:
ssh slave(回车)
即可登录到远程主机上了。
到这里从master到slave的免密码登陆就做好了;对于slave到master的免密码登陆其实都是一样的只是某些东西变化一下,这里不做详细的叙说。
三、hadoop 的配置
到了这里就是重头戏了,前面的一切都是为这里做铺垫。
首先在master上进行操作:
1、官网下载Hadoop
hadoop-2.7.3.tar.gz
我这里有一份从官网下载好的(在X国从hadoop官网下载速度好慢的,原因都懂。。。),这里是百度云盘分享:http://pan.baidu.com/s/1hsNzzUW
我下载的这个包是无需进行编译安装的,解压后配置一下就可以用。
2.安装rsync、Jdk1.8
我配置的是163的开源 ,从163下载XXX.repo文件放在该放的repo目录下就可以用,在 /etc/yum.repos.d/ 目录下:
执行:wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
配置好后,直接执行:
yum install java-1.8.0-openjdk
yum install java-1.8.0-openjdk-devel
我这里的jdk安装后存放的目录是:
/usr/lib/jvm/java-1.8.0-openjdk.x86_64
这个目录后面配置hadoop时候有用
这样jdk也配置完成了
3.在/home下新建文件夹hadoop,然后将hadoop-2.7.3.tar.gz上传至此文件夹下,使用tar命令解压
4.进入到目录/home/hadoop/hadoop-2.7.3/etc/hadoop中,修改相应配置,依次配置
hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml 共7个文件。
(1)编辑hadoop-env.sh,找到相应位置修改如下:
# The java implementation to use. #export JAVA_HOME=${JAVA_HOME} export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
(2)编辑yarn-env.sh,找到相应位置修改如下:
# some Java parameters # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64
(3)编辑文件core-site.xml文件,指定默认文件系统和工作空间(现在路径下还没有tmp文件夹,执行完hdfs格式化后便可看到相关文件)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.61:9000</value>#指定默认文件系统,不要写localhost,namenode与datanode使用9000端口进行通信 </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.7.3/tmp/</value>#指定hadoop工作空间,也就是说master与slave的数据实际存放目录就是/home/hadoop/hadoop-2.7.3/tmp/ </property> </configuration>
(4)编辑文件etc/hadoop/hdfs-site.xml文件,设置文件副本数,文件副本数不要大于slave节点的实际数量,比如我这里只有一个slave,所以文件副本数设置为1
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
(5)编辑文件etc/hadoop/mapred-site.xml文件,此文件其实不存在,而是存在mapred-site.xml.template,所以执行命令mv mapred-site.xml.template mapred-site.xml修改此文件名,来指定资源调度框架
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(6)编辑文件etc/hadoop/yarn-site.xml
<property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8035</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
(7)在master中编辑文件etc/hadoop/slaves,加入slave的IP,我这里本机不作为datanode所以将默认其中的localhost去掉( 为了保证稳定,最好写ip,一般情况下写主机名也可以)
192.168.1.5
至此,master配置就完成了
5.slave配置:
(1)slave配置步骤与master的是“一模一样”的,连配置的内容都是“相同的”。
(2)slave不配置/home/hadoop/hadoop-2.7.3/etc/hadoop/slaves文件,把该文件中的默认内容清空,让该文件为空即可。
(3)配置完master与slave后,格式化hdfs系统
关闭master与slave的防火墙与selinux
service iptables stop setenforce 0
hadoop命令一般在bin文件夹下,所以要执行相关命令要在bin目录下进行操作,为了以后方便,所以要先把hadoop的bin目录配置到环境变量中,还有些命令在sbin目录中,所以也要配置到环境变量
vim /etc/profile 在最后加入
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk.x86_64 export HADOOP_HOME=/home/hadoop/hadoop-2.7.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存后记得用命令source /etc/profile配置立即生效
然后执行 格式化在两台机器上都需要执行:(我不确定是否需要在两台机器上都执行,反正我都执行了,应该只是在namenode上执行的,不确定。。。)
hadoop namenode -format
会发现以前/home/hadoop/hadoop-2.7.3不存在tmp文件夹,现在已经有了
然后启动HDFS 命令start-all.sh(关闭是stop-all.sh)
启动完后用jps命令可以查看正在启动的java服务
master上面:
[root@master current]# jps 49971 ResourceManager 49817 SecondaryNameNode 70509 Jps 49615 NameNode
slave上面:
[root@slave hadoop-2.7.3]# jps 114897 NodeManager 128657 Jps 114770 DataNode
netstat -nltp命令查看所监听的端口
master上:
[root@master current]# netstat -tnlp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 192.168.1.61:9000 0.0.0.0:* LISTEN 49615/java tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 49817/java tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 2037/rpcbind tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 49615/java tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 63365/sshd tcp 0 0 0.0.0.0:35126 0.0.0.0:* LISTEN 2094/rpc.statd tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 2139/cupsd tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 2579/master tcp 0 0 ::ffff:192.168.1.61:8030 :::* LISTEN 49971/java tcp 0 0 ::ffff:192.168.1.61:8032 :::* LISTEN 49971/java tcp 0 0 ::ffff:192.168.1.61:8033 :::* LISTEN 49971/java tcp 0 0 ::ffff:192.168.1.61:8035 :::* LISTEN 49971/java tcp 0 0 :::52297 :::* LISTEN 2094/rpc.statd tcp 0 0 :::111 :::* LISTEN 2037/rpcbind tcp 0 0 :::22 :::* LISTEN 63365/sshd tcp 0 0 ::1:631 :::* LISTEN 2139/cupsd tcp 0 0 ::ffff:192.168.1.61:8088 :::* LISTEN 49971/java tcp 0 0 ::1:25 :::* LISTEN 2579/master
slave上:
[root@slave hadoop-2.7.3]# netstat -tnlp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 114770/java tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1990/rpcbind tcp 0 0 127.0.0.1:60369 0.0.0.0:* LISTEN 114770/java tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 3006/dnsmasq tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 44239/sshd tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 2090/cupsd tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 2746/master tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 114770/java tcp 0 0 0.0.0.0:47194 0.0.0.0:* LISTEN 2047/rpc.statd tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 114770/java tcp 0 0 :::8040 :::* LISTEN 114897/java tcp 0 0 :::8042 :::* LISTEN 114897/java tcp 0 0 :::3306 :::* LISTEN 2555/mysqld tcp 0 0 :::33807 :::* LISTEN 2047/rpc.statd tcp 0 0 :::111 :::* LISTEN 1990/rpcbind tcp 0 0 :::22 :::* LISTEN 44239/sshd tcp 0 0 ::1:631 :::* LISTEN 2090/cupsd tcp 0 0 ::1:25 :::* LISTEN 2746/master tcp 0 0 :::13562 :::* LISTEN 114897/java tcp 0 0 :::38395 :::* LISTEN 114897/java
NameNode和DataNode是通过9000端口通信的
验证:
可以查看 hadoop 相关信息的:http://192.168.1.61:50070/ 这里是master的ip
也在master上输入以下命令:
[root@master hadoop]# hdfs dfsadmin -report Configured Capacity: 18645180416 (17.36 GB) Present Capacity: 9070198784 (8.45 GB) DFS Remaining: 9069195264 (8.45 GB) DFS Used: 1003520 (980 KB) DFS Used%: 0.01% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0 ------------------------------------------------- Live datanodes (1): Name: 192.168.1.5:50010 (slave) Hostname: slave Decommission Status : Normal Configured Capacity: 18645180416 (17.36 GB) DFS Used: 1003520 (980 KB) Non DFS Used: 9574981632 (8.92 GB) DFS Remaining: 9069195264 (8.45 GB) DFS Used%: 0.01% DFS Remaining%: 48.64% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Wed May 03 17:32:37 PDT 2017
到此master与slave已经配置并启动完了。
测试存放文件
在master上执行以下命令,将文件nginx-1.4.7.tar.gz放到hdfs中:
hdfs dfs -put nginx-1.4.7.tar.gz hdfs://192.168.1.61:9000/
或者执行:
hdfs dfs -put nginx-1.4.7.tar.gz /
或者执行:
hadoop fs -put nginx-1.4.7.tar.gz /
注意下划线“/”一定要写全了。
执行完成后,可以执行:
[root@slave hadoop-2.7.3]# hdfs dfs -ls hdfs://192.168.1.61:9000/ Found 1 items -rw-r--r-- 1 root supergroup 769153 2017-05-02 18:19 hdfs://192.168.1.61:9000/nginx-1.4.7.tar.gz
可以看到上面已经存放好文件了,总之有很多的方法。
在master上可以看到文件实际并没有存放在master上,而是存放在slave上。
在slave上执行:
[root@slave current]# ll /home/hadoop/hadoop-2.7.3/tmp/dfs/data/current total 8 drwx------. 4 root root 4096 May 2 17:46 BP-1625492901-127.0.0.1-1493770785307 -rw-r--r--. 1 root root 229 May 2 17:46 VERSION
可以对BP-1625492901-127.0.0.1-1493770785307进行 解压
执行 tar -xvf BP-1625492901-127.0.0.1-1493770785307
发现解压后的文件还是nginx-1.4.7
hadoop还有一个特性,就是文件超过一定大小时候,会进行分片存放,这里我没有详细研究。
到这里一个最最最基本的hadoop就出来了。