1 概述
1.1 服务器角色说明
|
IP |
FUQD |
HOSTNAME |
ROLE |
|
192.158.59.99 |
cdh01.cap.com |
cdh01 |
NameNode |
|
192.158.59.100 |
cdh02.cap.com |
cdh02 |
SecondaryNameNode |
|
192.158.59.101 |
cdh03.cap.com |
cdh03 |
DataNode |
1.2 用户名密码说明
虚拟机用户名密码：root/cloudera
Cloudera相关的用户名密码：username/cloudera
2 安装虚拟机
2.1 VMware介质
版本VMware-workstation-full-10.0.2-1744117.1398244508
2.2 CentOS介质
版本CentOS-6.7-x86_64
3 配置虚拟机并安装软件
3.1 配置主机名
# vi /etc/hosts
127.0.0.1 localhost.localdomain localhost
192.168.59.99 cdh01.cap.com cdh01
192.168.59.100 cdh02.cap.com cdh02
192.168.59.101 cdh03.cap.com cdh03
3.2 配置网络
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=cdh01.cap.com
NETWORKING_IPV6=no
GATEWAY=192.168.59.2
3.3 主机名检查
hostname #查看主机名
uname -a #检查与hostname显示的是否一致
ifconfig #查看ip以及使用的网卡
ping *****.cap.com #检查与hostname中配置的是否一致
3.4 打通SSH（所有节点）
ssh-keygen -t rsa #一路回撤确定
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#scp ~/.ssh/authorized_keys root@cdh02:~/.ssh/ #先装一台原始机，后面使用该机的clone版，因此本手册没有复制场景
3.5 关闭防火墙（所有节点）
service iptables status #查看运行状态
service iptables stop #临时关闭
chkconfig iptables off #设置重启后不随机启动
chkconfig --list iptables #检查设置是否生效
3.6 禁止SELINUX
vi /etc/selinux/config
SELINUX=disabled #禁止
3.7 修改swappiness（执行后重启失效）
echo 0 > /proc/sys/vm/swappiness
3.8 时间同步检查，并启动
service ntpd status #查看运行状态
#yum -y install ntp
service ntpd start #启动
#systemctl start ntpd.service #CentOS7命令
chkconfig ntpd on #设置随机启动
#systemctl enable ntpd.service #CentOS7命令
chkconfig --list ntpd #检查配置是否生效
3.9 设置ssh服务随机启动
service sshd status #查看运行状态
service sshd start #启动
chkconfig sshd on #设置随机启动
chkconfig --list sshd #检查配置是否生效
3.10 修改通过ssh执行脚本时引起的告警错误
visudo -f /etc/sudoers
Defaults requiretty
注释成
#Defaults requiretty
#Defaults !visiblepw
改成
Defaults visiblepw
3.11 安装Python模块包
yum install gcc-c++
yum install python-setuptools
yum install python-devel.x86_64
easy_install psutil==2.1.3 (依赖python-devel，需要先安装)
#easy_install -m psutil (卸载已安装的模块)
easy_install avro
easy_install supervisor
easy_install guppy
注：查看已安装的包先执行python然后执行help('modules')，easy_install使用可参考
http://www.cnblogs.com/feong/p/5148171.html
3.12 修改网络（如果ip不能通过桌面配置的话，就需要通过命令配置）
vi /etc/udev/rules.d/70-persistent-net.rules #只保留最后两条，并把最后一条的网卡改成"eth0"
mv /etc/sysconfig/network-scripts/ifcfg-Auto_eth1 /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:54:7C:9A
TYPE=Ethernet
UUID=52b164e5-39ca-4b09-b8d2-622046871b29
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.59.99
NETMASK=255.255.255.0
GATEWAY=192.168.59.2
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
DNS1=8.8.8.8
DNS2=8.8.4.4
3.13 安装telnet
yum install telnet
4 克隆虚拟机
l 已配置cdh01，再克隆虚拟机2台，分别为cdh02和cdh03
l 启动cdh02和cdh03，修改network和对应的IP
5 安装cloudera
5.1 下载并安装manager
wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin
5.2 在线安装
进入192.168.59.00:7180界面，进行在线安装，如果下载网速小于1Mbps，则耗时可能较长
用户名/密码：admin/admin
5.3 修改默认角色配置
6 验证测试
6.1 测试Hadoop
l 执行下列命令，上传文件
su hdfs
hadoop fs -mkdir /hff
hadoop fs -ls /
hadoop fs -put wyp.txt /hff
注：文件需要放在/根目录下
hadoop fs -text /hff/wyp.txt
注：hadoop命令参考 http://www.cnblogs.com/feong/p/5148361.html
6.2 测试Hive
l 执行如下命令，导入数据
hive
create table t_wyp(id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;
load data local inpath 'wyp.txt' into table t_wyp;
注：文件需要放在/根目录下
select * from t_wyp;
dfs -ls /user/hive/warehouse;
7 附录
7.1 没有日志文件.log.out错误
手动创建，并赋予指定用户权限，如：
chown yarn:hadoop hadoop-cmf-yarn-NODEMANAGER-cdh03.cap.com.log.out
7.2 多次初始化配置时， hdfs配置第一步格式化时错误
可以查看日志，并改名或者删除/fns目录
cd /var/run/cloudera-scm-agent/process/27-hdfs-NAMENODE-format/logs/
7.3 多次初始化配置时，hdfs配置第三步创建/tmp时错误
可以先检查一下是否已经创建了tmp，如果已经创建了则改名或者删除
hadoop fs –ls / #查看已创建目录
hadoop fs -mv /tmp /tmp_bak #重命名文件夹