zoukankan
html css js c++ java
hadoop自动安装脚本
还不能实现完全自动
安装
,只能算半自动的。
进行交互主要障碍有两点:
1.
ssh
-keygen的时候需要点击回车。
2. passwd 需要设置密码
如果谁能解决以上两点,欢迎email给我。
另外:需要JDK和
Hadoop
压缩包
第一步: 设置Root用户的SSH 无密码访问
为了之后修改Hosts
文件
,
配置
环境
变量,拷贝
数据
方便
ssh
root@192.168.1.148
'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh
root@192.168.1.148
'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh
root@192.168.1.148
'sh -c "chmod -R 700 /root/.ssh"'
# ssh
root@192.168.1.148
'sh -c " ls -l --color=tty ~/.ssh "'
第二步: 添加用户Hadoop,Hadoop的管理帐户,是Hadoop的超级用户
ssh
root@192.168.1.148
'sh -c "useradd -p 123456 hadoop"'
ssh root@192.168.1.148 'sh -c "passwd hadoop"' 给Hadoop用户修改密码
# ssh
root@192.168.1.148
'sh -c " ls -l --color=tty /home/hadoop"'
第三步: 修改主机名和hosts 文件
ssh root@192.168.1.148 'sh -c "hostname hadoop148"'
ssh r
oot@192.168.1.148
'sh -c " echo -e "NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=hadoop148" > /etc/sysconfig/network "'
echo -e "192.168.1.148 hadoop148" >> /etc/hosts 修改本地Hosts文件,最后拷贝到每台机器上
第四步:设置hadoop用户的SSH无密码访问
ssh
hadoop@192.168.1.148
'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh
hadoop@192.168.1.148
'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh
hadoop@192.168.1.148
'sh -c "chmod -R 700 /home/hadoop/.ssh"'
ssh
hadoop@192.168.1.148
'sh -c " ls -l --color=tty ~/.ssh "'
第五步: 安装JDK,Hadoop 压缩包
scp jdk1.7.0_03.tgz
root@192.168.1.159
:/usr/local/ # 拷贝
ssh
root@192.168.1.159
'sh -c " tar -xvzf /usr/local/jdk1.7.0_03.tgz -C "/usr/local" "' #
远程
解压缩
scp hadoop-0.20.205.0.tar.gz
root@192.168.1.159
:/opt
ssh
root@192.168.1.159
'sh -c " tar -xvzf /opt/hadoop-0.20.205.0.tar.gz -C "/opt" "'
第六步:设置软
连接
,创建目录
ssh
root@192.168.1.159
'sh -c "mkdir /opt/
data
"'
ssh
root@192.168.1.159
'sh -c "mkdir /opt/tmp "'
ssh
root@192.168.1.159
'sh -c "ln -s /opt/hadoop-0.20.205.0 /opt/hadoop"'
第七步:拷贝hosts文件,设置环境变量,
启动
Hadoop
ssh
root@192.168.1.159
'sh -c " echo -e "export JAVA_HOME=/usr/local/jdk1.7.0_03 export PATH=/opt/hadoop/bin:\$JAVA_HOME/bin:\$PATH export CLASSPATH=\$JAVA_HOME/lib" >> /etc/profile "'
scp /etc/hosts
root@192.168.1.159
:/etc/ # hosts 文件需要拷贝到没一台已经安装Hadoop的机器中
scp /opt/hadoop/conf/masters /opt/hadoop/conf/core-site.xml /opt/hadoop/conf/
hdfs
-site.xml /opt/hadoop/conf/
map
red-site.xml /opt/hadoop/conf/hadoop-env.sh /opt/hadoop/conf/fair-scheduler.xml
root@192.168.1.159
:/opt/hadoop/conf
ssh
root@192.168.1.159
'sh -c "chown -R hadoop:hadoop /opt"'
ssh
hadoop@192.168.1.159
'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start
datanode
"'
ssh
hadoop@192.168.1.159
'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start tasktracker"'
查看全文
相关阅读:
UE4 ios环境搭建备忘
我所理解的打击感 逐帧分析过几十款游戏的开发者经验分享
可重入锁和不可重入锁
Java中JDK和JRE的区别是什么?它们的作用分别是什么?
Java开发岗位面试题
详解手把手Maven搭建SpringMVC+Spring+MyBatis框架(超级详细版)
docker:轻量级图形页面管理工具Portainer
Docker整合dockerfly实现UI界面管理(单机版)
docker for mac的JSON配置文件中的hosts项修改后无法生效
Maven [ERROR] 不再支持源选项 5。请使用 6 或更高版本
原文地址:https://www.cnblogs.com/jamesf/p/4751546.html
最新文章
eventlet 模块搭建 WEB 服务器
常用垃圾回收算法
Java中的垃圾回收机制
MySQL 性能调优
使用uncompyle2直接反编译python字节码文件pyo/pyc
Gevent简明教程
hadoop MapReduce
RDD中cache和persist的区别
MySQL Innodb 并发涉及参数
Python语言编写BP神经网络
热门文章
What is the difference between the template method and the strategy patterns?
Runtime vs. Compile time
UE4 window打包ios备忘
Unreal Engine 4 中的 UI 优化技巧
UE4的内存模型
opengl读取灰度图生成三维地形并添加光照
ue4读取灰度图生成三维地形mesh
Bat批处理之for/f详解
HLSL Shader编程基础总结
socket支持ipv6
Copyright © 2011-2022 走看看