zoukankan
html css js c++ java
hadoop自动安装脚本
还不能实现完全自动
安装
,只能算半自动的。
进行交互主要障碍有两点:
1.
ssh
-keygen的时候需要点击回车。
2. passwd 需要设置密码
如果谁能解决以上两点,欢迎email给我。
另外:需要JDK和
Hadoop
压缩包
第一步: 设置Root用户的SSH 无密码访问
为了之后修改Hosts
文件
,
配置
环境
变量,拷贝
数据
方便
ssh
root@192.168.1.148
'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh
root@192.168.1.148
'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh
root@192.168.1.148
'sh -c "chmod -R 700 /root/.ssh"'
# ssh
root@192.168.1.148
'sh -c " ls -l --color=tty ~/.ssh "'
第二步: 添加用户Hadoop,Hadoop的管理帐户,是Hadoop的超级用户
ssh
root@192.168.1.148
'sh -c "useradd -p 123456 hadoop"'
ssh root@192.168.1.148 'sh -c "passwd hadoop"' 给Hadoop用户修改密码
# ssh
root@192.168.1.148
'sh -c " ls -l --color=tty /home/hadoop"'
第三步: 修改主机名和hosts 文件
ssh root@192.168.1.148 'sh -c "hostname hadoop148"'
ssh r
oot@192.168.1.148
'sh -c " echo -e "NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=hadoop148" > /etc/sysconfig/network "'
echo -e "192.168.1.148 hadoop148" >> /etc/hosts 修改本地Hosts文件,最后拷贝到每台机器上
第四步:设置hadoop用户的SSH无密码访问
ssh
hadoop@192.168.1.148
'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh
hadoop@192.168.1.148
'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh
hadoop@192.168.1.148
'sh -c "chmod -R 700 /home/hadoop/.ssh"'
ssh
hadoop@192.168.1.148
'sh -c " ls -l --color=tty ~/.ssh "'
第五步: 安装JDK,Hadoop 压缩包
scp jdk1.7.0_03.tgz
root@192.168.1.159
:/usr/local/ # 拷贝
ssh
root@192.168.1.159
'sh -c " tar -xvzf /usr/local/jdk1.7.0_03.tgz -C "/usr/local" "' #
远程
解压缩
scp hadoop-0.20.205.0.tar.gz
root@192.168.1.159
:/opt
ssh
root@192.168.1.159
'sh -c " tar -xvzf /opt/hadoop-0.20.205.0.tar.gz -C "/opt" "'
第六步:设置软
连接
,创建目录
ssh
root@192.168.1.159
'sh -c "mkdir /opt/
data
"'
ssh
root@192.168.1.159
'sh -c "mkdir /opt/tmp "'
ssh
root@192.168.1.159
'sh -c "ln -s /opt/hadoop-0.20.205.0 /opt/hadoop"'
第七步:拷贝hosts文件,设置环境变量,
启动
Hadoop
ssh
root@192.168.1.159
'sh -c " echo -e "export JAVA_HOME=/usr/local/jdk1.7.0_03 export PATH=/opt/hadoop/bin:\$JAVA_HOME/bin:\$PATH export CLASSPATH=\$JAVA_HOME/lib" >> /etc/profile "'
scp /etc/hosts
root@192.168.1.159
:/etc/ # hosts 文件需要拷贝到没一台已经安装Hadoop的机器中
scp /opt/hadoop/conf/masters /opt/hadoop/conf/core-site.xml /opt/hadoop/conf/
hdfs
-site.xml /opt/hadoop/conf/
map
red-site.xml /opt/hadoop/conf/hadoop-env.sh /opt/hadoop/conf/fair-scheduler.xml
root@192.168.1.159
:/opt/hadoop/conf
ssh
root@192.168.1.159
'sh -c "chown -R hadoop:hadoop /opt"'
ssh
hadoop@192.168.1.159
'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start
datanode
"'
ssh
hadoop@192.168.1.159
'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start tasktracker"'
查看全文
相关阅读:
[ES6] for..in && for..of
[Falcor] Building Paths Programmatically
[Polymer] Custom Elements: Styling
[Polymer] Introduction
[Redux] Implementing combineReducers() from Scratch
[Redux] Reducer Composition with combineReducers()
[AngularJS] Exploring the Angular 1.5 .component() method
生物-脑-脑容量:脑容量
生物学-脑:脑(动物中枢神经系统主要部分)
生物:生物
原文地址:https://www.cnblogs.com/jamesf/p/4751546.html
最新文章
JuliaSet&MandelBulb @ Maya&KK —— 4亿粒子的测试
Unity3D开发类似保龄球游戏
一个学习AVL树很好的swf网址
Ural 1519. Formula 1 优美的插头DP
POJ3186:Treats for the Cows(区间DP)
HDU 4432 Sum of divisors (进制模拟)
复制构造函数应该注意的问题
全局钩子详细解释
Atitit.guice3 ioc 最佳实践 o9o
FindWindowEx使用方法
热门文章
vc有关 directx组态,和dxsdk_extras(directshow)
RBAC权限管理
微信公众号开发系列-Http请求包基类
程序员每天-7
Android Bundle类别
成员变量、局部变量、差异和静态变量
几种常见RuntimeException
[Javascript] Intro to Recursion
[Falcor] Return the data from server
[Node.js] node-persist: localStorage on the server
Copyright © 2011-2022 走看看