1 创建hadoop专属用户
非必需。其目的是,让所有的hadoop应用,用一个单独的帐号操作。
linux下创建用户、用户组及赋予sudoer权限 链接:http://www.cnblogs.com/yanyichao/p/3758756.html
mac下创建用户及赋予sudo权限 链接:http://www.cnblogs.com/yanyichao/p/3758837.html
2 配置ssh,节点间免密码登录
必需。节点间同步数据等需要。
linux下,免密码登录 链接:http://www.cnblogs.com/yanyichao/p/3758863.html
3 安装Java
建议master-slave安装统一版本,并建议1.7(64位机器)。
4 安装hadoop
安装版本为hadoop-2.4.0。由于hadoop默认配置在32位机器上,所以对于64位机器需要重新编译。在编译中,需要maven-3.2.1,对应的需要jdk1.7(jdk1.8会报错)。并且需要提前安装cmake
安装hadoop 略。就是下载包后各种配置。
hadoop配置(官网) 链接:http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html
hadoop配置(网友提供) 链接:http://www.cnblogs.com/likai198981/p/3719251.html
5 启动hadoop
格式化文件系统:
./bin/hadoop namenode -format
启动节点:
./sbin/start-all.sh
6 测试hadoop是否成功安装
6.1 jps命令
主机结果类似:
$ jps 12493 Jps 10249 NameNode 10448 SecondaryNameNode
从机结果类似:
$ jps 1830 Jps 539 DataNode
好像不该说主从,忽略我。
6.2 查看dfs管理界面
在主机的浏览器输入:https://localhost:50070
6.3 测试wordcount
测试wordcount 链接:http://www.cnblogs.com/luxh/archive/2013/01/17/2863612.html
由于版本问题,jar包被放到了不同的地方,这个wordcount测试不能用。新的命令如下:
/bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount /hadoop/input/* /hadoop/output/wordcount