因公司项目需要,开始接触大数据分析这块知识。网上关于大数据这块的知识还是比较多的。学习了一个礼拜了,再次记录一下,自己的学习过程,希望可以帮助后学者少走一些弯路。
服务端的配置,由于公司项目经理已经配置好,我也就没有过多的接触,我所记录的更多的是如果使用大数据。(JDK 和Eclipse不讲了)
1、下载Hadoop开发环境,下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz 。(下载之后里面的bin文件夹下少两个文件hadoop.dll和winutils.exe需下载下来放入里面,地址:http://download.csdn.net/download/lyfzxf/9942732)下载之后需要配置环境变量。这个百度上都有,没难度。
2、首先是安装MyEclipse 插件,
插件下载地址:http://download.csdn.net/download/lyfzxf/9942700。下载之后直接放到eclipse下面的plugins夹下就好
3、重启eclipse 在Windows –Preferences 下面会出现Hadoop Map/Reduce,点击关联到我们本地的Hadoop文件
配置后,打开Map/Reduce视图模式
找到Map/Reduce Loacations操作栏,新建Location 并配置服务器路径
至此我们的配置就完成了,此时左边的文件结构一栏会出现 DFS Locations一栏。下面显示的就是服务器端的文件。我们可以通过鼠标右键对其文件进行增删。
也可以通过代码对其进行增删。我会在下篇博客介绍。