一:
HDFS:hadoop分布式文件系统
两种表现形式:(1)hadoop fs shell命令-->hadoop fs -command
(2)java API方式访问-->DistributedFileSystem对应的HDFS
二:搭建IDE
a.查找hadoop的依赖包,在{hadoop_home/share}目录下查找.jar文件,复制后拷贝至{hadoop_home}/_jar/,
在{hadoop_home}/_jar/下查找sources文件,剪切后拷贝至{hadoop_home}/_sources/,
在{hadoop_home}/_sources/下查找test文件,剪切后拷贝至{hadoop_home}/_test/。
{hadoop_home}/_jar/的文件是Hadoop java开发所依赖的jar包
{hadoop_home}/_sources/的文件是Hadoop java开发所依赖的源码包
{hadoop_home}/_test/的文件是Hadoop java开发所依赖的测试包
b.集成Myeclipse开发环境
1:将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下
2:重启Myeclipse
3:校验安装是否成功,查看windows-->perferences-->hadoop Mapreduce
4:在{hadoop mapreduce}视图下,添加hadoop的安装路径,例如D:softhadoop-2.7.3
5:创建hadoop的链接
a:打开Mapreduce Location视图-->新建hadoop Location-->弹出编辑窗口
b:dfs RPC协议端口为9000,默认为8020,mapreduce RPC协议端口为9001,默认为8021,username为你的集群的用户名,host为你的主机名
c.配置windows Hadoop工具包
1.拷贝hadoop.dll和winutils.exe至{hadoop_home}/bin下
2.配置环境变量 HADOOP_HOME=D:softhadoop-2.7.3,PATH=%HADOOP_HOME%in
d.创建Hadoop工程编写代码