集群的启动:$HADOOP_HOME/sbin/start-all.sh
jps检测进程:
单启动HDFS:$HADOOP_HOME/sbin/start-dfs.sh
单启动YARN:$HADOOP_HOME/sbin/start-yarn.sh
如果你的Hadoop一直有如下警告:
则请检查你的配置文件更改过程中是否少写了property标签,如本人的"mapred-site.xml"文件:
添加之后就好了。
下面展示wordcount程序统计词数:
创建一个上传文件的文件夹:
hadoop dfs -mkdir /input
上传一个本地文件:将hello.txt文件上传到 /input下
hadoop fs -put hello.txt /input
查看上传的文件:
hadoop fs -ls /input
hadoop fs -cat /input/hello.txt
提交mapreduce作业到yarn上运行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /input/hello.txt /output/
查看单词数:
hadoop fs -text /output/part*