1.本周安装测试伪分布下的hadoop
消耗的时间为13小时
2.下周计划进行完全分布式安装
3.遇到的问题
1)在虚拟机上新建用户,使用的命令为 useradd hadoop ,发现进入用户只有$符号,经过查询修改删除用户使用useradd -p hadoop解决问题
2)配置HDFS地址,需要用到主机的host和端口
3)格式化HDFS后,namenode启动总是出问题,开始是无法启动,jps没有该进程,后来查看日志,显示无法请求地址,我修改了端口号为9000,解决问题
第二天,我重新开启服务,发现nemenode总是自己关闭,还是端口问题,我通过命令释放了9000端口下的所有进程
4)hdfs创建目录时使用的命令${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 创建失败了很多次,后来修改命令 ${HADOOP_HOME}/bin/hdfs dfs -mkdir -p /demo1才完成创建
5)上传文件到HDFS,失败了跟多次,后来为namenode没有启动,但是用jps查看的时候namenode存在,后来我关闭重新启动之后测试成功了