今天学习过程和小结
上午:
java项目建立方法,maven
Tomcat的部署和MySQL的安装与权限。
分配时中datanote和namenote
DataNode 作用
1Data Node以数据块的形式存储HDFS文件
2Data Node 响应HDFS 客户端读写请求
3Data Node 周期性向NameNode汇报心跳信息
4Data Node 周期性向NameNode汇报数据块信息
5Data Node 周期性向NameNode汇报缓存数据块信息
6Name Node根据汇报内容,修改NameNode的命名空间,同时向DataNode 返回指令,比如创建,删除和复制数据块指令,然后DataNode根据这些指令在本地进行创建,删除和复制数据块
下午:第一节
Hadoop安装配置
分布式配置
IO进程
以.开头的都是隐藏那个目录
下午:第二节hdfs配置
跳不跳页面
下午:第三节(和大数据的关系--大数据读取也只能是这样)
字节流、字符流。转换
字节流
缓存区
字符串:main方法先入栈。string不可变,只能改指针指向。--拼字符串stringbuffer
buffer.append("a")
System.out.println(buffer.toString())线程安全
加锁防止其他线程进入。解锁。
加锁使用sychronized
多线程拼接字符串
stringbuilder常用
Hadoop的安装和配置,包括虚拟的分布式,用ssh连自己的IP不需要输入密码,在notepad++上更改两个xml文件
遇到问题总结
1.在Tomcat和Hadoop安装时都是导入压缩包然后解压,但是在MySQL时是用命令下载的。
2.在Hadoop的namenode和datanode配置时老是出错,在格式化Hadoop服务以后,重新运行start-dfs.sh但是一直提示can't find。然后查阅资料后修改了开启dfs的命令。变成sh start-dfs.sh。然后登陆192.168.122.141:50070检测namenode正确
3.ssh在配置时,一开始忘记下载ssh配置文件了,这个也是用命令下载,yum命令。
学习技能思维导图