20210413---想想安志航

自从清明节4.2开始，到今天已接近10天，一直处于很消极的状态中。

不过这些真的毫无意义，一个人对努力以外的事情想得越少，他就心情越好。

但能决定他未来的只有每天做了多少事情，达到了多少效果，而不是感动自己，我现在就是在感动自己。所以我以后要时刻关注自己每天做了多少事。

接下来怎么做：【想想安志航，在你BB的时候，黄哥已经写了好多道题了。挨着航哥的时候是我学习成绩提高最快的时候，我真的想他。  学了就马上去操作，看概念永远不会，都是抽象的东西。】

1. 珍惜每一分每一秒，不要白白浪费任何一分钟的时间，都要有所学或者玩也要玩的有意义。
2. 只关注自己这一分钟，这一个小时，我做了多少事。我是不是一个高效率的人，我享受我的思考带来的成就感。
3. 有一颗大心脏，不要考虑自己能不能成功、不要考虑别人有多少背景，这些都不是主观因素，考虑它没有任何意义。
4. 不要害怕失败，勇敢尝试
5. 多学多练，不要怕重复，重复很多次你才能熟悉。
6. 时刻监视自己每个时间段学了啥，实操了啥
7. 学会一点是一点，这才是踏实赚钱的方法。买球只是投机，买球是个不错的爱好，也许某一天可以发财，但绝对不是两三年之内。
8. 总结永远比埋头学重要的多，当你学完都不知道自己学了什么，效率是多少，几个月之内能不能学完，无法精准把控进度，那你还做什么项目管理，做什么考研计划，做什么换工作计划。
9. 一个有能力的人，先要精准把控时间，也许这让你感觉不那么自由。但真正的自由可能就是这个，因为你有能力了，你可以选择想要什么。
10. 今天起做一个实干家，在别人还在计划时候就开始行动。在别人还在想天下掉馅饼的时候，就已经做完了一天的工作。总结比你学要重要的多，因为很容易学完不知道学了啥，不明确重点和典型应用。

Let‘s go！

记录下自己学会了什么： 

1. 14:30-15:00 可以学半小时

我学会了什么：免密登录配置完成，就这么简单！

现在把公钥分发给101 102 103机器，我从101可以免密登录这些机器了，但还做不到反向互通。直接xsync ./ssh把私钥分发给其他机器就可以了，这样可以双向互通。

随笔记录：上次是到分发集群脚本了--》~目录下生成秘钥，默认保存在/home/atguigu/.ssh---》./ssh还是个隐藏目录

2.16:10-16:50 可以学40分钟

我学到了什么：配置了hadoop所需的文件，按下面的结构配置了namenode secondarynamenode resourceManager的位置。还启动了namenode。

随手记录：

 这样来配置，以及启动各节点服务。

原则：1.NameNode和SecondaryNameNode不要安装在同一台服务器
2.ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置

core-site：指定namenode位置

yarn-site：指定RM位置

hdfs-site：指定SecondaryNamenode位置

mapred-site：指定mapreduce框架用yarn（二代MR）
分发配置文件夹---》 查看 ---> 撰写 ---> 撰写窗格，可以用xshell向多个终端发一个命令。----》hadoop namenode -format成功--》workers还没配，不知道是干嘛的。

18:15-18:30

我学到了啥：你要根据你的架构安排，在namenode节点启动start-dfs.sh，在ResourceManager节点启动start-yarn.sh，不能都在一个节点启动。

jps：java process

启动集群步骤总结：

1.只有第一次启动，需要hadoop namenode -format

2.在namenode所在节点，启动hdfs

3.在RM节点，启动yarn

各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
2）各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
（2）整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

配置历史服务器：

为了查看程序的历史运行情况

web UI：http://hadoop102:19888/jobhistory

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

20:20-21:00