hadoop之二hadoop系统调优以及mapreduce文件测试

2020.7.17      hadoop文件目录创建，文件上传以及性能调优

一．工作内容

1.创建用户目录，创建文件上传目录

2.统计特定字符串出现次数，查看结果

3.性能调优

二．具体内容

1.创建用户目录

Hadoop fs -mkdir xxxx

 

1. 创建上传目录input，并且上传文件

Hadoop fs -put dat0102.dat /input

 

1. 查询字符串出现次数，并查询结果

 

 

1. hadoop性能调优

<property>

        <name>yarn.scheduler.maximun.alLoction-mb</name>

        <value>1024<alue>

        </property>

        </configuration>

        <configuration>

        <property>

        <name>mapreduce.map.memory.mb</name>

        <value>1024<value>

        </property>

        <property>

        <name>mapreduce.reduce.memory.mb</name>

        <value>2048<value>

        </property>

        <property>

        <nane>mapreduce.map.java.opts</nane>

        <value>-Xmx768m<value>

        </property>

        <property>

        <name>mapreduce.reduce.java.opts</name>

        <value>-Xmx1536m<value>

</property>

 

三．遇到的问题

1. Mapreduce实例jar包运行的问题
2. 配置文件编写的问题

四，解决方式

1. mapreduce运行时，1没有运行输入文件，2没有提交文件路径，在运行时发现命令不对，根据命令提示，输入wordcount，然后就提示输入文件路径，因此输入 dat0102.dat 文件路径
2. 配置文件多是标签不对应的问题，和html文件一样要前后标签一一对应
3. 

4.