hadoop学习笔记(1)

hadoop

---------------------------------------

　　1.独立模式(standalone|local)

　　　　nothing　　

　　　　使用的是本地文件系统

　　　　不需要启动单独的进程

　　2.pesudo(伪分布式)：等同于完全分布式，只有一个节点

　　　　SSH:　　　　//（Socket）,

　　　　　　　　　　//public  + private 

　　　　　　　　　　//server:sshd ps -Af |grep ssh

　　　　　　　　　　//ssh-keygen -t rsa -P '' -f ~/.ssh/authorized_key　将公钥发给别人，并且文件权限为644

　　　[配置文件]

　　　　core-site.xml　　　　//配置默认文件系统 fs.defaultFs

　　　　　　

<?xml version="1.0"?>
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost/</value>
                </property>
            </configuration>

　　　　hdfs-site.xml　　　　//配置分布式文件系统的副本数

<?xml version="1.0"?>
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>

　　　　mapper-site.xml

<?xml version="1.0"?>
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>

　　yarn-site.xml

<?xml version="1.0"?>
            <configuration>
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

　　可以通过man cp方法来查看相应的复制方法

3.full distribute（完全分布式）

4.让命令行提示显示完整路径

------------------------------------------------------

　　(1).编辑/etc/profile文件，添加环境变量PS1

　　　　[/etc/profile]

　　　　export PS1 = '[u@h `pwd`]$ '

　　(2)source

　　　　$>source /etc/profile

配置hadoop，使用符号链接的方式，让三种配置形态共存。

-----------------------------------------------------------------------------------------

　　1.创建三个配置目录，内容等同于hadoop目录

　　　　${hadoop_home}/etc/local

　　　　${hadoop_home}/etc/pesudo

　　　　${hadoop_home}/etc/full

　　2.创建符号链接

　　　　$>ln -s

　　3.对hdfs进行格式化

　　　　$>hadoop namenode -format

　　4.修改hadoop配置文件，手动指定JAVA_HOME环境变量

　　　　[hadoop_home]/etc/hadoop/hadoop_env.sh

　　5.启动hadoop的所有进程

　　　　$>start-all.sh

　　6.查看文件系统下的文件:hdfs dfs -ls /　　//显示根目录下的文件　　

　　　　　　　　　　　　　hdfs dfs -mkdir -p /user/centos/hadoop　　　　//递归的创建目录

　　　　　　　　　　　　　　hdfs dfs  -lsr /　　　　//递归的显示文件目录 

　　7.centos防火墙操作

　　8.hadoop的端口

　　　　50070　　　　//namenode http port

　　　　50075　　　　//datanode http port

　　　　50090　　　　//2namenode http port

　　　　8020　　　　//namenode rpc port

　　9.启动脚本

　　　　start-all.sh 　　　　//启动所有进程

　　　　stop-all.sh 　　　　//停止所有进程

　　　　start-yarn.sh

　　　　　　NN

　　　　　　DN

　　　　　　2NN

　　10.start-yarn.sh

　　　　　　RM

　　　　　　NM　　

　　11.start-dfs.sh 　　//NN DN 2NN

　　12.start-yarn.sh　　//NM RM