Hadoop学习笔记

1、在ubuntu环境安装jdk

# javac 若，没有安装jdk，则会提示安装包

# apt-get install <安装包>  一般是 openjdk-7-jdk

安装完之后，要设置环境变量

# vim /etc/profile   (注：该文件是环境配置文件，所有用户都会访问到)

在顶部注释之下添加如下代码：（注意红色的部分是jdk安装目录，在安装过程列表中可以找到）

#java环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386   
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

然后使用source命令让配置文件立刻生效，而不必重启。

# source /etc/profile

2、获取hadoop并安装

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载之后解压到 /opt/hadoop，进入到/opt/hadoop/conf，里面有三个后缀-site.xml的文件和一个hadoop-env.sh需要配置

首先配置 hadoop-env.sh ，将里面的 export JAVA_HOME 注释去掉，并事先用 echo $JAVA_HOME获取到值，替换这里。

其次，配置 core-site.xml 在configuration标签内添加如下配置代码

<property>
<name>hadoop.tmp.dir</name>    #工作目录
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>       #源数据工作目录
<value>/hadoop/name</value>  
</property>
<property>
<name>fs.default.name</name>   # 文件目录
<value>hdfs://localhost:8080</value>
</property>

再次，配置文件系统的数据存放目录 hdfs-site.xml

<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>

最后，配置任务调度器 mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>

 此时，再次编辑 vim /etc/profile，添加修改hadoop信息 。即如下配置

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

再生效 source /etc/profile

此时 输入hadoop命令就有提示了

对namenode进行格式化操作 # hadoop namenode -format