zoukankan      html  css  js  c++  java
  • hadoop伪分布式搭建

    1. JDK安装配置
      执行 rpm -i  jdk-8u91-linux-x64.rpm  
      默认安装在/usr/java/jdk1.8.0_91目录中 配置环境变量vi /etc/profile在最后一行添加 export JAVA_HOME=/usr/java/jdk1.8.0_91 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 使环境变量生效(. /etc/profile)也可以
    2. ssh免秘钥(本机)
      生成公钥并追加到文件中保存
      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    3. Hdaoop安装配置
      在/opt 创建hadoop目录 /sxt,
      上传hadoop.tar.gz到服务器,解压,移动到指定目录 mv hadoop-2.6.5 /opt/sxt 配置环境变量(在任意目录可以使用bin和sbin下的命令) vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 export HADOOP_HOME=/opt/sxt/hadoop-2.7.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 使环境变量生效
    4. Hadoop环境配置
      进入hadoop的配置目录
      cd /opt/sxt/hadoop-2.7.3/etc/hadoop 
      vi hadoop-env.sh
      修改JAVA_HOME为java绝对路径
      export JAVA_HOME=/usr/java/jdk1.8.0_91
      vi core-site.xml
      添加配置(NameNode启动位置;NN和DN的存储文件目录)
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://node00:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
          <value>/var/sxt/hadoop/local</value>
      </property>
      vi hdfs-site.xml
      添加配置(伪分布式1个副本;SN节点启动位置)
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
         <name>dfs.namenode.secondary.http-address</name>
          <value>node00:50090</value>
      </property>
      vi slaves
      添加配置(DataNode节点启动位置)
      node00
    5. HAdoop启动测试
      格式化hdfs namenode -format(创建存储data和name的文件,生成集群id,两个id一致;删除NameNode元数据)
      启动start-dfs.sh
      查看进程 jps
      28341 SecondaryNameNode
      28102 NameNode
      28207 DataNode
      28480 Jps
      
      上传文件测试
      hdfs dfs -mkdir /user
      hdfs dfs -ls /user
      hdfs dfs -mkdir /user/root
      hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.7.3.tar.gz 
      
      浏览器访问查看上传文件
      http://192.168.68.99:50070或者node00:50070
  • 相关阅读:
    javascript获取url地址问好后面的值,包括问号
    给Object扩展新方法
    关于hasOwnProperty()方法的应用
    javascript if 与 if else 的一点小认识
    express中路由设置的坑-----1
    javascript数组顺序-----1冒泡的另一种比较好理解的写法
    进程的控制与状态细化
    进程的定义与控制
    进程的定义与控制
    进程引入
  • 原文地址:https://www.cnblogs.com/yangjiming/p/9261487.html
Copyright © 2011-2022 走看看