zoukankan      html  css  js  c++  java
  • hadoop伪分布式配置

    1、$HADOOP_HOME/etc/hadoop/core-site.xml  

      <configuration>
        <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
        </property>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
        </property>
      </configuration>

    2、$HADOOP_HOME/etc/hadoop/hdfs-site.xml

      <configuration>
        <!--数据块大小,表示副本的数量。即rdd.getNumPartitions()的返回值,伪分布式要将其设置为1-->
        <property>
          <name>dfs.replication</name>
          <value>1</value>
        </property>

        <!--dfs.namenode.name.dir表示本地磁盘目录,是存放fsimage文件的地方-->
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <!--dfs.datanode.data.dir表示本地磁盘目录,HDFS存放block的地方-->
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
      </configuration>

  • 相关阅读:
    Linux YUM (Yellowdog Updater, Modified) Commands for Package Management
    awk命令例子详解
    sed命令例子详解
    浅谈XX系统跨平台迁移(测试环境)
    Postgres常用命令之增、删、改、查
    Postgres主备切换
    Postgres配置主从流复制
    Crontab定时任务
    GIL全局锁测试
    python try exception finally记录
  • 原文地址:https://www.cnblogs.com/cepaAllium/p/11596491.html
Copyright © 2011-2022 走看看