zoukankan      html  css  js  c++  java
  • 单机伪分布集群搭建

    单机伪分布:用一个节点模拟集群
    好处:方便测试,开发,占用资源小
    搭建方法:
    第一步:修改slaves文件,将master(主机名)写入文件中。
    第二步:修改hdfs-site.xml文件,将文件的副本数改成1(副本数小于等于节点数)。

    <property>
            <name>replication</name>
            <value>1</value>
    </property>


    -----------
    格式化之前将/tmp/hadoop-root删除,(如果自己配置的自己找到data name进行删除,如果没有直接删除Hadoop-root)
    rm -rf /tmp/hadoop-root
    第三步:格式化  Hadoop namenode –format
    第四步:启动  start-dfs.sh
    第五步:测试-上传文件到Hadoop集群
    hadoop fs -put /将要上传的文件  /集群的文件目录

    如果上传文件或者创建目录,出现在安全模式状态,

    可以等待其自动退出安全模式,也可以使用手动命令来离开安全模式: 
    hadoop dfsadmin -safemode leave 

  • 相关阅读:
    实现一个简单的ConnectionPool
    并发连接MySQL
    C#里面滥用String造成的性能问题
    String.IndexOf
    C#代码中插入X86汇编
    正确理解Handle对象
    orleans发送广播消息
    log日志方法
    PHP 批量插入数据
    逻辑漏洞小结之SRC篇
  • 原文地址:https://www.cnblogs.com/pigdata/p/10305607.html
Copyright © 2011-2022 走看看