zoukankan      html  css  js  c++  java
  • hadoop distcp hdfs://ns1/aaa hdfs://ns8/bbb UnknownHostException: xxx 两个高可用(ha)集群间distcp 如何识别两个集群逻辑名称

    在要执行distcp 的客户端配置添加
    dfs.internal.nameservices 指local service 就是client 所在的hadoop 的逻辑名称

    <!-- services -->
    <!-- local sevice and remote service -->
    <property>
          <name>dfs.nameservices</name>
          <value>ns1,ns8</value>
    </property>
    
    <!-- service ns8 -->
    <property>
      <name>dfs.nameservices</name>
      <value>ns8</value>
    </property>
    <property>
    	<name>dfs.ha.namenodes.ns8</name>
    	<value>nn1,nn2</value>
    </property>
    <property>
    	<name>dfs.namenode.rpc-address.ns8.nn1</name>
    	<value>192.168.200.140:8020</value>
    </property>
    <property>
    	<name>dfs.namenode.rpc-address.ns8.nn2</name>
    	<value>192.168.200.141:8020</value>
    </property>
    <property>
    	<name>dfs.namenode.http-address.ns8.nn1</name>
    	<value>192.168.200.140:50070</value>
    </property>
    <property>
    	<name>dfs.namenode.http-address.ns8.nn2</name>
    	<value>192.168.200.141:50070</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.ns8</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- service ns1 -->
    
    <!-- local sevice -->
    <property>
          <name>dfs.internal.nameservices</name>
          <value>ns1</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>dev01:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>dev02:8020</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>dev01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>dev02:50070</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    
  • 相关阅读:
    Orcale分析函数OVER(PARTITION BY... ORDER BY...)的讲解
    Linux下安装Redmine(项目管理软件)
    CentOS5.4安装redmine详细步骤
    CentOS安装redmine 2后的简单配置
    在linux上安装redmine
    Linux安装MediaWiki
    Linux下安装配置MediaWiKi全过程
    用Navicat_SSH 连接数据库服务器
    基于C#的MongoDB数据库开发应用(4)--Redis的安装及使用
    基于C#的MongoDB数据库开发应用(3)--MongoDB数据库的C#开发之异步接口
  • 原文地址:https://www.cnblogs.com/jiangxiaoxian/p/9856057.html
Copyright © 2011-2022 走看看