zoukankan      html  css  js  c++  java
  • sqoop导出mysql数据进入hive错误

    看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题,
    最后去每个节点ping mysql的ip地址,发现

    root@hslave1:/opt/cm-5.5.1/etc# ping 10.121.1.22
    PING 10.121.1.22 (10.121.1.22) 56(84) bytes of data.
    From 10.18.8.1 icmp_seq=1 Destination Port Unreachable
    From 10.18.8.1: icmp_seq=2 Redirect Host(New nexthop: 10.8.8.1)
    From 10.18.8.1 icmp_seq=2 Destination Port Unreachable
    64 bytes from 10.18.8.1: icmp_seq=3 ttl=53 time=20.7 ms
    64 bytes from 10.18.8.1: icmp_seq=4 ttl=53 time=19.0 ms
    64 bytes from 10.18.8.1: icmp_seq=5 ttl=53 time=22.8 ms
    64 bytes from 10.18.8.1: icmp_seq=6 ttl=53 time=20.9 ms
    64 bytes from 10.18.8.1: icmp_seq=7 ttl=53 time=19.1 ms
    64 bytes from 10.18.8.1: icmp_seq=8 ttl=53 time=22.4 ms

    可能原因:
    sqoop需要执行mr的所有机器都能连接mysql
    可能mysql jar包有问题

    最终解决:每个节点ping了一遍发现就没有错误了

  • 相关阅读:
    Linux的网络配置
    Linux进程
    我需要的电脑配置
    spring注解配置
    spring中集合的配置
    getProperty()方法的参数和用途
    树的遍历
    单词变换
    最短路径dijkstra算法
    文件路径
  • 原文地址:https://www.cnblogs.com/ggzone/p/10121135.html
Copyright © 2011-2022 走看看