zoukankan      html  css  js  c++  java
  • sqoop导出mysql数据进入hive错误

    看mr的运行显示:sqoop job可以获得的select max(xxx)结果,但是当mr开始时却显示大片错误,就是连接超时,和连接重置等问题,
    最后去每个节点ping mysql的ip地址,发现

    root@hslave1:/opt/cm-5.5.1/etc# ping 10.121.1.22
    PING 10.121.1.22 (10.121.1.22) 56(84) bytes of data.
    From 10.18.8.1 icmp_seq=1 Destination Port Unreachable
    From 10.18.8.1: icmp_seq=2 Redirect Host(New nexthop: 10.8.8.1)
    From 10.18.8.1 icmp_seq=2 Destination Port Unreachable
    64 bytes from 10.18.8.1: icmp_seq=3 ttl=53 time=20.7 ms
    64 bytes from 10.18.8.1: icmp_seq=4 ttl=53 time=19.0 ms
    64 bytes from 10.18.8.1: icmp_seq=5 ttl=53 time=22.8 ms
    64 bytes from 10.18.8.1: icmp_seq=6 ttl=53 time=20.9 ms
    64 bytes from 10.18.8.1: icmp_seq=7 ttl=53 time=19.1 ms
    64 bytes from 10.18.8.1: icmp_seq=8 ttl=53 time=22.4 ms

    可能原因:
    sqoop需要执行mr的所有机器都能连接mysql
    可能mysql jar包有问题

    最终解决:每个节点ping了一遍发现就没有错误了

  • 相关阅读:
    LDAP+Jenkins
    LDAP+SASL+SVN
    Ubuntu下的LDAP服务搭建
    LDAP+Confluence
    LDAP+Nextcloud
    vim -d
    linux默认编辑器
    vim相关调优
    MySQL中的保留字
    RHEL7配置ip地址
  • 原文地址:https://www.cnblogs.com/ggzone/p/7512885.html
Copyright © 2011-2022 走看看