zoukankan      html  css  js  c++  java
  • sqoop和mysql之间导出问题

    1.1. 导出时报错
    1.1.1. Could not buffer record
    在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小
    1.1.2. Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

    有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
    查看目前配置
    show VARIABLES like '%max_allowed_packet%';
    显示的结果为:
    +--------------------+---------+
    | Variable_name | Value |
    +--------------------+---------+
    | max_allowed_packet | 1048576 |
    +--------------------+---------+
    以上说明目前的配置是:1M

    修改方法
    修改方法
    1、修改配置文件
    可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
    max_allowed_packet = 20M
    如果找不到my.cnf可以通过
    mysql --help | grep my.cnf
    去寻找my.cnf文件。
    linux下该文件在/etc/下。
    2、在mysql命令行中修改
    在mysql 命令行中运行
    set global max_allowed_packet = 2*1024*1024*10
    然后退出命令行,重启mysql服务,再进入。
    show VARIABLES like '%max_allowed_packet%';
    查看下max_allowed_packet是否编辑成功

    注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。

    --inline-lob-limit 16777216

  • 相关阅读:
    类模板和函数模板
    vector用法
    the swap trick用于锐减过剩容量
    SIGHUP信号
    linux页表机制
    linux中sigsuspend和pause的区别
    最长回文串:LeetCode:Longest Palindromic Substring
    Implement strStr()
    ffmpeg知多少~~~
    下面可能会更新很多。。。
  • 原文地址:https://www.cnblogs.com/shan13936/p/13840937.html
Copyright © 2011-2022 走看看