zoukankan      html  css  js  c++  java
  • sqoop和mysql之间导出问题

    1.1. 导出时报错
    1.1.1. Could not buffer record
    在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小
    1.1.2. Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

    有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
    查看目前配置
    show VARIABLES like '%max_allowed_packet%';
    显示的结果为:
    +--------------------+---------+
    | Variable_name | Value |
    +--------------------+---------+
    | max_allowed_packet | 1048576 |
    +--------------------+---------+
    以上说明目前的配置是:1M

    修改方法
    修改方法
    1、修改配置文件
    可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
    max_allowed_packet = 20M
    如果找不到my.cnf可以通过
    mysql --help | grep my.cnf
    去寻找my.cnf文件。
    linux下该文件在/etc/下。
    2、在mysql命令行中修改
    在mysql 命令行中运行
    set global max_allowed_packet = 2*1024*1024*10
    然后退出命令行,重启mysql服务,再进入。
    show VARIABLES like '%max_allowed_packet%';
    查看下max_allowed_packet是否编辑成功

    注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。

    --inline-lob-limit 16777216

  • 相关阅读:
    知识点整理
    NGINX 内存池有感
    NGINX怎样处理惊群的
    NGINX 定时器
    制作linux内核安装包
    ES6变量的解构赋值
    jquery uploadify上传插件用法心得
    【转贴】J2EE中的13种技术规范
    【转帖】Servlet 3.0 新特性详解
    汉诺塔问题的一个C#实现
  • 原文地址:https://www.cnblogs.com/shan13936/p/13840937.html
Copyright © 2011-2022 走看看