zoukankan      html  css  js  c++  java
  • Flink On Yarn中文乱码解决

    业务场景:

    Flnk消费Kafka数据后,先入Hbase,经过校验后会发送数据到Kafka另一个topic,供另一个业务线消费入库。

    组件版本:

    CDH:6.3.0

    Flink:1.10

    1. 问题描述

    经发现结果数据库中中文为乱码,如图:

    2. 问题定位

    1、首先排查IDEA开发、编译各项编码,都是UTF-8。

    2、查看服务器编码,也是UTF-8。

    3、后来怀疑是hbase读写的序列化有问题,但是经测试后没有问题,直接在代码里输出中文就是乱码!

    3. 解决过程

    看过一些博客,是yarn的配置有问题,需要修改yarn的参数,但动作太大,没做尝试。

    最简单的方式就只需在启动flink任务时加上参数就可以解决:

    -yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"

     --------------------------------END --------------------------------

    希望对大家有帮助,有问题多交流

  • 相关阅读:
    Linux日志清除
    QT vs x64编译
    VC调用QT的UIDLL
    QT UI获得控件ID(HWND)
    安卓黑客工具
    VMware+Windgb+Win7内核驱动调试
    ubuntu 键盘布局修改
    魅族MX3 smart bar处失灵
    把NDK的工具链提取出来单独使用
    arm指令版本
  • 原文地址:https://www.cnblogs.com/changsblogs/p/14487979.html
Copyright © 2011-2022 走看看