zoukankan      html  css  js  c++  java
  • Flink批处理读写Hive

    
    
    import org.apache.flink.table.api.*;
    import org.apache.flink.table.catalog.hive.HiveCatalog;
    
    /**
     * @Auther WeiJiQian
     * @描述  
     */
    public class FlinkReadHiveAndWriteHive {
    
    
        public static void main(String[] args) throws Exception {
    
            EnvironmentSettings settings = EnvironmentSettings
                    .newInstance()
                    .useBlinkPlanner()
                    .inBatchMode()
                    .build();
    
            TableEnvironment tableEnv = TableEnvironment.create(settings);
            String name = "myhive";      // Catalog名称,定义一个唯一的名称表示
            String defaultDatabase = "test";  // 默认数据库名称
            String hiveConfDir = "/data/apache-hive-2.3.6-bin/conf";  // hive-site.xml路径
            String version = "2.3.6";       // Hive版本号
    
            HiveCatalog hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version);
            StatementSet statementSet = tableEnv.createStatementSet();
    
            tableEnv.registerCatalog(name, hive);
            tableEnv.useCatalog(name);
    		// 把stu77 的数据写入stu88 里面,中间可以加自己的逻辑.
            Table sqlResult = tableEnv.sqlQuery("select name,age from test.stu77");
            statementSet.addInsert("test.stu88",sqlResult);
            statementSet.execute();
        }
    }
    
    
  • 相关阅读:
    Canvas基础讲义
    封装一个DivTag
    递归深拷贝
    构造函数的执行过程
    封装一个Ajax工具函数
    数组去重
    [js开源组件开发]js多选日期控件
    自己写的表格插件autotable
    复杂表格的树形结构的添加删除行div实现
    自制html5塔防游戏
  • 原文地址:https://www.cnblogs.com/weijiqian/p/14088165.html
Copyright © 2011-2022 走看看