zoukankan      html  css  js  c++  java
  • LINUX下把多行文件合并成一行,并组装成SQL

       先说一下适用的场景,市场部那边希望看到某些商品中“黄牛”用户的活动情况,以及“黄牛”使用代金券的情况,然后发一个excel文件过来,拿到文件先复制到notepad++中,格式类似:

    idname price
    1name1 price1
    2name2 price2
    3name3 price3
    4name4 price4
    5name5 price5
    6name6 price6
    7name7 price7
    8name8 price8
    9name9 price9

    查询的时候根据ID查询,所以要把所有的ID组织到一行中,并写成(1,2...,8,9)的格式,这需要做如下件事:

    第一,删除第一行标题,sed '1d' ids.txt  ;

    第二,只显示第一列, awk -F' ' '{print $1}'  ;

    第三,把第一列以逗号分隔,tr ' ' ',' ;

    第四,把第三步中的结果前后加上左右括号,sed 's/^/(/'。

    把这四步组在一起,执行:sed '1d' ids.txt | awk -F' ' '{print $1}' | tr ' ' ',' | sed 's/,$/);/' | sed 's/^/(/' > ok.txt

    就得到了(1,2,3,4,5,6,7,8,9);

    然后再写个sql和这个文件拼接上就OK了。此处对于数据量小的时候效果不明显,当处理几千万数据,一个文本有几个G的时候,

    LINUX强大的处理文本的功能就显示出来了。



  • 相关阅读:
    《Web 开发基础》专题系列
    《.NET 编程结构》专题汇总(C#)
    .NET Core:使用BarTender
    .NET Core:过滤器
    .NET Core:中间件
    .NET Core:Api版本控制
    .NET Core:Token认证
    .NET Core:SignalR
    .NET Core:跨域
    .NET Core:Json和XML
  • 原文地址:https://www.cnblogs.com/bbsno1/p/3271523.html
Copyright © 2011-2022 走看看