zoukankan      html  css  js  c++  java
  • Python日常实践(1)——SQL Prompt的Snippets批量整理

      引言

       

        个人平时在写sql脚本的时候会使用到SQL Prompt这款插件,除了强大的智能提示和格式化sql语句功能,我还喜欢使用Snippets代码段功能。比如我们可以在查下分析器输入ssf后按Tab键,SQL Prompt就可以帮我们快速的输入SELECT  * FROM 。

    1

        但是个人不习惯看大写的sql代码,所以就想捣鼓着将代码段输出的代码变成小写。打开代码段管理界面,发现管理工具提供了编辑代码段的功能,但是如果要一个个的编辑,自行转换成小写,再保存,那显然不是咱的风格。可以看到SQL Prompt存放代码段的路径:

    2

        找到路径中的文件打开可以看到,代码段文件是一个扩展名为sqlpromptsnippet的xml文件。

    3

        所以想着使用python来批量的将代码段文件中的代码转换成小写。

       

      一. xml操作——找到Code节点并获取代码段的sql语句

       

        1. xml格式文件节点类型详细介绍可以参考   W3School教程

        2. python中读写xml文件可以使用mxl.dom.minidom模块,查找Code节点代码如下:

    import xml.dom.minidom
    
    snippet = xml.dom.minidom.parse('ssf.sqlpromptsnippet')
    root = snippet.documentElement
    print(root.nodeType,root.nodeName,root.nodeValue)
    
    code = snippet.getElementsByTagName('Code')[0]
    print(code.nodeType,code.nodeName,code.nodeValue)
       

        snippet = xml.dom.minidom.parse('ssf.sqlpromptsnippet') :表示打开当前路径中名为'ssf.sqlpromptsnippet'的xml文件,并把xml文件对象赋值给snippet对象。

    root = snippet.documentElement :表示获取snippet对象的文档元素(根节点),并把获得的对象给root。

    code = snippet.getElementsByTagName('Code')[0]  :表示查找root根节点下面所有名为Code的子元素,并将第一个子元素赋值给code对象。

        执行结果:

    1 CodeSnippets None
    1 Code None

        因为CodeSnippets和Code节点都不是文本节点,所有其nodeValue属性为None。Code节点为1CDATASection节点,其有以下属性: 

    4

        所以找到Code节点并获取代码段的sql语句的正确语句如下:

    import xml.dom.minidom
    
    snippet = xml.dom.minidom.parse('ssf.sqlpromptsnippet')
    root = snippet.documentElement
    #print(root.nodeType,root.nodeName,root.nodeValue)
    code = snippet.getElementsByTagName('Code')[0]
    #print(code.nodeType,code.nodeName,code.nodeValue)
    statement = code.firstChild.data # code的第1个(也是唯一的)子元素才是CDATASection节点
    print (statement)

        执行结果:

    SELECT * FROM

      二. sql代码转换操作——大写转小写

       

        1. sql语句大写转小写,可以直接使用str类的lower函数即可:

    statementlower = statement.lower()
    print (statementlower)

        执行结果:

    select * from

        2. SQL Prompt中有部分代码段是含有占位符的,占位符的格式为”$CURSOR$”,而且其是区分大小写的,所以占位符不能转换成小写。所以需要先将代码段中个sql语句中的占位符全部找出来,并存储起来,在sql语句转换成小写之后替换回去。

         因为占位符都是以“$”开头,也以“$”结尾,所以我们可以很方便的使用正则表达式来查找sql语句中的所有占位符。查找出来之后先将占位符和其小写形式使用dict存储起来。

    import xml.dom.minidom
    import re
    
    snippet = xml.dom.minidom.parse('ct.sqlpromptsnippet')
    root = snippet.documentElement
    #print(root.nodeType,root.nodeName,root.nodeValue)
    code = snippet.getElementsByTagName('Code')[0]
    #print(code.nodeType,code.nodeName,code.nodeValue)
    statement = code.firstChild.data # code的第1个(也是唯一的)子元素才是CDATASection节点print (statement) 
    print (statement) # 输出原语句
    
    # 正则查找所有的占位符
    keylist = re.findall("$w+$",statement) 
    # 将占位符和其小写形式存储成字典
    placeholds = dict() 
    for key in keylist: 
        placeholds[key] = key.lower()
    
    print(placeholds)
    
    # 先将语句转换成小写
    statementlower = statement.lower()
    
    # 循环占位符字典,替换回占位符
    for k,v in placeholds.items():
        statementlower = statementlower.replace(v,k)
    
    print (statementlower)

        执行结果:

    CREATE TABLE $table_name$
    (
        $CURSOR$
    )
    {'$table_name$': '$table_name$', '$CURSOR$': '$cursor$'}
    create table $table_name$
    (
        $CURSOR$
    )

      三. xml操作——将转换代码写回xml文件

       

        xml写操作使用的是writexml文件,具体代码如下:

    import xml.dom.minidom
    import re
    
    snippet = xml.dom.minidom.parse('ct.sqlpromptsnippet')
    root = snippet.documentElement
    #print(root.nodeType,root.nodeName,root.nodeValue)
    code = snippet.getElementsByTagName('Code')[0]
    #print(code.nodeType,code.nodeName,code.nodeValue)
    statement = code.firstChild.data # code的第1个(也是唯一的)子元素才是CDATASection节点print (statement) 
    keylist = re.findall("$w+$",statement)
    placeholds = dict()
    for key in keylist:
        placeholds[key] = key.lower()
    
    statementlower = statement.lower()
    
    for k,v in placeholds.items():
        statementlower = statementlower.replace(v,k)
    
    #更新XML对象
    code.firstChild.data = statementlower
    
    # 打开文件对象,再写入
    f = open('resultct.sqlpromptsnippet', 'w',encoding = 'utf-8')
    snippet.writexml(f, addindent='', newl='',encoding='utf-8')
    f.close()

        执行结果生成文件对比:

    image

           

      四. 批量操作——循环代码段文件批量处理

        1.  循环目录下的文件,使用的是os模块的listdir方法。

    >>> import os
    >>> os.listdir()
    ['DLLs', 'Doc', 'include', 'Lib', 'libs', 'LICENSE.txt', 'NEWS.txt', 'python.exe', 'python3.dll', 'python35.dll', 'pythonw.exe', 'README.txt', 'Scripts', 'tcl', 'Tools', 'vcruntime140.dll']

        2. 先将单个转换封装成方法sqllower,再循环读取目录下的代码段文件即可完成批量处理,完整代码如下:

    import xml.dom.minidom
    import re
    import os
    
    def sqllower(name):
        snippet = xml.dom.minidom.parse(name)
        root = snippet.documentElement
        #print(root.nodeType,root.nodeName,root.nodeValue)
        code = snippet.getElementsByTagName('Code')[0]
        #print(code.nodeType,code.nodeName,code.nodeValue)
        statement = code.firstChild.data # code的第1个(也是唯一的)子元素才是CDATASection节点print (statement) 
        #print (statement)
    
        keylist = re.findall("$w+$",statement)
        placeholds = dict()
        for key in keylist:
            placeholds[key] = key.lower()
    
        #print(placeholds)
        statementlower = statement.lower()
    
        for k,v in placeholds.items():
            statementlower = statementlower.replace(v,k)
    
        #print (statementlower)
    
        #更新XML对象
        code.firstChild.data = statementlower
    
        f = open('result\' + name, 'w',encoding = 'utf-8')
        snippet.writexml(f, addindent='', newl='',encoding='utf-8')
        f.close()
    
    # 循环进行转换
    for f in os.listdir():
        if f.endswith('.sqlpromptsnippet'):
            print('正在转换'+ f)
            sqllower(f)
    
    print ('所有转换完成。')

      五. 总结

        本文从日常使用中提取出sql代码段大小写转换的需求,将其使用Python实现。使用到了如下的模块:

        1. xml.dom.minidom模块,用来读写xml文件。

        2. re模块,使用了正则表达式,查询所有的占位符。

        3. os模块,使用listdir方法来循环目录中个文件。

  • 相关阅读:
    从Java角度理解Angular之入门篇:npm, yarn, Angular CLI
    大数据开发实战:Stream SQL实时开发一
    大数据开发实战:Spark Streaming流计算开发
    大数据开发实战:Storm流计算开发
    大数据开发实战:Hadoop数据仓库开发实战
    数据仓库中的拉链表
    java通过jdbc连接impala
    impala-shell常用命令
    Kudu-java数据库简单操作
    拉链表--实现、更新及回滚的具体实现( 转载)
  • 原文地址:https://www.cnblogs.com/sesshoumaru/p/6170836.html
Copyright © 2011-2022 走看看