zoukankan      html  css  js  c++  java
  • mysqlpython模块的内存泄露和中文字符编码问题

    mysql-python的连接时,默认大家会写成

    con=MySQLdb.connect(user='xxx',passwd='xxx',host='xxx',port=6600,charset='gbk')

    一旦指定了"gbk",默认mysql-python会设定use_unicode=True。结果是mysql-python会利用python自己的 codec模块去做字符解码工作,但实际中发现mysql库gbk编码字符集比python的gbk编码集大。一些在mysql里可以存储的字符,拿 python的codec去解析就会抛错。更严重的问题是,在mysql-python1.2.3之前,use_unicode=True即让 mysql-python解码这块存在内存泄露的bug。解码出来所有数据库字符串经过mysql-python出来都是unicode object,要输出到文件需要再次编码。

    解决方法是强制指定use_unicode=False。即:

    con=MySQLdb.connect(user='xxx',passwd='xxx',host='xxx',port=6600,charset='gbk',use_unicode=False)

    这样既不会有内存泄露,也不需要在输出文件时进行编码。也回避了python的codec不能解析mysql gbk里面存放的字符串的问题。 最后对于mysql4,我们可以将charset参数留空:

    con=MySQLdb.connect(user='xxx',passwd='xxx',host='xxx',port=6600,use_unicode=False)

    smtplib相关问题

    使用smtplib时,打开的server,最好使用quit方法来关闭连接,而不是close。

    server.quit() #好
    #server.close() #不好

    因为quit不仅仅会关闭连接,还会关闭session。这个session会跨越连接,而且当这个session中有退信发生时,后续发出的信件会爆出奇怪的SMTP协议错误。

    使用smtplib时,即便每次都重新open server,对dns的解析也只有一次,这样当一个域名下有多个smtp server本来可以用于负载均衡的环境下,使用smtplib的python程序就总是使用一台机器,没法负载均衡,影响了伸缩性。为此,想到的办法是 单独对邮件服务器域名进行解析,得到所有的机器名,然后随机选一台smtp server来连接,做一个应用层的负载均衡。可以考虑使用下面这段代码,感谢茂兴的提供:

    class smtp_server_factory(object):
        def _get_addr_from_name(self, hostname):
            addrs = socket.getaddrinfo(hostname, smtplib.SMTP_PORT, 0, socket.SOCK_STREAM)
            return [addr[4][0] for addr in addrs]
    
        def get_server(self, hostname):
            addrs = self._get_addr_from_name(hostname)
            random.shuffle(addrs)
            for addr in addrs:
                try:
                    smtp_server = smtplib.SMTP(addr)
                except Exception, e:
                    pass
                else:
                    print addr
                    return smtp_server
            return None
    
    #使用
    server=smtp_server_factory().get_server('xxx-mail.baidu.com')
  • 相关阅读:
    javascript 拷贝详解
    javascript 递归函数详解
    移动端布局解决方案
    Flexbox
    CSS中越界问题的经典解决方案
    移动应用测试方法与思路
    不是人家太装逼,而是我们太low
    GUI自动化测试策略
    GUI测试稳定性的关键技术
    GUI测试还能这么玩(Page Code Gen + Data Gen + Headless)
  • 原文地址:https://www.cnblogs.com/xupeizhi/p/2908874.html
Copyright © 2011-2022 走看看