SQLAlchemy
SQLAlchemy是python 编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简单讲：将对象转换成SQL，然后使用数据库API执行SQL并获取执行结果。
Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作
MySQL-Python mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname> pymysql mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>] MySQL-Connector mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname> cx_Oracle oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...] 更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html
阶段一，使用Engine，ConnectionPooling，Dialect进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。
from sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5) #一条数据 engine.execute( "INSERT INTO ts_test (a, b) VALUES ('2', 'v1')" ) # 多条数据 engine.execute( "INSERT INTO ts_test (a, b) VALUES (%s, %s)", ((555, "v1"),(666, "v1"),) ) #使用变量 engine.execute( "INSERT INTO ts_test (a, b) VALUES (%(id)s, %(name)s)", id=999, name="v1" ) result = engine.execute('select * from ts_test') result.fetchall()
事务操作：
from sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5) # 事务操作 with engine.begin() as conn: conn.execute("insert into table (x, y, z) values (1, 2, 3)") conn.execute("my_special_procedure(5)") conn = engine.connect() # 事务操作 with conn.begin(): conn.execute("some statement", {'x':5, 'y':10})
阶段二，使用Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect进行数据库操作。
Engine使用Schema Type创建一个特定的结构对象，之后通过SQL Expression Language将该对象转换成SQL语句，然后通过ConnectionPooling连接数据库，再然后通过Dialect执行SQL并获取结果。
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey metadata = MetaData() #实例化 #创建表 user = Table('user', metadata, #表名 Column('id', Integer, primary_key=True), #字段名，类型 Column('name', String(20)), ) color = Table('color', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)), ) engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5) metadata.create_all(engine) #连接数据库，并执行所有的建表语句 # metadata.clear() #执行一条语句 # metadata.remove() #删除一条语句
增删改查
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey metadata = MetaData() user = Table('user', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)), ) color = Table('color', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)), ) engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5) conn = engine.connect() # 创建SQL语句，INSERT INTO "user" (id, name) VALUES (:id, :name) conn.execute(user.insert(),{'id':7,'name':'seven'}) conn.close() # 插入数据 # sql = user.insert().values(id=123, name='wu') # conn.execute(sql) # conn.close() # 删除数据 # sql = user.delete().where(user.c.id > 1) #更新数据 # sql = user.update().values(fullname=user.c.name) # sql = user.update().where(user.c.name == 'jack').values(name='ed') #查询数据 # sql = select([user, ]) # sql = select([user.c.id, ]) # sql = select([user.c.name, color.c.name]).where(user.c.id==color.c.id) # sql = select([user.c.name]).order_by(user.c.name) # sql = select([user]).group_by(user.c.name) # 执行语句 # result = conn.execute(sql) # print(result.fetchall()) # conn.close()
一个完整的实例：
from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String from sqlalchemy.orm import sessionmaker Base = declarative_base() #生成一个SqlORM 基类 engine = create_engine("mysql+mysqldb://root@localhost:3306/test",echo=False) # 创建表的类 class Host(Base): __tablename__ = 'hosts' #表名 id = Column(Integer,primary_key=True,autoincrement=True) #字段 hostname = Column(String(64),unique=True,nullable=False) ip_addr = Column(String(128),unique=True,nullable=False) port = Column(Integer,default=22) Base.metadata.create_all(engine) #创建所有表结构 if __name__ == '__main__': SessionCls = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例 session = SessionCls() # 数据语句 #h1 = Host(hostname='localhost',ip_addr='127.0.0.1') #h2 = Host(hostname='ubuntu',ip_addr='192.168.2.243',port=20000) #h3 = Host(hostname='ubuntu2',ip_addr='192.168.2.244',port=20000) # 执行一条语句 #session.add(h3) # 执行多条语句 #session.add_all( [h1,h2]) # 更新数据 #h2.hostname = 'ubuntu_test' #只要没提交,此时修改也没问题 #session.rollback() #回滚 #session.commit() #提交 # 查询 res = session.query(Host).filter(Host.hostname.in_(['ubuntu2','localhost'])).all() print(res)
更多内容详见：
http://www.jianshu.com/p/e6bba189fcbd
http://docs.sqlalchemy.org/en/latest/core/expression_api.html
注：SQLAlchemy无法修改表结构，如果需要可以使用SQLAlchemy开发者开源的另外一个软件Alembic来完成。
阶段三，使用ORM，Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect所有组件对数据进行操作。根据类创建对象，对象转换成SQL，执行SQL。
from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String from sqlalchemy.orm import sessionmaker from sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5) Base = declarative_base() class User(Base): __tablename__ = 'users' id = Column(Integer, primary_key=True) #primary_key=True 表示不显示执行过程 name = Column(String(50)) # 寻找Base的所有子类，按照子类的结构在数据库中生成对应的数据表信息 # Base.metadata.create_all(engine) Session = sessionmaker(bind=engine) session = Session() # ########## 增 ########## # u = User(id=2, name='sb') # session.add(u) # session.add_all([ # User(id=3, name='sb'), # User(id=4, name='sb') # ]) # session.commit() # ########## 删除 ########## # session.query(User).filter(User.id > 2).delete() # session.commit() # ########## 修改 ########## # session.query(User).filter(User.id > 2).update({'cluster_id' : 0}) # session.commit() # ########## 查 ########## # 只显示查询到的第一条结果 # ret = session.query(User).filter_by(name='sb').first() # 显示所有查询到的结果 # ret = session.query(User).filter_by(name='sb').all() # print(ret) #多条件查询 # ret = session.query(User).filter(User.name.in_(['sb','bb'])).all() # print(ret) # ret = session.query(User.name.label('name_label')).all() # print(ret,type(ret)) #组 # ret = session.query(User).order_by(User.id).all() # print(ret) # ret = session.query(User).order_by(User.id)[1:3] # print(ret) # session.commit()
外键关联：
from sqlalchemy import Table, Column, Integer, ForeignKey from sqlalchemy.orm import relationship from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
第一种办法：
class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) children = relationship("Child") #所关联的表 class Child(Base): __tablename__ = 'child' id = Column(Integer, primary_key=True) parent_id = Column(Integer, ForeignKey('parent.id')) #关联是双向的，所以这里也指定所关联的字段
第二种办法：
class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) #children = relationship("Child", back_populates="parent") class Child(Base): __tablename__ = 'child' id = Column(Integer, primary_key=True) # parent_id = Column(Integer, ForeignKey('parent.id')) parent = relationship("Parent", back_populates="children") #这一条语句代表是双向的关联
class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) children = relationship("Child", backref="parent") #可以通过parent字段查询所管理表的数据
join查询
inner join ：返回表中所有匹配的行
left join：返回左边表的所有行，以及右边匹配的行
right join：返回右边表的所有行，以及左边匹配的行
原生SQL语句：
select host.id,hostname,ip_addr,port,host_group.name from host right join host_group on host.id = host_group.host_id;
SQLAchemy语句：
session.query(Host).join(Host.host_groups).filter(HostGroup.name=='t1').group_by("Host").all()
group by 查询
原生SQL：
select name,count(host.id) as NumberOfHosts from host right join host_group on host.id= host_group.host_id group by name;
SQLAchemy：
from sqlalchemy import func session.query(HostGroup, func.count(HostGroup.name )).group_by(HostGroup.name).all() #another example session.query(func.count(User.name), User.name).group_by(User.name).all() SELECT count(users.name) AS count_1, users.name AS users_name FROM users GROUP BY users.name