zoukankan      html  css  js  c++  java

  • Python 12

    本节内容

    1.数据库介绍

    2.mysql数据库安装使用

    3.mysql数据库基础

    4.mysql命令

    5.事务

    6.索引

    7.Python操作mysql

    8.ORM sqlalchemy了解

    数据库介绍

    什么是数据库？

    （介于本人还是属于熟悉数据库的，这一块就基本复制粘贴了）

    数据库（Database）是按照数据结构来组织、存储和管理数据的仓库， 每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。 所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。 RDBMS即关系数据库管理系统(Relational Database Management System)的特点： 1.数据以表格的形式出现 2.每行为各种记录名称 3.每列为记录名称所对应的数据域 4.许多的行和列组成一张表单 5.若干的表单组成database

    下图就是一个数据库

    RDBMS 术语 

    在我们开始学习MySQL 数据库前，让我们先了解下RDBMS的一些术语：

    • 数据库: 数据库是一些关联表的集合。.
    • 数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。
    • 列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。
    • 行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。
    • 冗余：存储两倍数据，冗余可以使系统速度更快。(表的规范化程度越高，表与表之间的关系就越多；查询时可能经常需要在多个表之间进行连接查询；而进行连接操作会降低查询速度。例如，学生的信息存储在student表中，院系信息存储在department表中。通过student表中的dept_id字段与department表建立关联关系。如果要查询一个学生所在系的名称，必须从student表中查找学生所在院系的编号（dept_id），然后根据这个编号去department查找系的名称。如果经常需要进行这个操作时，连接查询会浪费很多的时间。因此可以在student表中增加一个冗余字段dept_name，该字段用来存储学生所在院系的名称。这样就不用每次都进行连接操作了。)
    • 主键：主键是唯一的。一个数据表中只能包含一个主键。你可以使用主键来查询数据。
    • 外键：外键用于关联两个表。
    • 复合键：复合键（组合键）将多个列作为一个索引键，一般用于复合索引。
    • 索引：使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。类似于书籍的目录。
    • 参照完整性: 参照的完整性要求关系中不允许引用不存在的实体。与实体完整性是关系模型必须满足的完整性约束条件，目的是保证数据的一致性。

    Mysql数据库

    Mysql是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

    • Mysql是开源的，所以你不需要支付额外的费用。
    • Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
    • MySQL使用标准的SQL数据语言形式。
    • Mysql可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。
    • Mysql对PHP有很好的支持，PHP是目前最流行的Web开发语言。
    • MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。
    • Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。

    Mysql数据库的安装使用

    Linux/UNIX上安装Mysql（本人不是很不擅长linux，这部分也是复制粘贴，以后会恶补个linux blog）

    Linux平台上推荐使用RPM包来安装Mysql,MySQL AB提供了以下RPM包的下载地址：

    • MySQL - MySQL服务器。你需要该选项，除非你只想连接运行在另一台机器上的MySQL服务器。
    • MySQL-client - MySQL 客户端程序，用于连接并操作Mysql服务器。
    • MySQL-devel - 库和包含文件，如果你想要编译其它MySQL客户端，例如Perl模块，则需要安装该RPM包。
    • MySQL-shared - 该软件包包含某些语言和应用程序需要动态装载的共享库(libmysqlclient.so*)，使用MySQL。
    • MySQL-bench - MySQL数据库服务器的基准和性能测试工具。

    以下安装Mysql RMP的实例是在SuSE Linux系统上进行，当然该安装步骤也适合应用于其他支持RPM的Linux系统，如:Centos。

    安装步骤如下：

    使用root用户登陆你的Linux系统。

    下载Mysql RPM包，下载地址为：MySQL 下载。

    通过以下命令执行Mysql安装，rpm包为你下载的rpm包：

    1 [root@host]# rpm -i MySQL-5.0.9-0.i386.rpm

    以上安装mysql服务器的过程会创建mysql用户，并创建一个mysql配置文件my.cnf。

    你可以在/usr/bin和/usr/sbin中找到所有与MySQL相关的二进制文件。所有数据表和数据库将在/var/lib/mysql目录中创建。

    以下是一些mysql可选包的安装过程，你可以根据自己的需要来安装：

    1 [root@host]# rpm -i MySQL-client-5.0.9-0.i386.rpm
2 [root@host]# rpm -i MySQL-devel-5.0.9-0.i386.rpm
3 [root@host]# rpm -i MySQL-shared-5.0.9-0.i386.rpm
4 [root@host]# rpm -i MySQL-bench-5.0.9-0.i386.rpm　

    Window上安装Mysql

    Window上安装Mysql相对来说会较为简单，你只需要载 MySQL 下载中下载window版本的mysql安装包，并解压安装包。

    双击 setup.exe 文件，接下来你只需要安装默认的配置点击"next"即可，默认情况下安装信息会在C:mysql目录中。

    接下来你可以通过"开始" =》在搜索框中输入 " cmd" 命令 =》 在命令提示符上切换到 C:mysqlin 目录，并输入一下命令：

    1 mysqld.exe --console

    如果安装成功以上命令将输出一些mysql启动及InnoDB信息。

    验证Mysql安装

    在成功安装Mysql后，一些基础表会表初始化，在服务器启动后，你可以通过简单的测试来验证Mysql是否工作正常。

    使用 mysqladmin 工具来获取服务器状态：

    使用 mysqladmin 命令俩检查服务器的版本,在linux上该二进制文件位于 /usr/bin on linux ，在window上该二进制文件位于C:mysqlin 。

    1 [root@host]# mysqladmin --version

    linux上该命令将输出以下结果，该结果基于你的系统信息：

    1 mysqladmin  Ver 8.23 Distrib 5.0.9-0, for redhat-linux-gnu on i386

    如果以上命令执行后未输入任何信息，说明你的Mysql未安装成功。

    使用 MySQL Client(Mysql客户端) 执行简单的SQL命令

    你可以在 MySQL Client(Mysql客户端) 使用 mysql 命令连接到Mysql服务器上，默认情况下Mysql服务器的密码为空，所以本实例不需要输入密码。

    命令如下：

    1 [root@host]# mysql

    以上命令执行后会输出 mysql>提示符，这说明你已经成功连接到Mysql服务器上，你可以在 mysql> 提示符执行SQL命令：

     1 mysql> SHOW DATABASES;
 2 
 3 +----------+
 4 
 5 | Database |
 6 
 7 +----------+
 8 
 9 | mysql    |
10 
11 | test     |
12 
13 +----------+
14 
15 2 rows in set (0.13 sec)
    View Code

    Mysql安装后需要做的

    Mysql安装成功后，默认的root用户密码为空，你可以使用以下命令来创建root用户的密码：

    1 [root@host]# mysqladmin -u root password "new_password";

    现在你可以通过以下命令来连接到Mysql服务器：

    1 [root@host]# mysql -u root -p
2 Enter password:*******

    注意：在输入密码时，密码是不会显示了，你正确输入即可。

    Linux系统启动时启动 MySQL

    如果你需要在Linux系统启动时启动 MySQL 服务器，你需要在 /etc/rc.local 文件中添加以下命令：

    1 /etc/init.d/mysqld start

    同样，你需要将 mysqld 二进制文件添加到 /etc/init.d/ 目录中。

    mysql管理

    启动及关闭 MySQL 服务器

    首先，我们需要通过以下命令来检查MySQL服务器是否启动：

    1 ps -ef | grep mysqld

    如果MySql已经启动，以上命令将输出mysql进程列表， 如果mysql未启动，你可以使用以下命令来启动mysql服务器:

    1 root@host# cd /usr/bin
2 ./mysqld_safe &

    如果你想关闭目前运行的 MySQL 服务器, 你可以执行以下命令:

    1 root@host# cd /usr/bin
2 ./mysqladmin -u root -p shutdown
3 Enter password: ******

    MySQL 用户设置

    如果你需要添加 MySQL 用户，你只需要在 mysql 数据库中的 user 表添加新用户即可。

    以下为添加用户的的实例，用户名为guest，密码为guest123，并授权用户可进行 SELECT, INSERT 和 UPDATE操作权限：

     1 root@host# mysql -u root -p
 2 Enter password:*******
 3 mysql> use mysql;
 4 Database changed
 5 mysql> INSERT INTO user
 6           (host, user, password, 
 7            select_priv, insert_priv, update_priv) 
 8            VALUES ('localhost', 'guest', 
 9            PASSWORD('guest123'), 'Y', 'Y', 'Y');
10 Query OK, 1 row affected (0.20 sec)
11  
12 mysql> FLUSH PRIVILEGES;
13 Query OK, 1 row affected (0.01 sec)
14  
15 mysql> SELECT host, user, password FROM user WHERE user = 'guest';
16 +-----------+---------+------------------+
17 | host      | user    | password         |
18 +-----------+---------+------------------+
19 | localhost | guest | 6f8c114b58f2ce9e |
20 +-----------+---------+------------------+
21 1 row in set (0.00 sec)
    View Code

    在添加用户时，请注意使用MySQL提供的 PASSWORD() 函数来对密码进行加密。 你可以在以上实例看到用户密码加密后为： 6f8c114b58f2ce9e.

    注意：在 MySQL5.7 中 user 表的 password 已换成了authentication_string。

    注意：在注意需要执行 FLUSH PRIVILEGES 语句。 这个命令执行后会重新载入授权表。

    如果你不使用该命令，你就无法使用新创建的用户来连接mysql服务器，除非你重启mysql服务器。

    你可以在创建用户时，为用户指定权限，在对应的权限列中，在插入语句中设置为 'Y' 即可，用户权限列表如下：

    Select_priv，Insert_priv，Update_priv，Delete_priv，Create_priv，Drop_priv，Reload_priv，Shutdown_priv，Process_priv，File_priv，Grant_priv，References_priv，Index_priv，Alter_priv

    另外一种添加用户的方法为通过SQL的 GRANT 命令，你下命令会给指定数据库TUTORIALS添加用户 zara ，密码为 zara123 。

    1 root@host# mysql -u root -p password;
2 Enter password:*******
3 mysql> use mysql;
4 Database changed
5 
6 mysql> GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP
7     -> ON TUTORIALS.*
8     -> TO 'zara'@'localhost'
9     -> IDENTIFIED BY 'zara123';
    View Code

    /etc/my.cnf 文件配置

    一般情况下，你不需要修改该配置文件，该文件默认配置如下：

     1 [mysqld]
 2 datadir=/var/lib/mysql
 3 socket=/var/lib/mysql/mysql.sock
 4 
 5 [mysql.server]
 6 user=mysql
 7 basedir=/var/lib
 8 
 9 [safe_mysqld]
10 err-log=/var/log/mysqld.log
11 pid-file=/var/run/mysqld/mysqld.pid

    管理MySQL的命令

    以下列出了使用Mysql数据库过程中常用的命令：

    • USE 数据库名 :选择要操作的Mysql数据库，使用该命令后所有Mysql命令都只针对该数据库。

    • SHOW DATABASES: 列出 MySQL 数据库管理系统的数据库列表。

    • SHOW TABLES: #显示指定数据库的所有表，使用该命令前需要使用 use命令来选择要操作的数据库。

    • SHOW COLUMNS FROM 数据表: #显示数据表的属性，属性类型，主键信息 ，是否为 NULL，默认值等其他信息。

    • create database testdb charset "utf8"; #创建一个叫testdb的数据库，且让其支持中文 

    • drop database testdb; #删除数据库

    • SHOW INDEX FROM 数据表:显示数据表的详细索引信息，包括PRIMARY KEY（主键）。

    Mysql 数据类型

    MySQL中定义数据字段的类型对你数据库的优化是非常重要的。

    MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。

    数值类型

    MySQL支持所有标准SQL数值数据类型。

    这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。

    关键字INT是INTEGER的同义词，关键字DEC是DECIMAL的同义词。

    BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。

    作为SQL标准的扩展，MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。下面的表显示了需要的每个整数类型的存储和范围。

    类型大小范围（有符号）范围（无符号）用途
    TINYINT 1 字节 (-128，127) (0，255) 小整数值
    SMALLINT 2 字节 (-32 768，32 767) (0，65 535) 大整数值
    MEDIUMINT 3 字节 (-8 388 608，8 388 607) (0，16 777 215) 大整数值
    INT或INTEGER 4 字节 (-2 147 483 648，2 147 483 647) (0，4 294 967 295) 大整数值
    BIGINT 8 字节 (-9 233 372 036 854 775 808，9 223 372 036 854 775 807) (0，18 446 744 073 709 551 615) 极大整数值
    FLOAT 4 字节 (-3.402 823 466 E+38，1.175 494 351 E-38)，0，(1.175 494 351 E-38，3.402 823 466 351 E+38) 0，(1.175 494 351 E-38，3.402 823 466 E+38) 单精度 浮点数值
    DOUBLE 8 字节 (1.797 693 134 862 315 7 E+308，2.225 073 858 507 201 4 E-308)，0，(2.225 073 858 507 201 4 E-308，1.797 693 134 862 315 7 E+308) 0，(2.225 073 858 507 201 4 E-308，1.797 693 134 862 315 7 E+308) 双精度 浮点数值
    DECIMAL 对DECIMAL(M,D) ，如果M>D，为M+2否则为D+2 依赖于M和D的值 依赖于M和D的值 小数值

    日期和时间类型

    表示时间值的日期和时间类型为DATETIME、DATE、TIMESTAMP、TIME和YEAR。

    每个时间类型有一个有效值范围和一个"零"值，当指定不合法的MySQL不能表示的值时使用"零"值。

    TIMESTAMP类型有专有的自动更新特性，将在后面描述。

    类型大小 (字节)范围格式用途
    DATE 3 1000-01-01/9999-12-31 YYYY-MM-DD 日期值
    TIME 3 '-838:59:59'/'838:59:59' HH:MM:SS 时间值或持续时间
    YEAR 1 1901/2155 YYYY 年份值
    DATETIME 8 1000-01-01 00:00:00/9999-12-31 23:59:59 YYYY-MM-DD HH:MM:SS 混合日期和时间值
    TIMESTAMP 4 1970-01-01 00:00:00/2037 年某时 YYYYMMDD HHMMSS 混合日期和时间值，时间戳

    　　

    字符串类型

    字符串类型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET。该节描述了这些类型如何工作以及如何在查询中使用这些类型。

    类型大小用途
    CHAR 0-255字节 定长字符串
    VARCHAR 0-65535 字节 变长字符串
    TINYBLOB 0-255字节 不超过 255 个字符的二进制字符串
    TINYTEXT 0-255字节 短文本字符串
    BLOB 0-65 535字节 二进制形式的长文本数据
    TEXT 0-65 535字节 长文本数据
    MEDIUMBLOB 0-16 777 215字节 二进制形式的中等长度文本数据
    MEDIUMTEXT 0-16 777 215字节 中等长度文本数据
    LONGBLOB 0-4 294 967 295字节 二进制形式的极大文本数据
    LONGTEXT 0-4 294 967 295字节 极大文本数据

    CHAR和VARCHAR类型类似，但它们保存和检索的方式不同。它们的最大长度和是否尾部空格被保留等方面也不同。在存储或检索过程中不进行大小写转换。

    BINARY和VARBINARY类类似于CHAR和VARCHAR，不同的是它们包含二进制字符串而不要非二进制字符串。也就是说，它们包含字节字符串而不是字符字符串。这说明它们没有字符集，并且排序和比较基于列值字节的数值值。

    BLOB是一个二进制大对象，可以容纳可变数量的数据。有4种BLOB类型：TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB。它们只是可容纳值的最大长度不同。

    有4种TEXT类型：TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT。这些对应4种BLOB类型，有相同的最大长度和存储需求。

    mysql常用命令

    MySQL 创建数据表

    1 create table table_name(column name, column type)

    创建一个student表：

    增删改查：

     1 增 语法：
 2 INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN );
 3 
 4 查 语法：
 5 SELECT column_name,column_name FROM table_name [WHERE Clause] [OFFSET M ][LIMIT N]
 6 
 7 改 语法：
 8 UPDATE table_name SET field1=new-value1, field2=new-value2 [WHERE Clause]
 9 
10 删 语法：
11 DELETE FROM table_name [WHERE Clause] delete from student where stu_id=5;

    排序 & 运算

    1 SELECT field1, field2,...fieldN table_name1, table_name2...
2 ORDER BY field1, [field2...] [ASC [DESC]]
3 使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下，它是按升序排列。
    1 SELECT column_name, function(column_name)
2 FROM table_name
3 WHERE column_name operator value
4 GROUP BY column_name;

    对于小编来说，基础操作太过简单而且跟主流的关系数据库都差不多，就不一一讲解，再实例了。

    Mysql Alter命令

    删除，添加或修改表字段

    1 alter table student drop register_date; #从student表删除register_date   字段alter table student add phone int(11) not null; ＃添加phone字段

    修改字段类型及名称

    1 mysql> ALTER TABLE testalter_tbl MODIFY c CHAR(10);

    使用 CHANGE 子句, 语法有很大的不同。 在 CHANGE 关键字之后，紧跟着的是你要修改的字段名，然后指定新字段名及类型。尝试如下实例：

    1 mysql> ALTER TABLE testalter_tbl CHANGE i j BIGINT;
2 
3 mysql> ALTER TABLE testalter_tbl CHANGE j j INT;

    ALTER TABLE 对 Null 值和默认值的影响

    当你修改字段时，你可以指定是否包含只或者是否设置默认值。

    1 mysql> ALTER TABLE testalter_tbl 
2     -> MODIFY j BIGINT NOT NULL DEFAULT 100;

    修改表名

    1 mysql> ALTER TABLE testalter_tbl RENAME TO alter_tbl;


    事务

    MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你即需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！

    • 在MySQL中只有使用了Innodb数据库引擎的数据库或表才支持事务
    • 事务处理可以用来维护数据库的完整性，保证成批的SQL语句要么全部执行，要么全部不执行
    • 事务用来管理insert,update,delete语句

    一般来说，事务是必须满足4个条件（ACID）： Atomicity（原子性）、Consistency（稳定性）、Isolation（隔离性）、Durability（可靠性）

    • 1、事务的原子性：一组事务，要么成功；要么撤回。
    • 2、稳定性 ： 有非法数据（外键约束之类），事务撤回。
    • 3、隔离性：事务独立运行。一个事务处理后的结果，影响了其他事务，那么其他事务会撤回。事务的100%隔离，需要牺牲速度。
    • 4、可靠性：软、硬件崩溃后，InnoDB数据表驱动会利用日志文件重构修改。可靠性和高速度不可兼得， innodb_flush_log_at_trx_commit选项 决定什么时候吧事务保存到日志里。

    在Mysql控制台使用事务来操作

    1 mysql> begin； ＃开始一个事务
2 mysql> insert into a (a) values(555); 
3 mysql>rollback; 回滚 ， 这样数据是不会写入的

    当然如果上面的数据没问题，就输入commit提交命令就行；

    索引

    MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。

    打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。

    索引分单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引，即一个索包含多个列。

    创建索引时，你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。 

    实际上，索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录。

    上面都在说使用索引的好处，但过多的使用索引将会造成滥用。因此索引也会有它的缺点：虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件。建立索引会占用磁盘空间的索引文件。

    普通索引

    创建索引

    这是最基本的索引，它没有任何限制。它有以下几种创建方式：

    1 CREATE INDEX indexName ON mytable(username(length));

    创建表的时候直接指定

    1 CREATE TABLE mytable(  
2   
3 ID INT NOT NULL,   
4 
5 username VARCHAR(16) NOT NULL,  
6 
7 INDEX [indexName] (username(length))  
8 );

    删除索引的语法

    1 DROP INDEX [indexName] ON mytable;

    唯一索引

    它与前面的普通索引类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。它有以下几种创建方式：

     1 创建索引
 2 CREATE UNIQUE INDEX indexName ON mytable(username(length)) 
 3 修改表结构
 4 ALTER mytable ADD UNIQUE [indexName] ON (username(length)) 
 5 创建表的时候直接指定
 6 CREATE TABLE mytable(  
 7 ID INT NOT NULL,   
 8 username VARCHAR(16) NOT NULL,  
 9 UNIQUE [indexName] (username(length))  
10 );

    使用ALTER 命令添加和删除索引

    1 有四种方式来添加数据表的索引：
2 ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
3 ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。
4 ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
5 ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。
6 以下实例为在表中添加索引。
7 mysql> ALTER TABLE testalter_tbl ADD INDEX (c);
8 你还可以在 ALTER 命令中使用 DROP 子句来删除索引。尝试以下实例删除索引:
9 mysql> ALTER TABLE testalter_tbl DROP INDEX (c);

    显示索引信息

    1 mysql> SHOW INDEX FROM table_nameG

    ORM sqlalchemy 模块

    ORM介绍

    orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数据库的关系模型建立映射关系，这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了，而不用直接使用sql语言。

    orm的优点：

    1.隐藏数据访问细节，“封闭”的通用数据库交互，orm的核心，他使得通用的数据库交互变得简单易行，并且完全不用考虑该死的SQL语句，快速开发由此而来。。

    2.ORM使构造固化数据结构变得简单易行。

    缺点

    1.无可避免的，自动化意味着映射和关联管理，代价是牺牲性能（早期这是所有不喜欢ORM的人的共同点）。现在的各种ORM框架都在尝试使用各种方式来减轻这块LazyLoad，Cache，效果还是很显著的

    在python中，最有名的ORM框架就是SQLAlchemy,用户包括openstack/Dropbox等知名公司。

    Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：

    1 MySQL-Python
2     mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
3 pymysql
4     mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
5 MySQL-Connector
6     mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
7 cx_Oracle
8     oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
9 更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

    安装sqlalchemy

    1 pip install SQLAlchemy<br><br>pip install pymysql  #由于mysqldb依然不支持py3，所以这里我们用pymysql与sqlalchemy交互


    sqlalchemy基本使用

    下面就开始让你见识ORM的nb之处，之前我们新建一张表是这样的：

    CREATE TABLE user (
    id INTEGER NOT NULL AUTO_INCREMENT, 
    name VARCHAR(32), 
    password VARCHAR(64), 
    PRIMARY KEY (id)
)

    这只是最基础，最简单的建表，如果再加上外检关联什么的，就比较难记住了，但是有了ORM
    之后一切就轻松多了。

     1 from sqlalchemy import Column,Integer,String,create_engine
 2 from sqlalchemy.ext.declarative import declarative_base
 3 
 4 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test",echo=True)
 5 Base = declarative_base()  # 生成ORM基类
 6 class User(Base):
 7     __tablename__ = "user"
 8     id = Column(Integer, primary_key=True)
 9     name = Column(String(50))
10     password = Column(String(50))
11 Base.metadata.create_all(engine)  # 很奇怪的是这里是一个父类调用子类

    这时候，看完代码，你也许很困惑，并没有减少代码啊？？？
    首先，除了上面的创建外，还有一种创建表的方式，不常用。

     1 from sqlalchemy import Table,MetaData,Column,Integer,String,ForeignKey, create_engine
 2 from sqlalchemy.orm import mapper
 3 
 4 metadata = MetaData()
 5 user = Table("user", metadata,
 6              Column("id",Integer,primary_key=True),
 7              Column("name", String(50)),
 8              Column("password", String(50)))
 9 class User(object):
10     def __init__(self, name, password):
11         self.name = name
12         self.password = password
13 
14 mapper(User, user)

    事实上，我们用第一种方式创建的就是基于第二种方式的再封装。

    这时候最基本的表已经穿件好了，那么我们来用orm创建一条数据试试好了。

     1 from sqlalchemy import Column,Integer,String,create_engine
 2 from sqlalchemy.ext.declarative import declarative_base
 3 from sqlalchemy.orm import sessionmaker
 4 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test",echo=True)
 5 Base = declarative_base()  # 生成ORM基类
 6 class User(Base):
 7     __tablename__ = "user"
 8     id = Column(Integer, primary_key=True)
 9     name = Column(String(50))
10     password = Column(String(50))
11 Base.metadata.create_all(engine)  # 很奇怪的是这里是一个父类调用子类
12 
13 Session_class = sessionmaker(bind=engine)
14 Session = Session_class()  # 生成session实例
15 
16 user_obj = User(name="alex", password= "password.1")
17 print(user_obj.name,user_obj.id)  #此时还没创建对象呢，不信你打印一下id发现还是None
18 Session.add_all(user_obj)
19 Session.commit()
    View Code

    查询

     1 from sqlalchemy import Column,Integer,String,create_engine
 2 from sqlalchemy.ext.declarative import declarative_base
 3 from sqlalchemy.orm import sessionmaker
 4 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test",echo=True)
 5 Base = declarative_base()  # 生成ORM基类
 6 class User(Base):
 7     __tablename__ = "user"
 8     id = Column(Integer, primary_key=True)
 9     name = Column(String(50))
10     password = Column(String(50))
11 Base.metadata.create_all(engine)  # 很奇怪的是这里是一个父类调用子类
12 
13 Session_class = sessionmaker(bind=engine)
14 Session = Session_class()  # 生成session实例
15 #
16 # user_obj = User(name="dandy", password= "password.2")
17 # print(user_obj.name,user_obj.id)  #此时还没创建对象呢，不信你打印一下id发现还是None
18 # Session.add(user_obj)
19 my_user = Session.query(User).filter_by(name="dandy").first()
20 print(my_user)
21 Session.commit()
    View Code
    # 输出结果： <__main__.User object at 0x0000020568565588>

    怎么会这样？其实是sqlalchemy帮你把返回的数据映射成一个对象，这样你就可以像调用对象属性一样调用了。

    print(my_user.id,my_user.name,my_user.password)
    输出：
    2 dandy password.1

    不过刚才上面显示的内存对象地址你是没办法分清是什么数据的，除非每次打印具体字段查看，怎么把它变成可读的呢。只需要在定义表的类里面加上这样的一段代码

    1     def __repr__(self):
2         return "<%s user name:%s ;password:%s>" % (self.id, self.name, self.password)
3 
4 
5 输出：
6 <2 user name:dandy ;password:password.2>
    View Code

    修改

    1 my_user = Session.query(User).filter_by(name="dandy").first()
2 print(my_user)
3 my_user.name = "dandy111"

    回滚

    1 my_user = Session.query(User).filter_by(name="dandy111").first()
2 print(my_user)
3 my_user.name = "dandy"
4 Session.rollback()
5 print(Session.query(User).filter_by(name="dandy111").first())

    输出结果：

    <2 user name:dandy111 ;password:password.2>
<2 user name:dandy111 ;password:password.2>

    获取所有值：

    1 my_user = Session.query(User).filter_by().all()
2 print(my_user)

    输出：

    [<1 user name:alex ;password:password.1>, <2 user name:dandy ;password:password.2>]

    多条件查询

    1 my_user = Session.query(User).filter(User.id<3).filter(User.name.like ("%dandy%")).all()
2 print(my_user)

    输出：

    [<2 user name:dandy ;password:password.2>]

    统计和分组

    my_user = Session.query(User).filter(User.name.like ("%dandy%")).count()
print(my_user)
#输出：2
    1 my_user = Session.query(func.count(User.name),User.name).group_by(User.name).all()
2 print(my_user)
    [(1, 'alex'), (2, 'dandy')]

    常用查询语法

    Common Filter Operators

    Here’s a rundown of some of the most common operators used in filter():

    • equals:

           query.filter(User.name == 'ed')

    • not equals:

           query.filter(User.name != 'ed')

    • LIKE:

      query.filter(User.name.like('%ed%'))

    • IN:

    • NOT IN: query.filter(~User.name.in_(['ed', 'wendy', 'jack']))

    • IS NULL:

    • IS NOT NULL:

    • AND: 2.1. ObjectRelationalTutorial 17

    query.filter(User.name.in_(['ed', 'wendy', 'jack']))

    # works with query objects too:

    query.filter(User.name.in_( session.query(User.name).filter(User.name.like('%ed%'))

    ))

    query.filter(User.name == None)

    # alternatively, if pep8/linters are a concern

    query.filter(User.name.is_(None))

    query.filter(User.name != None)

    # alternatively, if pep8/linters are a concern

    query.filter(User.name.isnot(None))

    SQLAlchemy Documentation, Release 1.1.0b1

    # use and_()

    from sqlalchemy import and_ query.filter(and_(User.name == 'ed', User.fullname == 'Ed Jones'))

    # or send multiple expressions to .filter()

    query.filter(User.name == 'ed', User.fullname == 'Ed Jones')

    # or chain multiple filter()/filter_by() calls

    query.filter(User.name == 'ed').filter(User.fullname == 'Ed Jones')

    Note: Makesureyouuseand_()andnotthePythonandoperator! • OR:

    Note: Makesureyouuseor_()andnotthePythonoroperator! • MATCH:

    query.filter(User.name.match('wendy')) Note: match() uses a database-specific MATCH or CONTAINS f 

    多外键关联

    下面来创建多外键关联.

     1 from sqlalchemy import Column,Integer,String,create_engine,ForeignKey
 2 from sqlalchemy.ext.declarative import declarative_base
 3 from sqlalchemy.orm import sessionmaker,relationship
 4 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test")
 5 Base = declarative_base()  # 生成ORM基类
 6 class User(Base):
 7     __tablename__ = "users"
 8     id = Column(Integer,primary_key=True)
 9     name = Column(String(50))
10 
11     phone_id = Column(Integer, ForeignKey("detail.id"))
12     home_id = Column(Integer, ForeignKey("detail.id"))
13 
14     phone_number = relationship("Detail")
15     home_number = relationship("Detail")
16 
17 class Detail(Base):
18     __tablename__ = "detail"
19     id = Column(Integer, primary_key=True)
20     number = Column(Integer)
21 Base.metadata.create_all(engine)

    这时候我们插入数据：

    from sqlalchemy import Column,Integer,String,create_engine,ForeignKey
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker,relationship
engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test")
Base = declarative_base()  # 生成ORM基类
class User(Base):
    __tablename__ = "users"
    id = Column(Integer,primary_key=True)
    name = Column(String(50))

    phone_number_id = Column(Integer, ForeignKey("detail.id"))
    home_number_id = Column(Integer, ForeignKey("detail.id"))

    phone_number = relationship("Details")
    home_number = relationship("Details")

class Details(Base):
    __tablename__ = "detail"
    id = Column(Integer, primary_key=True)
    number = Column(Integer)
    spec = Column(String(50))

Base.metadata.create_all(engine)

    你会看到
    。

    。

    。

    对，这样的报错：

    sqlalchemy.exc.AmbiguousForeignKeysError: Could not determine join condition between parent/child tables on relationship User.phone_number - there are multiple foreign key paths linking the tables.  Specify the 'foreign_keys' argument, providing a list of those columns which should be counted as containing a foreign key reference to the parent table.

    错误的原因就是

    phone_number = relationship("Details)
    home_number = relationship("Details)

    改为

    phone_number = relationship("Details", foreign_keys=[phone_number_id])
    home_number = relationship("Details", foreign_keys=[home_number_id])

    插入数据：

     1 #!/user/bin/env python
 2 # -*-coding: utf-8-*-
 3 from sqlalchemy import Column,Integer,String,create_engine,ForeignKey
 4 from sqlalchemy.ext.declarative import declarative_base
 5 from sqlalchemy.orm import sessionmaker,relationship
 6 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test")
 7 Base = declarative_base()  # 生成ORM基类
 8 class User(Base):
 9     __tablename__ = "users"
10     id = Column(Integer,primary_key=True)
11     name = Column(String(50))
12 
13     phone_number_id = Column(Integer, ForeignKey("detail.id"))
14     home_number_id = Column(Integer, ForeignKey("detail.id"))
15 
16     phone_number = relationship("Details", foreign_keys=[phone_number_id])
17     home_number = relationship("Details", foreign_keys=[home_number_id])
18 
19 class Details(Base):
20     __tablename__ = "detail"
21     id = Column(Integer, primary_key=True)
22     number = Column(Integer)
23     spec = Column(String(50))
24 
25 Base.metadata.create_all(engine)
26 Session_class = sessionmaker(bind=engine)
27 Session = Session_class()
28 
29 detail_obj1 = Details(number=1234567892,spec="na")
30 detail_obj2 = Details(number=1234567888, spec="na")
31 
32 Session.add(detail_obj1)
33 Session.add(detail_obj2)
34 use_obj = User(name="dandy",phone_number=detail_obj1, home_number=detail_obj2)
35 
36 Session.add(use_obj)
37 
38 Session.commit()
    View Code

    查询：

    1 data = Session.query(User).filter(User.name=="dandy").first()
2 print(data.phone_number.number,data.home_number.number)

    输出：

    1234567892 1234567888

    多对多关系

    玩个大的！！

    一本书有好多个作者一起出版，一个作者可以出版好多书。其实就是稍微复杂点。没什么。

    分析：为了不让改动书名或者作者名影响到其他的表，我们的设计是三张表， 一张书信息表，一张作者信息表，一张书与作者的关系表。

     1 from sqlalchemy import Table,Column,String,Integer,ForeignKey,create_engine
 2 from sqlalchemy.orm import relationship,sessionmaker
 3 from sqlalchemy.ext.declarative import declarative_base
 4 
 5 engine = create_engine("mysql+pymysql://root:password.1@192.168.85.100/test")
 6 Base = declarative_base()
 7 
 8 book_2_author = Table("book_2_author", Base.metadata,
 9                       Column("book_id", Integer, ForeignKey("books.id")),
10                       Column("author_id", Integer, ForeignKey("authors.id"))
11                       )
12 class Book(Base):
13     __tablename__ = "books"
14     id = Column(Integer, primary_key=True)
15     name = Column(String(50))
16     authors = relationship("Author", secondary=book_2_author, backref="books") # 返查出它所有在books表里面的关联项
17     def __repr__(self):
18         return self.name
19 
20 class Author(Base):
21     __tablename__ = "authors"
22     id = Column(Integer,primary_key=True)
23     name = Column(String(50))
24     def __repr__(self):
25         return self.name
26 
27 Base.metadata.create_all(engine)
    View Code

    插入数据：

     1 Session_class = sessionmaker(bind=engine)
 2 Sesssion = Session_class()
 3 
 4 b1 = Book(name="跟dandy学python")
 5 b2 = Book(name="跟dandy学把妹")
 6 b3 = Book(name="跟dandy学装笔")
 7 
 8 a1 = Author(name="dandy")
 9 a2 = Author(name="renee")
10 a3 = Author(name="taylor")
11 
12 b1.authors = [a1, a2]
13 b2.authors = [a1, a3]
14 b3.authors = [a1, a2, a3]
15 Sesssion.add_all([b1, b2, b3, a1, a2, a3])
16 Sesssion.commit()
    View Code

    查看三张表：

    来，查数据：

    1 data = Session.query(Book).filter(Book.id==1).first()
2 print(data.name,":",data.authors)
    跟dandy学python : [dandy, renee]

    很强势。！

    多对多删除

    删除数据时不用管boo_m2m_authors， sqlalchemy会自动帮你把对应的数据删除

    通过书删除作者

    1 author_obj = Session.query(Author).filter(Author.name=="taylor").first()
2 book_obj = Session.query(Book).filter(Book.name=="跟dandy学把妹").first()
3 
4 book_obj.authors.remove(author_obj)
5 Session.commit()

    直接删除

    1 author_obj =Session.query(Author).filter_by(name="dandy").first()
2 Session.delete(author_obj)
3 Session.commit()

    　　

    处理中文

    sqlalchemy设置编码字符集一定要在数据库访问的URL上增加charset=utf8，否则数据库的连接就不是utf8的编码格式

    eng = create_engine('mysql://root:root@localhost:3306/test2?charset=utf8',echo=True)

    　
  • 相关阅读:
    wordcloud库基本介绍和使用方法
    文本词频同意问题分析
    集合
    操作系统
    操作系统的发展史
    基础练习
    random库的使用
    【量化】五日均价策略
    【量化】多只股票策略
    【量化】指数数据
  • 原文地址：https://www.cnblogs.com/wuzdandz/p/7764416.html
Copyright © 2011-2022 走看看