初识数据库

一.初识数据库

假设现在你已经是某大型互联网公司的高级程序员，让你写一个火车票购票系统，来hold住十一期间全国的购票需求，怎么写？由于在同一时段抢票的人数太多，所以你的程序不可能写在一台机器上，应该是多台机器一起分担用户的购票请求。那么问题就来了，票务信息的数据存在哪里？存在文件里么？如果存储在文件里，那么存储在哪一台机器上呢？是每台机器上都存储一份么？首先，如果其中一台机器上卖出的票另外两台机器是感知不到的，其次，是如果将数据和程序放在同一个机器上，如果程序和数据有一个出了问题都会导致整个服务不可用，最后，是操作文件，修改文件对python代码来说是一件很麻烦的事，基于上面这些问题，单纯的将数据存储在和程序同一台机器上的文件中是非常不明智的。

　　

1.为什么要使用数据库

第一，将文件和程序存在一台机器上是很不合理的。
第二，操作文件是一件很麻烦的事

(1)数据库(理解选票系统)

可以理解为(数据库)是一个可以在一台机器上独立工作的，并且可以提供高效、便捷的方式对数据进行增删改查的一种工具。如此就帮助我们解决了上面出现的问题，如果将所有的数据都存储在一个独立的机器上，而对用户提供服务的机器只是存放你写的代码。

数据库的优点：

   1.程序稳定性 ：这样任意一台服务所在的机器崩溃了都不会影响数据和另外的服务。

　　2.数据一致性 ：所有的数据都存储在一起，所有的程序操作的数据都是统一的，就不会出现数据不一致的现象

　　3.并发 ：数据库可以良好的支持并发，所有的程序操作数据库都是通过网络，而数据库本身支持并发的网络操作，不需要我们自己写socket

　　4.效率 ：使用数据库对数据进行增删改查的效率要高出我们自己处理文件很多

2.认识数据库

(1)什么是数据(Data)

描述事物的符号记录称为数据，描述事物的符号既可以是数字，也可以是文字、图片，图像、声音、语言等，数据由多种表现形式，它们都可以经过数字化后存入计算机

在计算机中描述一个事物，就需要抽取这一事物的典型特征，组成一条记录，就相当于文件里的一行内容，如：

1,a,不详,18,2019,中国,腾讯

单纯的一条记录并没有任何意义，如果按逗号作为分隔，依次定义各个字段的意思，相当于定义表的标题

id,name,sex,age,birth,born_addr,company # 字段/列名
1,a,不详,18,1996,中国,腾讯 # 数据

这样就可以了解a，性别不详，年龄18岁，出生于1996年，公司在腾讯。

(2) 什么是数据库（DataBase，简称DB）

数据库即存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定的格式存放的,过去人们将数据存放在文件柜里，现在数据量庞大，已经不再适用.

数据库是长期存放在计算机内、有组织、可共享的数据集合。

数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种 用户共享.

(3)什么是数据库管理系统（DataBase Management System 简称DBMS）

在了解了Data与DB的概念后，如何科学地组织和存储数据，如何高效获取和维护数据成了关键

这就用到了一个系统软件---数据库管理系统

如MySQL、Oracle、SQLite、Access、MS SQL Server

mysql主要用于大型门户，例如搜狗、新浪等，它主要的优势就是开放源代码，因为开放源代码这个数据库是免费的，他现在是甲骨文公司的产品。
oracle主要用于银行、铁路、飞机场等。该数据库功能强大，软件费用高。也是甲骨文公司的产品。
sql server是微软公司的产品，主要应用于大中型企业，如联想、方正等。

数据库管理员 DBA（Database Administrator）

(4)数据库服务器、数据管理系统、数据库、表与记录的关系（重点）***

记录：1 a 13234567890 22（多个字段的信息组成一条记录，即文件中的一行内容）

表：userinfo,studentinfo,courseinfo（即文件）

数据库：db（即文件夹）

数据库管理系统：如mysql（是一个软件）

数据库服务器：一台计算机（对内存要求比较高）

总结：

​ 数据库服务器-：运行数据库管理软件

​ 数据库管理软件：管理-数据库

​ 数据库：即文件夹，用来组织文件/表

​ 表：即文件，用来存放多行内容/多条记录

3.数据库分类

目前的数据库可以分为两个大类：关系型数据库和非关系型数据库

(1)关系型数据库（RDBMS）

解释：关系型数据库模型是把复杂的数据结构归结为简单的二元关系（即二维表格形式，不是excel，但是和excel的形式很像）.

操作关系型数据库的命令，称之为SQL，看解释:

结构化查询语言(Structured Query Language)简称SQL(发音：/ˈes kjuː ˈel/ "S-Q-L")，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。
结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。
(1986年10月，美国国家标准协会对SQL进行规范后，以此作为关系式数据库管理系统的标准语言（ANSI X3. 135-1986），1987年得到国际标准组织的支持下成为国际标准。不过各种通行的数据库系统在其实践过程中都对SQL规范作了某些编改和扩充.所以，实际上不同数据库系统之间的SQL不能完全相互通用

其中最后一句挺重要的：不同数据库系统之间的SQL不能完全相互通用。

　常用的关系型数据库：

1.oracle数据库:Oracle前身叫SDL、由Larry Ellison和两个变成任意在1977创办，他们开发了主机的拳头产品，在市场上大量销售。Oracle公司是最早开发关系型数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率数一数二 。Oracle公司是目前全球最大的数据库软件公司，也是近年业务增长极为迅速的软件提供与服务商,主要应用范围：传统大企业、大公司、政府、金融、证券等。 版本升级：oracle8i，oracle9i，oracle10g，oracle11g，oracle12c

2.MySQL:MySQL被广泛的应用在Internet上的大中小型网站中。由于体积小、速度快、总体拥有成本低，开放源代码

3.MariaDB数据库:MAriaDB数据库管理系统是MySQL数据库的一个分支，主要由开元社区维护，采用GPL授权许可。开发这个MariaDB的原因之一是：甲骨文公司收购了MySQL后，有MySQL闭源的潜在风险，因此MySQL开元社区采用分支的方式来避开这个风险。 MariaDB基于事务的Maria存储引擎，替换了MySQL的MyISAM的存储引擎，它使用了Percona的XtraDB（InnoDB的变体）这个版本还包括了PrimeBase XT （PBXT）和Federated X存储引擎。

4.SQL Server数据库:Microsoft SQL Server是微软公司开发的大型关系数据库系统。SQL Server的功能比较全面，效率高，可以作为中型企业或单位的数据库平台。SQL Server可以与Winodws操作系统紧密集成，不论是应用程序开发速度还是系统事务处理运行速度，都得到较大的提升，对于在Windows平台上开发的各种企业级信息管理系统来说，不论是C/S（客户机/服务器）架构还是B/S（浏览器/服务器）架构。SQL Server都是一个很好的选择。SQL Server的缺点是只能在Windows系统下运行

5.Access数据库:Access是入门级小型桌面数据库，性能安全性都很一般，可供个人管理或小型企业使用，Access不是数据库语言，只是一个数据库程序，目前最新版本为Office 2007，其特点主要如下： （1）完善地管理各种数据库对象，具有强大的数据组织，用户管理、安全检查等功能 
　　　　　　　　（2）强大的数据处理功能，在一个工作组级别的网络环境中，使用Access开发的多用户管理系统具有传统的XSASE(DBASE、FoxBASE的统称)数据库系统所无法实现的客户服务器（Ckient/Server）结构和响应的数据库安全机制，Access具备了许多先进的大型数据管理管理系统所具备的特征。 
　　　　　　　　（3）可以方便地生成各种数据对象，利用存储的数据建立窗体和报表 
　　　　　　　　（4）作为Office套件的一部分，可以与Office集成，实现无缝连接 
　　　　　　　　（5）能够利用Web检索和发布数据，实现与Internet的连接，Access主要适用于中小企业应用系统，或作为客户机/服务器系统中的客户端数据库。

6.其他不常用关系型数据库：DB2，PostgreSQL，Informix，Sybase等。这些关系型数据库逐步的淡化了普通运维的实现，特别是互联网公司几乎见不到

非关系型数据库　　

非关系型数据库也被成为NoSQL数据库，NOSQL的本意是“Not Olnly SQL”
　　　　指的是非关系型数据库，而不是“No SQL”的意思，因此，NoSQL的产生并不是要彻底地否定关系型数据库，而是作为传统关系型数据库的一个有效补充。NOSQL数据库在特定的场景下可以发挥出难以想象的高效率和高性能。

　　　　随着互联网Web2.0网站的星期，传统的关系型数据库在应付web2,0网站，特别是对于规模日益扩大的海量数据，超大规模和高并发的微博、微信、SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题。

　　　　例如：传统的关系型数据库IO瓶颈、性能瓶颈都难以有效突破，于是出现了大批针对特定场景，以高性能和使用便利为目的功能特异化的数据库产品。NOSQL（非关系型）类的数据就是在这样的情景下诞生并得到了非常迅速的发展

　　　　高性能、高并发、对数据一致性要求不高
　　　　开源的NoSQL体系，如Facebook的Cassandra，Apache的HBase，也得到了广泛认同，Redis，mongb也逐渐越来越受到各类大中小型公司的欢迎和追捧

　　　　NOSQL非关系型数据库小结：
　　　　1、NOSQL不是否定关系数据库，而是作为关系数据库的一个重要补充
　　　　2、NOSQL为了高性能、高并发而生，忽略影响高性能，高并发的功能
　　　　3、NOSQL典型产品memcached （纯内存），redis（持久化缓存），mongodb（文档的数据库）

非关系型数据库又分为以下4种：

（1）键值（Key-Value）存储数据库
键值数据库就类似传统语言中使用哈希表，可以通过key来添加、查询或删除数据，因为使用key主键访问，所以会获得很高的性能及扩展性 
键值（Key-Value）数据库主要是使用一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署、高并发 
 k1—>数据 
 k2—>数据 
 典型产品：Memcached、Redis、MemcacheDB、BerkeleyDB 
（2）列存储（Column-oriedted）数据库 ======>了解即可，一般公司用不到 
这部分数据库通常用来分布式存储的海量数据，键仍然存在，但是他们的特点是指向了多个列。 
典型产品：Cassandra,HBase 
（3）面向文档（Document-Oriented）数据库
面向文档数据库会将以文档的形式存储。每个文档都是自包含的数据单元，是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关系对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储 
典型产品：MorgoDB、CouchDB 
（4）图形（Graph）数据库

常见的非关系型数据库

1.memcached（key-value）
Memcaced是一个开源的、高性能的、具有分布式内存对象的缓存系统。通过它可以减轻数据库负载，加速动态的web应用，最初版本由LiveJoumal 的Brad Fitzpatrick在2003年开发完成。目前全球有非常多的用户都在使用它来架构主机的大负载网站或提升主机的高访问网站的响应速度。注意：Memcache 是这个项目的名称，而Memcached是服务端的主程序文件名。 
缓存一般用来保存一些进程被存取的对象或数据，通过缓存来存取对象或数据要比在磁盘上存取块很多，前者是内存，后者是磁盘、Memcached是一种纯内存缓存系统，把经常存取的对象或数据缓存在memcached的内存中，这些被缓存的数据被程序通过API的方式被读取，memcached里面的数据就像一张巨大的hash表，数据以key-value对的方式存在。Memcached通过缓存经常被存取的对象或数据，从而减轻频繁读取数据库的压力，提高网站的响应速度，构建出快速更快的可扩展的Web应用。 
官网：http://memcached.org/ 
由于memcached为纯内存缓存软件，一旦重启所有数据都会丢失，因此，新浪网基于Memcached开发了一个开源项目Memcachedb。通过为Memcached增加Berkeley DB的特久化存储机制和异步主复制机制，使Memcached具备了事务恢复能力、持久化数据能力和分布式复制能力，memcached非常适合需要超高性能读写速度、持久化保存的应用场景，但是最近几年逐渐被其他的持久化产品替代如Redis
Memcached小结： 
　　1、key-value行数据库 
　　2、纯内存数据库 
　　3、持久化memcachedb（sina）

2.Redis（key-value）
和Memcached类似，redis也是一个key-value型存储系统。但redis支持的存储value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）等。这些数据类型都支持push/pop、add/remove及取交集、并集和差集及更丰富的操作，而且这些操作都是原子性的。为了保证效率，redis的数据都是缓存在内存中。区别是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在基础上实现了master-slave（主从）同步。 
redis是一个高性能的key-value数据库。redis的出现、很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端，使用方便。 
官方：http://www.redis.io/documentation 
　　redis特点： 
　　1）支持内存缓存，这个功能相当于memcached 
　　2）支持持久化存储，这个功能相当于memcachedb，ttserver 
　　3）数据库类型更丰富。比其他key-value库功能更强 
　　4）支持主从集群、分布式 
　　5）支持队列等特殊功能 
　　应用：缓存从存取memcached更改存取redis

3.MongoDB（Document-oriented）
MongoDB是一个介于关系型数据库和非关系型数据库之间的产品，是非关系型数据库当中功能最丰富，最像关系数据库的。他支持的数据库结构非常松散，类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongodb最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 
   特点： 
　　　　高性能、易部署、易使用、存储数据非常方便 
　　主要功能特性： 
	  1.面向集合存储，易存储对象类型的数据 
　　　 2.“面向集合”（Collenction-Orented）意思是数据库被分组存储在数据集中，被称为一个集合（Collenction）每个 集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档，集合的概念类似关系型数据库（RDBMS）里的表（table）不同的是它不需要定义任何模式（schema） 
　　　　3.模式自由 
　　　　　　模式自由（schema-free）意为着存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。 
　　　　4.支持动态查询 
　　　　5.支持完全索引，包含内部对象 
　　　　6.支持查询 
　　　　7.支持复制和故障恢复 
　　　　8.使用高效的二进制数据存储，包括大型对象 
　　　　9.自动处理碎片、以支持云计算层次的扩展性

4.Cassandra（Column-oriented）
Apache Cassndra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于存储特别大的数据。Facebook目前在使用此系统。 
主要特点： 
   1.分布式 
　　2.基于column的结构化 
　　3.高伸展性 
　　4.Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成一个分布式网络服务，对Cassandra的一个写操作，会被复制到其他节点上去，对Cassandra的读操作。也会被路由到某个节点上面去读取。 
　　Cassandir是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynomie（分布式的key-value存储系统）更丰富，Cassandra最初由Facebook开发，后转变成了开源项目。

5.其他不常用非关系型数据库
HBase、MemcacheDB、BerkeleyDB、Tokyo CabinetTokyo Tyrant（ttserver） 
ttserver 持久化输出，缺点存储2千万条 性能下降（由日本人发明）

4.初识sql语句

#进入mysql客户端
$mysql
mysql> select user();  #查看当前用户
mysql> exit     # 也可以用q quit退出
# 默认用户登陆之后并没有实际操作的权限
# 需要使用管理员root用户登陆
$ mysql -uroot -p   # mysql5.6默认是没有密码的
#遇到password直接按回车键
mysql> set password = password('root'); # 给当前数据库设置密码
# 创建账号
mysql> create user 'eva'@'192.168.10.%'   IDENTIFIED BY '123';# 指示网段
mysql> create user 'eva'@'192.168.10.5'   # 指示某机器可以连接
mysql> create user 'eva'@'%'                    #指示所有机器都可以连接  
mysql> show grants for 'eva'@'192.168.10.5';查看某个用户的权限 
# 远程登陆
$ mysql -uroot -p123 -h 192.168.10.3
# 给账号授权
mysql> grant all on *.* to 'eva'@'%';
mysql> flush privileges;    # 刷新使授权立即生效
# 创建账号并授权
mysql> grant all on *.* to 'eva'@'%' identified by '123' 

设想一下,想要从文件中存取数据的时候，是一个非常繁琐的过程，主要是因为文件中所有的内容对我们来说是连续的，没有规则的。如果我们将数据按照规则存在一个文件中，在设计一种规则可以拼凑组合成我们需要的操作，并通过这些指示在文件中存取数据，那么操作数据是不是能够变得更加简单快速呢？这串规则就被我们成为SQL。

　　SQL : 结构化查询语言(Structured Query Language)简称SQL(发音：/ˈes kjuː ˈel/ "S-Q-L")，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统

　　SQL语言主要用于存取数据、查询数据、更新数据和管理关系数据库系统,SQL语言由IBM开发。SQL语言分为3种类型：

　　1、DDL语句 数据库定义语言： 数据库、表、视图、索引、存储过程，例如CREATE DROP ALTER

　　2、DML语句 数据库操纵语言： 插入数据INSERT、删除数据DELETE、更新数据UPDATE、查询数据SELECT

　　3、DCL语句 数据库控制语言： 例如控制用户的访问权限GRANT、REVOKE

1. 操作文件夹（库）
   增：create database db1 charset utf8;
   查：show databases;
   改：alter database db1 charset latin1;
   删除: drop database db1;


2. 操作文件（表）
   先切换到文件夹下：use db1
   增：create table t1(id int,name char);
   查：show tables;
   改：alter table t1 modify name char(3);
      alter table t1 change name name1 char(2);
   删：drop table t1;
    

3. 操作文件中的内容（记录）
   增：insert into t1 values(1,'egon1'),(2,'egon2'),(3,'egon3');
   查：select * from t1;
   改：update t1 set name='sb' where id=2;
   删：delete from t1 where id=1;

   清空表：
       delete from t1; #如果有自增id，新增的数据，仍然是以删除前的最后一样作为起始。
       truncate table t1;数据量大，删除速度比上一条快，且直接从零开始，

*auto_increment 表示：自增
*primary key 表示：约束（不能重复且不能为空）；加速查找

1.后缀名为.frm的文件：这个文件主要是用来描述数据表结构(id,name字段等)和字段长度等信息
2.后缀名为.ibd的文件：这个文件主要储存的是采用独立表储存模式时储存数据库的数据信息和索引信息；
3.后缀名为.MYD（MYData）的文件：从名字可以看出，这个是存储数据库数据信息的文件，主要是存储采用独立表储存模式时存储的数据信息；
4.后缀名为.MYI的文件：这个文件主要储存的是数据库的索引信息；
5.ibdata1文件:主要作用也是储存数据信息和索引信息，这个文件在mysql安装目录的data文件夹下。
    从上面可以看出，.ibd储存的是数据信息和索引信息，ibdata1文件也是存储数据信息和索引信息，.MYD和.MYI也是分别储存数据信息和索引信息，那他们之间有什么区别呢？ 
    主要区别是再于数据库的存储引擎不一样，如果储存引擎采用的是MyISAM，则生成的数据文件为表名.frm、表名.MYD、表名的MYI;而储存引擎如果是innoDB，开启了innodb_file_per_table＝1,也就是采用独立储存的模式，生成的文件是表名.frm、表名.ibd，如果采用共存储模式的，数据信息和索引信息都存储在ibdata1中; 
    在进行数据恢复的时候，如果用的是MYISAM数据引擎，那么数据很好恢复，只要将相应.frm, .MYD, .MYI文件拷贝过去即可。但是如果是innodb的话，则每一个数据表都是一个单独的文件，只将相应的.frm和.ibd文件拷贝过去是不够的，必须在你的ibd文件的tablespace id和ibdata1文件中的元信息的tablespace id一致才可以。
msyql人家设定的规则就是这样存储表的，使用人家的系统，就要理解人家的规则。