Date: 2019-06-03
Author: Sun
存储数据？
（1）文件
（2）关系型数据库(mysql, oracle)—结构化存储（结构化数据，引入numpy，pandas）
（3）非关系型数据库（redis, mongodb）---- 数据组织的方式并不是以一张二维表组织。
（4）图片服务器(均匀小块存储 block 1M左右)
（5）HDFS(大块存储，64M block) — 非结构化，数据分布式全量存储
（6）视频服务器（几百兆 block）
1. 如何在vagrant的centos虚拟机下安装mysql
在第一节课中讲过了如何采用vagrant创建centos虚拟化环境。
本节讲解如何在centos虚拟机中安装mysql数据库
由于Vagrant采用的是端口硬是，若是外部访问的话，还必须记得加上，端口映射，否则连接不上去的
端口代码：
mysql.vm.network "forwarded_port", guest: 3306, host: 3306
步骤1
- vagrant配置IP，使得和windows互通。
解决方案1：
查看本地ip所在的网段，设置Vagrantfile文件。（假设本地IP网段在192.168.1.xxx）
添加如下内容（添加共有网络配置，IP一个网段）
config.vm.network "public_network", ip: "192.168.1.31"
-
vagrant 重新加载
vagrant reload
-
重启
vagrant up
说明：
如果按照上述过程启动不了vagrant，有可能要采用方案2，设置Vagrantfile文件（设置为私有网络配置）
Vagrant.configure("2") do |config|
config.vm.define :mysql do |mysql|
mysql.vm.provider "virtualbox" do |v|
v.name = "mysql"
v.customize ["modifyvm", :id, "--memory", "1024"]
v.customize ["modifyvm", :id, "--cpus", "1"]
v.cpus = 1
end
mysql.vm.box = "centos7"
mysql.vm.hostname = "mysql"
mysql.vm.network "private_network", ip: "192.168.1.31"
mysql.vm.network "forwarded_port", guest: 3306, host: 3306
end
end
-
登录到centos
vagrant ssh
步骤2
安装MariaDb
MariaDb是最近推出一款企业级MYSQL Server
Percona Server 和 MariaDb 是当前最为流行的两大企业级MYSQL SERVER解决方案
sudo yum -y install mariadb mariadb-server
安装完成MariaDB，首先启动MariaDB
sudo systemctl start mariadb
设置开机启动
sudo systemctl enable mariadb
接下来进行MariaDB的相关简单配置
sudo mysql_secure_installation
首先是设置密码，会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车
设置密码
Set root password? [Y/n] <– 是否设置root用户密码，输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码
其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户，回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库，回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表，回车
初始化MariaDB完成，接下来测试登录
mysql -uroot -ppassword
步骤3 关闭防火墙，或者对外开放3306端口
由于是本地测试，所以直接关闭防火墙更方便，centos7如下
关闭firewall：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
步骤4 登录mysql数据库，设置权限
mysql -u root -p
设置权限
grant all privileges on . to 'ruanmou'@'%' identified by 'ruanmou123' with grant option;
至此，就可以采用navicat进行连接mysql进行测试了
2. MySQL数据库
数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，
每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。
我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。
所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
数据持久化： 数据永久保存
存储介质：文件(txt, word, excel, csv)， 关系型数据库
有哪些关系型数据库？
SQL SERVER, MYSQL, ORACLE
关系型数据库层次：
（1）数据库引擎（由底层C语言封装的操作库，表，管理等操作）
mysql引擎：InnoDB(行级锁，插入速度快，支持事务), MyISAM（表级锁，查询速度快快）
线上一般都采用InnoDB引擎存储。
（2）引擎提供上层可调用SQL API接口
复合SQL-98标准规范
MySQL数据库系统
MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
mysql产生几个企业版本：Percona Server， MariaDB
MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。
优点：
- MySQL 是开源的，所以你不需要支付额外的费用。
- MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
- MySQL 使用标准的SQL数据语言形式。
- MySQL 对Python等语言有很好的支持.
MySQL数据库引擎：
（1）MyISAM
表级锁引擎，查询速度很快，但是处理效率低
（2）InnoDB
行级锁引擎，支持事务，一般线上mysql数据库都是采用这种引擎。
Ubuntu安装mysql数据库
Ubuntu 16.04下安装MySQL的过程：
首先执行下面三条命令：
sudo apt-get install mysql-server
sudo apt install mysql-client
sudo apt install libmysqlclient-dev
安装成功后可以通过下面的命令测试是否安装成功：
sudo netstat -tap | grep mysql （ or sudo netstat -anp | grep mysql ）
出现如下信息证明安装成功：
sudo netstat -tap | grep mysql
[sudo] password for zhouguangyou:
tcp 0 0 *:mysql *:* LISTEN 1146/mysqld
可以通过如下命令进入MySQL服务：
mysql -u root -p 你的密码
如何进行远程访问mysql？
现在设置mysql允许远程访问，首先编辑文件/etc/mysql/mysql.conf.d/mysqld.cnf：
sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
注释掉bind-address = 127.0.0.1：修改为: bind-address=0.0.0.0
如何对创建新用户并设置访问权限？
最好以超级root用户进行权限分配
grant all on *.* to zhougy@'%' identified by '123456' with grant option;
flush privileges;
上述信息可以根据自身的情况进行修改定制。（创建新用户zhougy，赋予所有权限，且远程能访问）
重新启动下mysql
/etc/init.d/mysql stop && /etc/init.d/mysql start
重新连接mysql
mysql -u root -h 你的mysql数据库IP地址 -p 你的密码
创建数据库db_name, 并设置字符编码为utf8
mysql> create database db_name CHARACTER SET utf8;
附：
编码问题，导致无法输入中文。
安装MySQL数据库时的默认编码是latin1。
如果我们进入Add按钮添加相关信息，如果输入的是英文，没有问题，如果输入的是中文，则会出现异常错误。如下：
InternalError at /admin/app/school/add/
(1366, "Incorrect string value: '\\xE6\\xB8\\x85\\xE5\\x8D\\x8E...' for column 'sname' at row 1")
出现此类错误原因：数据库mysql字符编码问题，需要改成utf-8
Questions: 修改mysql数据库默认编码
查看MySQL当前数据库的默认编码:
mysql> status;
--------------
mysql Ver 14.14 Distrib 5.7.21, for Linux (x86_64) using EditLine wrapper
Connection id: 3
Current database: hello_django
Current user: django@localhost
SSL: Not in use
Current pager: stdout
Using outfile: ''
Using delimiter: ;
Server version: 5.7.21-0ubuntu0.16.04.1 (Ubuntu)
Protocol version: 10
Connection: Localhost via UNIX socket
Server characterset: latin1
Db characterset: latin1
Client characterset: latin1
Conn. characterset: latin1
UNIX socket: /var/run/mysqld/mysqld.sock
Uptime: 2 hours 18 min 45 sec
发现编码方式是latin1
需要改成utf-8
解决方案：
（1）修改MySQL的配置文件 vim /etc/mysql/mysql.conf.d/mysqld.cnf 中追加
[mysqld]
character-set-server=utf8
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
重新启动下mysql
/etc/init.d/mysql stop && /etc/init.d/mysql start
改变后，之前手工创建的数据库如未显式指定编码，则其编码仍是默认的latin1，可使用如下命令更改编码：
mysql> create database db_name CHARACTER SET utf8;
好了，再次使用如下命令查看编码方式：
mysql> show variables like 'character_set_database';
mysql> status;
都改成了utf-8
mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
修改编码格式成功！