6月11号

EPOLL

首先我们要知道我们为什么要选择EPOLL模型 

 

select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,

数据到达后还需要给变量所有socket才能获知哪些socket有数据

两个操作消耗的时间随着要监控的socket的数量增加而大大增加,

处于效率考虑才规定了最大只能监视1024个socket

多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢

linux中提供了epoll 这种多路复用的IO模型,注意其他平台没有相应的实现

所以epoll仅在linux中可用

 

而

epol为了解决这个问题,在内核中维护了一个就绪列表,

1.创建epoll对象,epoll也会对应一个文件,由文件系统管理

2.执行register时,将epoll对象 添加到socket的等待队列中

3.数据到达后,CPU执行中断程序,将数据copy给socket

4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象

5.将socket,添加到就绪列表中

6.唤醒epoll等待队列中的进程,

进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可

 

解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket

#coding:utf-8
#客户端
#创建客户端socket对象
import socket
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',1688)
#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)

while True:
    #输入数据
    data = raw_input('please input:')
    if data == "q":
        break
    if not data:
      continue
    #客户端发送数据
    clientsocket.send(data.encode("utf-8"))
    #客户端接收数据
    server_data = clientsocket.recv(1024)
    print ('客户端收到的数据：',server_data)
#关闭客户端socket
clientsocket.close()

# coding:utf-8
import socket, select

server = socket.socket()
server.bind(("127.0.0.1", 1688))
server.listen(5)

msgs = []


fd_socket = {server.fileno(): server}
epoll = select.epoll()
# 注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)

while True:
    for fd, event in epoll.poll():
        sock = fd_socket[fd]
        print(fd, event)
        # 返回的是文件描述符 需要获取对应socket
        if sock == server:  # 如果是服务器 就接受请求
            client, addr = server.accept()
            # 注册客户端写就绪
            epoll.register(client.fileno(), select.EPOLLIN)
            # 添加对应关系
            fd_socket[client.fileno()] = client

        # 读就绪
        elif event == select.EPOLLIN:
            data = sock.recv(2018)
            if not data:
                # 注销事件
                epoll.unregister(fd)
                # 关闭socket
                sock.close()
                # 删除socket对应关系
                del fd_socket[fd]
                print(" somebody fuck out...")
                continue

            print(data.decode("utf-8"))
            # 读完数据 需要把数据发回去所以接下来更改为写就绪=事件
            epoll.modify(fd, select.EPOLLOUT)
            #记录数据
            msgs.append((sock,data.upper()))
        elif event == select.EPOLLOUT:
            for item in msgs[:]:
                if item[0] == sock:
                    sock.send(item[1])
                    msgs.remove(item)
            # 切换关注事件为写就绪
            epoll.modify(fd,select.EPOLLIN)

数据库

1什么是数据库

数据库就是存储数据的仓库

普通存储数据的方式有两种 一种是内存的临时存储 断电后数据消失 还有一种通过硬盘存储可以永久保存数据但是读取数据较慢

效率较低，还有一个问题不可能所有组件运行在同一台计算机上为什么?
一台计算机的性能总归有上限  例如淘宝双11 双12  用一台计算机来做服务器的 配置再高都肯定吃不消，那怎么办?

我们可以通过垂直扩展计算机的性能 一种直接提升计算机硬件 但是一台机器的性能扩展总归有极限 所以不可取

我们通过横向扩展

添加更多的计算机 将程序的不同组件分别运行在不同的计算机上
带来的优点:
性能提高 稳定性提高(可拔插式)
现在性能问题已经解决了 通过分布式的方式
但是这些组件虽然分布在各个计算机上 但是它们还是一个整体
也就是说你操作的数据文件还是是同一份
默认情况下 程序能访问的数据 但是只有当前计算机。

访问不同计算机上的文件数据

如何能访问别的计算机上的文件呢?
只有一种办法,通过网络 通过网络把你要什么数据告诉服务器 服务器在通过网络把你要的数据发送给你,得需要使用socket ,需要配套的来一个服务器端 和 客户端程序，把客户端程序分发给各个python程序 python程序通过客户端来链接服务器端 从而完成数据的读写

也就是说数据库本质上就是一套C/S结构的TCP程序
我们完全可以自己来编写这么一套软件，但是需要考虑一下几个问题

1.socket需不需实现并发? 必须要
2.既然是并发 还要考虑线程安全问题?     需要给文件操作加锁
3.是不是任何计算机请求链接我都要接受呢? 不是需要进行用户认证
4.单纯的对本地计算机上的数据进行读取 速度都是非常慢的硬盘上的数据有寻道寻址时间 平均延迟时间，速度太慢! 要想办法提高数据的存取效率，通过索引。

到现在我们知道了要开发一款应用程序必须先解决上述四个问题，但是对于每一个公司而言，开发周期是非常重要的，不可能为了开发应用程序而先花大把时间来编写数据库程序，这便产生了专门的数据库软件厂商。写出了专门的数据库软件。

 

常见数据库

关系型数据库

数据库可以为数据与数据之间建立关联关系，人是一条数据，他可能关联着一个工作岗位数据。双方可以通过自身找到对方 

mysql sqlserver db2 等

非关系型

通关key value存储数据各个数据之间没有关系  不是通用性数据库  有局限性，通常运行在将数据存储在内存中，以提高速度，所以非关系性数据库多用于缓存，与关系型数据库搭配使用。

mongdb redis memcache 等

 

我们通常说的数据库就是一套软件 有服务端和客户端 用来操作服务器端上的文件

 

 

数据库相关概念

数据 用于记录事物状态信息 可以是数字 字符 声音 图片

记录一条记录用于保存一个事物的典型特征 就相当于文件中的一行

表 本质就是一个文件 创建表的时候其实就在创建一个文件

库 本质就是一个文件夹

DBMS 数据库管理软件 就是一个套接字服务器端软件

二.安装mysql

1.下载安装包

下载地址：https://dev.mysql.com/downloads/mysql/

下载的时候提供了带界面的和不带界面的 用哪个呢?

服务器通常是不带界面的linux系统，并且熟练掌握SQL语句通常是面试官的基本要求

此处安装解压版的，下载对应的32/64位压缩包，解压到指定位置即可。

2.mysql目录解析

"""
bin             执行文件
mysqld          服务器主程序
mysql           无界面的客户端
data            数据文件
my-default.ini  配置文件模板

 

3.启动mysql服务器

注意:5.7后的版本需要先初始化 执行：mysqld --initialize-insecure

'''
启动服务器
    1.运行CMD，通过cd 进入bin目录    
    2.执行mysqld就可以启动服务器，如果报错的话使用管理员权限来运行CMD
    这是一个socket服务器程序 这时候相当于做了一下事情：
    启动服务器socket 并监听端口 默认绑定当前ip 端口默认3306
    
启动客户端
    运行mysql 注意他是一个socket程序 要连接服务器需要ip 和 端口
    mysql  -h ip -P port -uroot -p  密码默认为空
看到欢迎界面则说明socket链接成功了
​
执行过程分析：
    这个命令提示符本质是什么?
    就是一个input
    接受一条指令然后发送给服务器 
    服务器接收到之后呢解析指令 
    取出你要的数据在send给客户端
那问题来了 指令肯定不能随便写,不然服务器不认识,大家必须得有套规范
    就是sql 语句
    sql全称为 结构化查询语言，是所有非关系型数据库都支持的语言，学习数据库很大一部分时间是在学习sql语句。
    
登录成功后可以执行一下命令来查看所有存在的数据库
show databases;
对比data文件夹来看

那在讲命令之前呢 思考一下 我们每次要使用mysql都得先cd到这个目录中非常麻烦

怎么解决呢?

4.加到环境变量

找到安装目录，将bin路径复制填入系统设置的path中即可
命令总结:
​
mysqld #启动服务器
启动客户端 #mysql -h -P -u -p 本机简写 mysql -u -p
​
#关闭服务器
tasklist | findstr mysqld
taskkill  /F /PID  8372
​
也可以直接退出CMD

 

5.注册系统服务

服务器的启动和关闭都需要执行命令  还是不够方便  怎么办呢?

'''
将mysql注册到系统服务中  mysqld --install  
需要注意的是 默认注册的服务名称叫做mysql 这与bin下的mysql是两码子事，一个系统服务一个是客户端执行文件
​
删除服务 sc delete mysql(服务名)
​
查看系统服务 运行->services.msc 
通常设置为自动启动。

如果注册系统服务失败则可能是因为你之前安装过mysql 卸载重装即可。

界面版的安装失败也可能是之前安装了，导致端口占用。

 

三.修改管理员密码

现在密码默认为空 这样是不安全的
万一谁过来把你数据删了 怎么办? 
​
#修改密码
在知道原始密码的情况下可以使用mysqladmin
mysqladmin是一个用于管理数据库的程序，包括修改密码，数据备份等
修改密码：
    mysqladmin  -uroot -p旧密码 password 123
    警告忽略即可
​
#破解密码:
万一你不小心把密码忘记了怎么办? 到公司不可能卸载重装
这个密码它肯定要找地方存储起来 ,那存客户端还是服务器呢?
服务器 ,那存在内存还是硬盘呢? 必然是硬盘,既然如此,一定有一文件用于存放密码信息
​
#方式1:删除用于记录用户密码数据文件
没问题 简单粗暴 但是,这个文件里不只有你的账号信息 还有别人账号数据 还有授权相关的数据
所以你最好不要这么干!
那你在思考一下,服务器验证用户的本质是什么,是不是读取一个文件的数据来和你输入的数据进行对比,
那你可不可以这样子 我告诉我服务器说你不要去读那个授权文件,可以!
​
#方式2: 跳过授权表 进入系统修改授权表推荐
跳过这个操作是服务器相关的操作所以 咱的先关掉服务器重新开 在重新开的时候来告诉它
1.停止服务
2.启动服务器并添加参数
**mysqld --skip-grant-tables**
3.使用客户端登录服务器 执行修改命令 此时不需要输入密码
update mysql.user set password = password("123123") where user="root" and host="localhost"**
4.刷新权限
flush privileges
5.命令行中重启服务器验证新密码