网络基本概念、网络传输的基本概念、网络传输的实现过程、socketserver
网络基本概念
计算机网络由通信介质将现实地理位置不同的并且相互独立地计算机连接起来，实现数据通信与资源共享。
- 网络分类
- 按照拓扑分类，可分为总线型，环形，星型，网型
- 按地域分类，可分为局域网，城域网，广域网
- 网络设备
- 交换机，负责组建局域网，研究的是MAC地址，MAC地址是网卡出厂的48位的二进制编码，前24位是厂商编码，后24位是机器编码
- 路由器，负责组建广域网，研究的是IP地址
- 传输介质
- 容易受到电磁、热量等干扰
- 分类
- 同轴电缆
- 双绞线，又分为屏蔽双绞线与非屏蔽双绞线。理论传输距离100米，超过80米则信号不稳定。超过这个距离，则需要加信号增强器
- 光纤，分为多模光纤（一般为橘红色外皮）和单模光纤（一般为黄色外皮），相比较而言，多模可传输多重光信号，而单模传输距离远
- 电磁信号
- 蓝牙
- ISO与OSI
- ISO国际标准化组织
- 由ISO确定，DSI的七层模型为标准协议模型，改进后即为OSI模型
- 常用的网络应用架构
- C/S架构，客户端服务端
- B/S架构，浏览器服务端架构
- 常见的网络请求状态码
-
View Code1 状态码分为客户端错误状态码、服务端错误状态码、成功状态码，重定向状态码等。一共1-5共五类，具体如下： 2 3 1** 类状态码称之为Information 状态吗，表示信息正在处理。 4 5 2** 类状态码称为为Success状态码，表示请求正常完成。 6 7 3**类状态码称之为Redirection 状态码，表示需要客户端进行附加操作（如跳转。重定向） 8 9 4**类状态码称之为Error状态码，通常是由于客户端的错误导致的。 10 11 5**类状态吗称为Server Error状态码，通常是服务端的错误导致的。 12 13 详细状态码如下： 14 15 状态码 16 17 含义 18 19 100 20 21 客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。 22 23 101 24 25 服务器已经理解了客户端的请求，并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。 只有在切换新的协议更有好处的时候才应该采取类似措施。例如，切换到新的HTTP 版本比旧版本更有优势，或者切换到一个实时且同步的协议以传送利用此类特性的资源。 26 27 102 28 29 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。 30 31 200 32 33 请求已成功，请求所希望的响应头或数据体将随此响应返回。 34 35 201 36 37 请求已经被实现，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 '202 Accepted'。 38 39 202 40 41 服务器已接受请求，但尚未处理。正如它可能被拒绝一样，最终该请求可能会也可能不会被执行。在异步操作的场合下，没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求（例如某个每天只执行一次的基于批处理的操作），而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息，以及指向处理状态监视器或状态预测的指针，以便用户能够估计操作是否已经完成。 42 43 203 44 45 服务器已成功处理了请求，但返回的实体头部元信息不是在原始服务器上有效的确定集合，而是来自本地或者第三方的拷贝。当前的信息可能是原始版本的子集或者超集。例如，包含资源的元数据可能导致原始服务器知道元信息的超级。使用此状态码不是必须的，而且只有在响应不使用此状态码便会返回200 OK的情况下才是合适的。 46 47 204 48 49 服务器成功处理了请求，但不需要返回任何实体内容，并且希望返回更新了的元信息。响应可能通过实体头部的形式，返回新的或更新后的元信息。如果存在这些头部信息，则应当与所请求的变量相呼应。 如果客户端是浏览器的话，那么用户浏览器应保留发送了该请求的页面，而不产生任何文档视图上的变化，即使按照规范新的或更新后的元信息应当被应用到用户浏览器活动视图中的文档。 由于204响应被禁止包含任何消息体，因此它始终以消息头后的第一个空行结尾。 50 51 205 52 53 服务器成功处理了请求，且没有返回任何内容。但是与204响应不同，返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后，立即重置表单，以便用户能够轻松地开始另一次输入。 与204响应一样，该响应也被禁止包含任何消息体，且以消息头后的第一个空行结束。 54 55 206 56 57 服务器已经成功处理了部分 GET 请求。类似于 FlashGet 或者迅雷这类的 HTTP 下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。 该请求必须包含 Range 头信息来指示客户端希望得到的内容范围，并且可能包含 If-Range 来作为请求条件。 响应必须包含如下的头部域： Content-Range 用以指示本次响应中返回的内容的范围；如果是 Content-Type 为 multipart/byteranges 的多段下载，则每一 multipart 段中都应包含 Content-Range 域用以指示本段的内容范围。假如响应中包含 Content-Length，那么它的数值必须匹配它返回的内容范围的真实字节数。 Date ETag 和/或 Content-Location，假如同样的请求本应该返回200响应。 Expires, Cache-Control，和/或 Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了 If-Range 强缓存验证，那么本次响应不应该包含其他实体头；假如本响应的请求使用了 If-Range 弱缓存验证，那么本次响应禁止包含其他实体头；这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则，本响应就应当包含所有本应该返回200响应中应当返回的所有实体头部域。 假如 ETag 或 Last-Modified 头部不能精确匹配的话，则客户端缓存应禁止将206响应返回的内容与之前任何缓存过的内容组合在一起。 任何不支持 Range 以及 Content-Range 头的缓存都禁止缓存206响应返回的内容。 58 59 207 60 61 由WebDAV(RFC 2518)扩展的状态码，代表之后的消息体将是一个XML消息，并且可能依照之前子请求数量的不同，包含一系列独立的响应代码。 62 63 300 64 65 被请求的资源有一系列可供选择的回馈信息，每个都有自己特定的地址和浏览器驱动的商议信息。用户或浏览器能够自行选择一个首选的地址进行重定向。 除非这是一个 HEAD 请求，否则该响应应当包括一个资源特性及地址的列表的实体，以便用户或浏览器从中选择最合适的重定向地址。这个实体的格式由 Content-Type 定义的格式所决定。浏览器可能根据响应的格式以及浏览器自身能力，自动作出最合适的选择。当然，RFC 2616规范并没有规定这样的自动选择该如何进行。 如果服务器本身已经有了首选的回馈选择，那么在 Location 中应当指明这个回馈的 URI；浏览器可能会将这个 Location 值作为自动重定向的地址。此外，除非额外指定，否则这个响应也是可缓存的。 66 67 301 68 69 被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。如果可能，拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定，否则这个响应也是可缓存的。 新的永久性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 如果这不是一个 GET 或者 HEAD 请求，因此浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 注意：对于某些使用 HTTP/1.0 协议的浏览器，当它们发送的 POST 请求得到了一个301响应的话，接下来的重定向请求将会变成 GET 方式。 70 71 302 72 73 请求的资源现在临时从不同的 URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下，这个响应才是可缓存的。 新的临时性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 如果这不是一个 GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 注意：虽然RFC 1945和RFC 2068规范不允许客户端在重定向时改变请求的方法，但是很多现存的浏览器将302响应视作为303响应，并且使用 GET 方式访问在 Location 中规定的 URI，而无视原先请求的方法。状态码303和307被添加了进来，用以明确服务器期待客户端进行何种反应。 74 75 303 76 77 对应当前请求的响应可以在另一个 URI 上被找到，而且客户端应当采用 GET 的方式访问那个资源。这个方法的存在主要是为了允许由脚本激活的POST请求输出重定向到一个新的资源。这个新的 URI 不是原始资源的替代引用。同时，303响应禁止被缓存。当然，第二个请求（重定向）可能被缓存。 新的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 注意：许多 HTTP/1.1 版以前的 浏览器不能正确理解303状态。如果需要考虑与这些浏览器之间的互动，302状态码应该可以胜任，因为大多数的浏览器处理302响应时的方式恰恰就是上述规范要求客户端处理303响应时应当做的。 78 79 304 80 81 如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。304响应禁止包含消息体，因此始终以消息头后的第一个空行结尾。 该响应必须包含以下的头信息： Date，除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则，那么代理服务器以及客户端可以自行将 Date 字段添加到接收到的响应头中去（正如RFC 2068中规定的一样），缓存机制将会正常工作。 ETag 和/或 Content-Location，假如同样的请求本应返回200响应。 Expires, Cache-Control，和/或Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了强缓存验证，那么本次响应不应该包含其他实体头；否则（例如，某个带条件的 GET 请求使用了弱缓存验证），本次响应禁止包含其他实体头；这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。 假如某个304响应指明了当前某个实体没有缓存，那么缓存系统必须忽视这个响应，并且重复发送不包含限制条件的请求。 假如接收到一个要求更新某个缓存条目的304响应，那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。 82 83 305 84 85 被请求的资源必须通过指定的代理才能被访问。Location 域中将给出指定的代理所在的 URI 信息，接收者需要重复发送一个单独的请求，通过这个代理才能访问相应资源。只有原始服务器才能建立305响应。 注意：RFC 2068中没有明确305响应是为了重定向一个单独的请求，而且只能被原始服务器建立。忽视这些限制可能导致严重的安全后果。 86 87 306 88 89 在最新版的规范中，306状态码已经不再被使用。 90 91 307 92 93 请求的资源现在临时从不同的URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下，这个响应才是可缓存的。 新的临时性的URI 应当在响应的 Location 域中返回。除非这是一个HEAD 请求，否则响应的实体中应当包含指向新的URI 的超链接及简短说明。因为部分浏览器不能识别307响应，因此需要添加上述必要信息以便用户能够理解并向新的 URI 发出访问请求。 如果这不是一个GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 94 95 400 96 97 1、语义有误，当前请求无法被服务器理解。除非进行修改，否则客户端不应该重复提交这个请求。 2、请求参数有误。 98 99 401 100 101 当前请求需要用户验证。该响应必须包含一个适用于被请求资源的 WWW-Authenticate 信息头用以询问用户信息。客户端可以重复提交一个包含恰当的 Authorization 头信息的请求。如果当前请求已经包含了 Authorization 证书，那么401响应代表着服务器验证已经拒绝了那些证书。如果401响应包含了与前一个响应相同的身份验证询问，且浏览器已经至少尝试了一次验证，那么浏览器应当向用户展示响应中包含的实体信息，因为这个实体信息中可能包含了相关诊断信息。参见RFC 2617。 102 103 402 104 105 该状态码是为了将来可能的需求而预留的。 106 107 403 108 109 服务器已经理解请求，但是拒绝执行它。与401响应不同的是，身份验证并不能提供任何帮助，而且这个请求也不应该被重复提交。如果这不是一个 HEAD 请求，而且服务器希望能够讲清楚为何请求不能被执行，那么就应该在实体内描述拒绝的原因。当然服务器也可以返回一个404响应，假如它不希望让客户端获得任何信息。 110 111 404 112 113 请求失败，请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。假如服务器知道情况的话，应当使用410状态码来告知旧资源因为某些内部的配置机制问题，已经永久的不可用，而且没有任何可以跳转的地址。404这个状态码被广泛应用于当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。 114 115 405 116 117 请求行中指定的请求方法不能被用于请求相应的资源。该响应必须返回一个Allow 头信息用以表示出当前资源能够接受的请求方法的列表。 鉴于 PUT，DELETE 方法会对服务器上的资源进行写操作，因而绝大部分的网页服务器都不支持或者在默认配置下不允许上述请求方法，对于此类请求均会返回405错误。 118 119 406 120 121 请求的资源的内容特性无法满足请求头中的条件，因而无法生成响应实体。 除非这是一个 HEAD 请求，否则该响应就应当返回一个包含可以让用户或者浏览器从中选择最合适的实体特性以及地址列表的实体。实体的格式由 Content-Type 头中定义的媒体类型决定。浏览器可以根据格式及自身能力自行作出最佳选择。但是，规范中并没有定义任何作出此类自动选择的标准。 122 123 407 124 125 与401响应类似，只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个 Proxy-Authenticate 用以进行身份询问。客户端可以返回一个 Proxy-Authorization 信息头用以验证。参见RFC 2617。 126 127 408 128 129 请求超时。客户端没有在服务器预备等待的时间内完成一个请求的发送。客户端可以随时再次提交这一请求而无需进行任何更改。 130 131 409 132 133 由于和被请求的资源的当前状态之间存在冲突，请求无法完成。这个代码只允许用在这样的情况下才能被使用：用户被认为能够解决冲突，并且会重新提交新的请求。该响应应当包含足够的信息以便用户发现冲突的源头。 冲突通常发生于对 PUT 请求的处理中。例如，在采用版本检查的环境下，某次 PUT 提交的对特定资源的修改请求所附带的版本信息与之前的某个（第三方）请求向冲突，那么此时服务器就应该返回一个409错误，告知用户请求无法完成。此时，响应实体中很可能会包含两个冲突版本之间的差异比较，以便用户重新提交归并以后的新版本。 134 135 410 136 137 被请求的资源在服务器上已经不再可用，而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能，拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的，那么就应该使用404状态码。除非额外说明，否则这个响应是可缓存的。 410响应的目的主要是帮助网站管理员维护网站，通知用户该资源已经不再可用，并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增值服务中很普遍。同样，410响应也被用于通知客户端在当前服务器站点上，原本属于某个个人的资源已经不再可用。当然，是否需要把所有永久不可用的资源标记为'410 Gone'，以及是否需要保持此标记多长时间，完全取决于服务器拥有者。 138 139 411 140 141 服务器拒绝在没有定义 Content-Length 头的情况下接受请求。在添加了表明请求消息体长度的有效 Content-Length 头之后，客户端可以再次提交该请求。 142 143 412 144 145 服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息（请求头字段数据）中设置先决条件，以此避免该请求方法被应用到其希望的内容以外的资源上。 146 147 413 148 149 服务器拒绝处理当前请求，因为该请求提交的实体数据大小超过了服务器愿意或者能够处理的范围。此种情况下，服务器可以关闭连接以免客户端继续发送此请求。 如果这个状况是临时的，服务器应当返回一个 Retry-After 的响应头，以告知客户端可以在多少时间以后重新尝试。 150 151 414 152 153 请求的URI 长度超过了服务器能够解释的长度，因此服务器拒绝对该请求提供服务。这比较少见，通常的情况包括： 本应使用POST方法的表单提交变成了GET方法，导致查询字符串（Query String）过长。 重定向URI “黑洞”，例如每次重定向把旧的 URI 作为新的 URI 的一部分，导致在若干次重定向后 URI 超长。 客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的 URI，当 GET 后的参数超过某个数值后，可能会产生缓冲区溢出，导致任意代码被执行[1]。没有此类漏洞的服务器，应当返回414状态码。 154 155 415 156 157 对于当前请求的方法和所请求的资源，请求中提交的实体并不是服务器中所支持的格式，因此请求被拒绝。 158 159 416 160 161 如果请求中包含了 Range 请求头，并且 Range 中指定的任何数据范围都与当前资源的可用范围不重合，同时请求中又没有定义 If-Range 请求头，那么服务器就应当返回416状态码。 假如 Range 使用的是字节范围，那么这种情况就是指请求指定的所有数据范围的首字节位置都超过了当前资源的长度。服务器也应当在返回416状态码的同时，包含一个 Content-Range 实体头，用以指明当前资源的长度。这个响应也被禁止使用 multipart/byteranges 作为其 Content-Type。 162 163 417 164 165 在请求头 Expect 中指定的预期内容无法被服务器满足，或者这个服务器是一个代理服务器，它有明显的证据证明在当前路由的下一个节点上，Expect 的内容无法被满足。 166 167 421 168 169 从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常，这里的IP地址指的是从服务器上看到的客户端地址（比如用户的网关或者代理服务器地址）。在这种情况下，连接数的计算可能涉及到不止一个终端用户。 170 171 422 172 173 从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常，这里的IP地址指的是从服务器上看到的客户端地址（比如用户的网关或者代理服务器地址）。在这种情况下，连接数的计算可能涉及到不止一个终端用户。 174 175 422 176 177 请求格式正确，但是由于含有语义错误，无法响应。（RFC 4918 WebDAV）423 Locked 当前资源被锁定。（RFC 4918 WebDAV） 178 179 424 180 181 由于之前的某个请求发生的错误，导致当前请求失败，例如 PROPPATCH。（RFC 4918 WebDAV） 182 183 425 184 185 在WebDav Advanced Collections 草案中定义，但是未出现在《WebDAV 顺序集协议》（RFC 3658）中。 186 187 426 188 189 客户端应当切换到TLS/1.0。（RFC 2817） 190 191 449 192 193 由微软扩展，代表请求应当在执行完适当的操作后进行重试。 194 195 500 196 197 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器的程序码出错时出现。 198 199 501 200 201 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。 202 203 502 204 205 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。 206 207 503 208 209 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。如果能够预计延迟时间，那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息，那么客户端应当以处理500响应的方式处理它。 注意：503状态码的存在并不意味着服务器在过载的时候必须使用它。某些服务器只不过是希望拒绝客户端的连接。 210 211 504 212 213 作为网关或者代理工作的服务器尝试执行请求时，未能及时从上游服务器（URI标识出的服务器，例如HTTP、FTP、LDAP）或者辅助服务器（例如DNS）收到响应。 注意：某些代理服务器在DNS查询超时时会返回400或者500错误 214 215 505 216 217 服务器不支持，或者拒绝支持在请求中使用的 HTTP 版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。 218 219 506 220 221 由《透明内容协商协议》（RFC 2295）扩展，代表服务器存在内部配置错误：被请求的协商变元资源被配置为在透明内容协商中使用自己，因此在一个协商处理中不是一个合适的重点。 222 223 507 224 225 服务器无法存储完成请求所必须的内容。这个状况被认为是临时的。WebDAV (RFC 4918) 226 227 509 228 229 服务器达到带宽限制。这不是一个官方的状态码，但是仍被广泛使用。 230 231 510 232 233 获取资源所需要的策略并没有没满足。
-
网络传输的七层结构（OSI模型）：1物理层，2数据链路层，3网络层，4传输层，5会话层，6表示层，7应用层
部分将5,6,7层统称为应用层，即五层模型
也有将1,2层统称为接口层的，另外5,6,7层统称为应用层，即四层模型
7、6、5层定义了应用程序的功能，3、2、1层主要面向通过网络的端到端的数据流。会话层以下5层完成了端到端的数据传送，并且是可靠、无差错的传送。但是数据传送只是手段而不是目的，最终是要实现对数据的使用。由于各种系统对数据的定义并不完全相同，最易明白的例子是键盘，其上的某些键的含义在许多系统中都有差异。这自然给利用其它系统的数据造成了障碍，表示层和应用层就担负了消除这种障碍的任务。
- 物理层，指光纤、电缆或者电磁波等真实存在的物理媒介层。它虽然处于最底层，却是整个开放系统的基础。物理层规范是有关传输介质的特性，这些规范通常也参考了其他组织制定的标准。连接头、帧、帧的使用、电流、编码及光调制等都属于各种物理层规范中的内容。物理层常用多个规范完成对所有细节的定义。物理层在完成各数据终端搭建数据通路的基础上，还需完成数据的传输过程。要为终端设备间的数据通信提供传输媒体及其连接，媒体是长期的，连接是有生存期的。——以太网路卡 · 调制解调器 · 电力线通信(PLC) · SONET/SDH（光同步数字传输网） G.709（光传输网络） · 光导纤维 · 同轴电缆 · 双绞线
- 数据链路层（遵循以太网协议，标记出局域网中的机器地址，即负责mac地址），定义了在单个链路上如何传输数据，对物理层传输的物理信号进行分组。在数据链路层信息以帧(frame)为单位传输，所谓的帧，是一段有限的0/1序列。连接层协议的功能就是识别0/1序列中所包含的帧。这些协议与各种介质有关。数据链路可以粗略地理解为数据通道。在连接生存期内,收发两端可以进行不等的一次或多次数据通信.每次通信都要经过建立通信联络和拆除通信联络两过程.这种建立起来的数据收发关系就叫作数据链路。为上层提供无差错的数据传输,就要能对数据进行检错和纠错，数据链路的建立、拆除，对数据的检错，纠错是数据链路层的基本任务。——Wi-Fi(IEEE 802.11) · WiMAX(IEEE 802.16) ·ATM · DTM · 令牌环 · 以太网路 ·FDDI · 帧中继 · GPRS · EVDO · HSPA · HDLC · PPP · L2TP · ISDN ·STP
- 数据链路层遵循的是以太网协议，传输的数据包括18为的报头和包含真实数据的报文。
- 以太网是在局域网中通过广播形式进行数据传输。通过mac地址进行局域网对象定位。以太网协议包括１８位，前６位为原地址，后６位为目标地址，剩下６位为数据信息。
- 支持设备，交换机
- mac地址是和网卡一一对应的，在网卡上面直接烧制上的。
- 网络层（遵循IP地址协议，标记出局域网，进一步的，可以再结合ARP协议解析出mac地址，能直接定义出网络中具体机器），这层对端到端的包传输进行定义，定义了能够标识所有结点的逻辑地址，还定义了路由实现的方式和学习的方式。它在数据链路层提供的两个相邻端点之间的数据帧的传送功能上，进一步管理网络中的数据通信，将数据设法从源端经过若干个中间节点传送到目的端，从而向运输层提供最基本的端到端的数据传送服务。为了适应最大传输单元长度小于包长度的传输介质，网络层还定义了如何将一个包分解成更小的包的分段方法。在联机系统和线路交换的环境中，网络层的功能没有太大意义。当数据终端增多时，它们之间有中继设备相连，此时会出现一台终端要求不只是与唯一的一台而是能和多台终端通信的情况，这就是产生了把任意两台数据终端设备的数据链接起来的问题,也就是路由或者叫寻径。另外，当一条物理信道建立之后，被一对用户使用，往往有许多空闲时间被浪费掉。人们自然会希望让多对用户共用一条链路，为解决这一问题就出现了逻辑信道技术和虚拟电路技术。网络层实现的主要目的，简单说就是“路径选择、路由及逻辑寻址”。——IP (IPv4 · IPv6) · ICMP · ICMPv6 · IGMP ·IS-IS · IPsec · BGP · RIP · OSPF ·ARP · RARP
- ip地址，能够标示对象在哪个局域网。
- 支持设备，路由器
- 传输层（定义端口，定位机器上的具体软件），这层的功能包括是否选择差错恢复协议还是无差错恢复协议，及在同一主机上对不同应用的数据流的输入进行复用，还包括对收到的顺序不对的数据包的重新排序功能。传输层是两台计算机经过网络进行数据通信时,第一个端到端的层次，具有缓冲作用。当网络层服务质量不能满足要求时，它将服务加以提高，以满足高层的要求；当网络层服务质量较好时，它只用很少的工作。传输层还可进行复用，即在一个网络连接上创建多个逻辑连接。此外传输层还要具备差错恢复，流量控制等功能,以此对会话层屏蔽通信子网在这些方面的细节与差异.传输层面对的数据对象已不是网络地址和主机地址,而是和会话层的界面端口.上述功能的最终目的是为会话提供可靠的,无误的数据传输.传输层的服务一般要经历传输连接建立阶段,数据传送阶段,传输连接释放阶段3个阶段才算完成一个完整的服务过程.而在数据传送阶段又分为一般数据传送和加速数据传送两种。——TCP · UDP · TLS · DCCP · SCTP ·RSVP · PPTP
- 常见的网络传输协议TCP/UDP协议，TCP是可靠的网络传输，在传输数据之前需要通过三次握手动作完成链接建立，断开的时候需要
- TCP和UDP是两个最为著名的传输协议，两者都是使用IP作为网络层协议，
- TCP是提供的面向连接的稳定服务，在彼此交换数据之前必须建立连接，支持的是一对一的端到端传输。建立连接，三次握手，断开连接，四次断开
- UDP是用户数据报协议，是一种无连接传输协议，数据安全与稳定性较差，可以一对一也可以一对多或多对多。
- 大应用层
- 会话层，会话层提供的服务可使应用建立和维持会话，并能使会话获得同步。会话层使用校验点可使通信会话在通信失效时从校验点继续恢复通信。这种能力对于传送大的文件极为重要。会话层同样要担负应用进程服务要求，而运输层不能完成的那部分工作,给运输层功能差距以弥补.主要的功能是对话管理，数据流同步和重新同步。要完成这些功能，需要由大量的服务单元功能组合。——ADSP·ASP·H.245·ISO-SP·iSNS·NetBIOS·PAP·RPC·RTCP·SMPP·SCP·SSH·ZIP·SDP
- 表示层，主要功能是定义数据格式及加密。表示层为上层用户提供共同的数据或信息的语法表示变换。为了让采用不同编码方法的计算机在通信中能相互理解数据的内容，可以采用抽象的标准方法来定义数据结构，并采用标准的编码表示形式。表示层管理这些抽象的数据结构，并将计算机内部的表示形式转换成网络通信中采用的标准表示形式。数据压缩和加密也是表示层可提供的表示变换功能。在表示层，数据将按照网络能理解的方案进行格式化;这种格式化也因所使用网络的类型不同而不同。表示层管理数据的解密与加密，如系统口令的处理如果在Internet上查询你银行账户，使用的即是一种安全连接。你的账户数据在发送前被加密，在网络的另一端，表示层将对接收到的数据解密。除此之外，表示层协议还对图片和文件格式信息进行解码和编码。表示层服务的基本流程，1 首先必须要通过内码转换，我们在键盘上输入的数据，到了计算机内部都会转为代码，这种内部常用的代码成为“内码”，当前大数的计算机都是以ASCII吗为内码的；2，为了提高传输层的传输效率，传输端可在传输数据前将数据压缩，而接受端则在收到后予以解压缩，回复数据，这个压缩，解压缩的工作则由表示层协议来做；3，加密与解密。 ——HTTP/HTML · FTP · Telnet · ASN.1
- 应用层，也称为应用实体（AE），它由若干个特定应用服务元素（SASE）和一个或多个公用应用服务元素（CASE）组成。每个SASE提供特定的应用服务，例如文件运输访问和管理（FTAM）、电子文电处理（MHS）、虚拟终端协议（VAP）等。CASE提供一组公用的应用服务，例如联系控制服务元素（ACSE）、可靠运输服务元素（RTSE）和远程操作服务元素（ROSE）等。应用层直接和应用程序接口并提供常见的网络应用服务。应用层也向表示层发出请求。——WWW DHCP · NFS DNS · FTP · Gopher · HTTP · IMAP4 · IRC · NNTP · XMPP · POP3 · SIP · SMTP ·SNMP · SSH · TELNET · RPC · RTCP · RTP ·RTSP · SDP · SOAP · GTP · STUN · NTP · SSDP
传输层的，TCP/IP是一个四层的体系结构（了解扩展）。
- 由于OSI七层协议模型过于严谨，在实际应用中，更常用的是由七层协议延伸出来的TCP/IP四层协议
- 网络接口层：通常包括操作系统中的设备驱动程序和计算机中对应的网络接口卡。它们一起处理与电缆(或其他任何传输媒介)的物理接口细节。
- 网际层：处理分组在网络中的活动，例如分组的选路。在TCP/IP协议族中，网络层协议包括IP协议(网际协议)，ICMP协议(Internet互联网控制报文协议 ，以及IGMP协议(Internet组管理协议 )。
- 运输层主要为两台主机上的应用程序提供端到端的通信。在TCP/IP 协议族中 ， 有两个互不相同的传输协议 : TCP (传输控制协议) 和UDP (用户数据报协议)。
-
应用层负责处理特定的应用程序细节。几乎各种不同的 TCP/IP实现都会提供下面这些通用的应用程序:Telnet 远程登录。
网络通信的要素：传输协议，IP地址，端口号
网络传输协议（Communications Protocol）：是指计算机通信或网络设备的共同语言。现在最普及的计算机通信为网络通信，所以“传送协议” 一般 都指计算机通信的传送协议，但是，在计算机的其他文件传送过程中也需要传送协议，例如，面向对象编程里面对象之间的通信；操作系统内不同程序之间的消息，都需要有一个传送协议。用户的数据要经过一次次封装，最后转化成可以在网络上传输的信号，发送到网络上。当到达目标计算机后，再执行相反的拆封过程。下层能够向上层提供的服务有两种形式：面向连接的服务（TCP）和无连接的服务(UDP)。TCP：传输控制协议，当传输出现错误时能自动予以纠正；UDP：用户数据包协议，当传输出现错误时会将错误信息丢弃；UDP方式比TCP方式有更强大的容错性，采用UDP的话，它的缓冲速度比TCP快45%，而且可以大大的节省网络共享带宽，当网络出现不稳定时，不会经常出现缓冲，所以不少影视节目采用UDP方式传送。TCP提供IP环境下的数据可靠传输，它提供的服务包括数据流传送、可靠性、有效流控、全双工操作和多路复用。通过面向连接、端到端和可靠的数据包发送。通俗说，它是事先为所发送的数据开辟出连接好的通道，然后再进行数据发送；而UDP则不为IP提供可靠性、流控或差错恢复功能。一般来说，TCP对应的是可靠性要求高的应用，而UDP对应的则是可靠性要求低、传输经济的应用。TCP支持的应用协议主要有：Telnet、FTP、SMTP等；UDP支持的应用层协议主要有：NFS（网络文件系统）、SNMP（简单网络管理协议）、DNS（主域名称系统）、TFTP（通用文件传输协议）等。
数据封装：传输协议中各层都为上一层提供业务功能。为了提供这种业务功能，下一层将上一层中的数据并入到本层的数据域中，然后通过加入报头或报尾来实现该层业务功能，该过程叫做数据封装。具体地，数据包利用网络在不同设备之间传输时，出于可靠和准确地发送到目的地，并且高效地利用传输资源（传输设备和传输线路），事先要对数据包进行拆分和打包，在所发送的数据包上附加上目标地址，本地地址，以及一些用于纠错的字节，安全性和可靠性较高时，还要进行加密处理等等。在实际应用中，组网的数据封装按功能分层进行，目的很简单，就是为了能将复杂系统分解为很多模块，各模块独立，互不影响，每个模块（每层）之间用接口进行连接和交互，并互相提供服务。这样不仅更容易实现功能，而且使整个系统具有良好的兼容性和可扩展性。
文件传输协议（FileTransferProtocol，缩写：FTP）：是用于在网络上进行文件传输的一套标准协议。它属于网络传输协议的应用层。FTP是一个8位的客户端-服务器协议，能操作任何类型的文件而不需要进一步处理。但是，FTP有着极高的延时，这意味着，从开始请求到第一次接收需求数据之间的时间，会非常长；并且不时的必须执行一些冗长的登陆进程。
MAC地址：网络中每台设备都有一个唯一的网络标识，这个地址叫MAC地址或网卡地址，由网络设备制造商生产时写在硬件内部。也称为局域网地址（LAN Address），MAC位址，以太网地址（Ethernet Address）或物理地址（Physical Address），它是一个用来确认网络设备位置的位址。MAC地址也叫物理地址、硬件地址，由网络设备制造商生产时烧录在网卡(Network lnterface Card)的EPROM(一种闪存芯片，通常可以通过程序擦写)。IP地址与MAC地址在计算机里都是以二进制表示的，IP地址是32位的，而MAC地址则是48位的。
ip地址：互联网协议地址（英语：Internet Protocol Address，又译为网际协议地址），缩写为IP地址（英语：IP Address），是分配给用户上网使用的网际协议的设备的数字标签。常见的IP地址分为IPv4与IPv6两大类。IP 地址与网络服务的关系是一对多的关系，是Internet主机的作为路由寻址用的数字体标识，不容易记忆。本质上，IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节）。IP地址通常用“点分十进制”表示成（a.b.c.d）的形式，其中，a,b,c,d都是0~255之间的十进制整数。 本地回环地址（127.0.0.1）
端口号：端口（Port）包括逻辑端口和物理端口两种类型。物理端口指的是物理存在的端口，如ADSL Modem、集线器、交换机、路由器上用 于连接其他网络设备的接口。逻辑端口是指逻辑意义上用于区分服务的端口，如TCP/IP协议中的服务端口，端口号的范围从0到65535，比如用于浏览网页服务的80端口，用于FTP服务的21端口等。在主机提供服务时不能只靠IP地址，因为IP 地址与网络服务的关系是一对多的关系，实际上是通过“IP地址+端口号”来区 分不同的服务的。TCP与UDP段结构中端口地址都是16比特，可以有在0---65535范围内的端口号。对于这65536个端口号有以下的使用规定：（1）端口号小于256的定义为常用端口，服务器一般都是通过常用端口号来识别的。任何TCP/IP实现所提供的服务都用1---1023之间的端口号，是由ICANN来管理的；（2）客户端只需保证该端口号在本机上是惟一的就可以了。客户端口号因存在时间很短暂又称临时端口号；（3）大多数TCP/IP实现给临时端口号分配1024---5000之间的端口号。大于5000的端口号是为其他服务器预留的。每个机器可以开放的端口数 65535，1024之前的端口操作系统占用。一般用8000之后的端口
域名：域名可以理解为是网络寻址方式的“第二代”。域名（英语：Domain Name），简称域名、网域，是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。网域名称系统（DNS，Domain Name System，有时也简称为域名）是因特网的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网，而不用去记住能够被机器直接读取的IP地址数串。在域名中大小写是没有区分的。域名一般不能超过5级，从左到右域的级别变高，高的级域包含低的级域。域名在整个Internet中是唯一的，当高级子域名相同时，低级子域名不允许重复。一台服务器只能有一个IP地址，但是却可以有多个域名。URL是Uniform Resource Location的缩写，译为“统一资源定位符”。
数据传输Tcp协议建立链接的三次握手：三次握手是包括请求方和服务方通过互相通信监测双方收发信息能力的过程，具体地：
- 第一次握手，“ 请求方 ”向 “ 服务方 ” 发送信息，“ 服务方 ” 收到信息后可以确认自己的收信能力和 “ 请求方 ” 的发信能力没有问题。
- 第二次握手，“ 服务方 ” 向 “ 请求方 ” 发送信息，“ 请求方 ” 可以确认自己的发信能力和 “ 服务方 ” 的收信能力没有问题，但是 “ 服务方 ” 不知道自己的发信能力到底如何，所以就需要第三次通信。
- 第三次握手，“ 请求方 ” 向 “ 服务方 ” 发送信息，“ 服务方 ” 就可以确认自己的发信能力没有问题。
- 在实际情况中，三次握手的动作是封装到connect方法中完成的。
- 第一次断开，“ 请求方 ” 向 “ 服务方 ” 发送消息，表明数据发送完成需要断开连接
- 第二次断开，“ 服务方 ” 向 “ 请求方 ” 发送消息，让 “ 请求方 ” 先等等，等 “ 服务方 ” 把数据传完
- 第三次断开，“ 服务方 ” 向“ 请求方 ” 发送消息，数据已传完，可以断开了
- 第四次断开，“ 请求方 ” 向 “ 服务方 ” 发送消息，稍后链接会断开连接（等待2MSL后变成 CLOSED 状态）
套接字（socket）： 网络上的两个程序通过一个双向的通信连接实现数据的交换，TCP用主机的IP地址加上主机上的端口号作为TCP连接的端点，这种端点就叫做套接字。 套接字用（IP地址：端口号）表示。使用套接字进行数据处理有两种基本模式：同步和异步。同步模式的特点是在通过Socket进行连接、接收、发送数据时，客户机和服务器在接收到对方响应前会处于阻塞状态，即一直等到收到对方请求才继续执行下面的语句。同步模式只适用于数据处理不太多的场合。通常情况下，当程序执行的任务很多时，不选择用同步模式而选择异步模式。异步模式的特点是在通过Socket进行连接、接收、发送操作时，客户机或服务器不会处于阻塞方式，而是利用callback机制进行连接、接收、发送处理，这样就可以在调用发送或接收的方法后直接返回，并继续执行下面的程序。 创建socket实例的时候，socket.socket()实际上是接受两个参数，地址簇（family），套接字协议类型（socket protocal type）。默认是传（AF_INET,SOCK_STREAM），用地址簇用IPV4，服务协议TCP
套接字协议类型（socket protocal type）：常用的TCP/IP协议3种套接字类型是SOCK_STREAM，SOCK_DGRAM，SOCK_RAW。 SOCK_STREAM（用于TCP协议类型），SOCK_DGRAM（用于UDP协议类型），SOCK_RAW（原始套接字，常用于普通套接字无法处理的ICMP,IGMP等报文；还可以处理特殊的IPV4报文；另外还可以通过IP_HDRINCL套接字选项构造IP头，伪ip），SOCK_RDM（可靠地UDP形式，保证交付数据但不能保证交付的顺序，通常仅限于高级用户或管理员运行的程序使用），SOCK_SEQPACKET（可靠地连续数据包服务）。
地址簇（family）： AF_UNIX（主要用于本地，或UNIX不同进程之间通信），AF_INET（用于IPV4），AF_INET6（用于IPV6）
洪水攻击：这是一种利用TCP协议缺陷，（可以通过IP_HDRINCL套接字选项构造IP头，伪ip），发送大量伪造的TCP连接请求，常用假冒的IP或IP号段发来海量的请求连接的第一个握手包（SYN包），被攻击服务器回应第二个握手包（SYN+ACK包），因为对方是假冒IP，对方永远收不到包且不会回应第三个握手包。导致被攻击服务器保持大量SYN_RECV状态的“半连接”，并且会重试默认5次回应第二个握手包，塞满TCP等待连接队列，资源耗尽（CPU满负荷或内存不足），让正常的业务请求连接不进来。
ssh: SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。从客户端来看，SSH提供两种级别的安全验证，分别是“基于口令的安全验证”、“基于密匙的安全验证”，与第一种级别相比，第二种级别不需要在网络上传送用户口令。另外，第二种级别不仅加密所有传送的数据，而"中间人"这种攻击方式也是不可能的（因为他没有你的私人密匙）。但是整个登录的过程可能慢一些。
网络延迟：在传输介质中传输所用的时间，即从报文开始进入网络到它开始离开网络之间的时间。网络延迟PING值越低速度越快，1~30ms：极快，几乎察觉不出有延迟，玩任何游戏速度都特别顺畅；31~50ms：良好，可以正常游戏，没有明显的延迟情况；51~100ms：普通，对抗类游戏能感觉出明显延迟，稍有停顿；>100ms：差，无法正常游戏，有卡顿，丢包并掉线现象； TCP的网络延迟要UDP的高些
Nagle的算法：TCP/IP协议中，无论发送多少数据，总是要在数据前面加上协议头，同时，对方接收到数据，也需要发送ACK表示确认。为了尽可能的利用网络带宽，TCP总是希望尽可能的发送足够大的数据。(一个连接会设置MSS参数，因此，TCP/IP希望每次都能够以MSS尺寸的数据块来发送数据)。Nagle算法就是为了尽可能发送大块数据，避免网络中充斥着许多小数据块，（由于当数据极小的时候，在大量的数据包中，协议头、协议尾就大量存在造成了比较大的不必要的消耗，这样会导致网络由于太多的包而过载）。通常会在TCP程序里添加两行代码，在未确认数据发送的时候让发送器把数据送到缓存里。任何数据随后继续直到得到明显的数据确认或者直到攒到了一定数量的数据了再发包。
IO(Input/Output)：即输入/输出，分为IO设备和IO接口两个部分。
IO缓冲区：在必须使用磁盘而又想提高性能的情况下，在磁盘中嵌入一块高速的内存用来保存经常访问的数据从而提高读写效率的方法来折中的解决，这块嵌入的内存就被称为高速缓存。操作系统层，再到磁盘控制器，还有CPU内部，单个磁盘的内部也都存在缓存，所有这些缓存存在的目的都是相同的，就是提高系统执行的效率。
粘包：当第一次发送的数据较小，系统不会真正发出而是存在Io缓存区中，当第二个数据包过来以后一块儿发送。另外，如果接收端一次内容没接收完的话，下一次接收需要先把之前没接收完的旧数据接收完。
- 粘包问题，出现的节点，
- 1send发送过程中，数据从应用程序内存拷贝到操作系统内存，剩下的交给操作系统就行了。此时，操作系统会根据数据大小遵循TCP协议进行发送，其中依存的Nagle的算法，会造成粘包。
- 2recv接收过程，等待数据由发送方的操作系统发送到接收方的操作系统内存中，然后从操作系统内存拷贝到应用程序内存。
- 解决方法：
- 方案1 可通过中间加一个简单交互，
- 方案2 或者用time.sleep(0)在发送之后阻塞一下，把粘包阻断一下。
- ***方案3 发送数据之前，把要发送的数据大小提前先发过去，接收数据方，先提解析出需要接收数据的大小，再循环接收数据。实际上是自定义了应用层的一个通信协议，报头是固定长度的，传递的是数据的总大小。报文部分是真实的数据。
send 和 sendall ：（注意，send不能为空，当直接发送空数据的时候，程序卡死）
- 在ＴＣＰ协议控制的网络传输过程中，整个传输协议是面向连接面向流的，为了提升服务的可靠性，信息的收发两端必须要有成对的socket对象，而在消息的发送端，使用了Nagle优化算法，将多次间隔较小并且数据量较小的数据，合并成一个大数据块，然后进行封包发送，这样虽然提升了消息的传递的效率，但会造成消息无保护性边界。也就容易造成粘包现象。
- 相对于ＴＣＰ协议，ＵＤＰ的传输过程是面向消息的，提供高效率的服务，没有合并优化算法每一个ＵＤＰ消息包有消息头，这样就容易对信息块进行区分，也就有了明确的消息保护边界，不会出现粘包现象。
- 由于ＴＣＰ是基于数据流的，所以收发消息如果是空，就会造成卡住的现象，而ＵＤＰ不存在这种情况，即使是消息为空，ｕｄｐ协议也会封装上消息头然后封装完成后直接发送。
套接字（socket）编程的意义：
- 在应用层和传输层之间，存在的一个虚拟的socket层，socket层将传输层、网络层、数据链路层以及物理层的所有功能，进行了基本的封装，通过socket的接口，结合应用层逻辑程序，就能够轻松实现网络编程。
在python2.x 中网络传输可以发送字节、字符串 ； python3.x中网络传输都是以字节（Bytes）类型，ASCII码
- 发送端（客户端）：1，引入socket模块 ； 2，声明socket类型，生成socket链接对象； 3，建立链接地址和端口号（IP，端口号）； 4，通过创建的实例发送数据； 5，通过创建的实例接收数据……6，关闭传输实例，７，关闭socket链接
- 接收端（服务器端）：1，引入socket模块； 2，绑定监听地址和端口； 3，开始监听； 4，阻塞，等待数据（conn，addr）； 5，通过链接实例（conn），接收数据（可限定单次接收的数量）； 6，通过链接实例（conn），发送数据……7，关闭socket
粘包问题
- 首先需要说明的是，粘包现象只会出现在TCP协议的程序，UDP协议的程序，不会出现这种问题。
几个简单的数据传输的例子：
- 1 通信案例
- 1 实现点对点，一对一的简单对话通信
- 在使用socket套接字实现通信的案例中，如果直接发送空内容，会卡住。本质上，是在套接字调用send发送空白时，调用到操作系统进行发送但此时操作系统会因为没有从内存拿到可以发送的内容而不执行具体的发送。此时，服务端和客户端都会陷入等待对方传递内容的状态中。
- conn是一个双向链接，如果客户端单方面断开连接，
- 在Linux系统的服务端中，如果不作处理，服务端会持续收空。需要进行判断处理
- 如果在window系统中，如果客户端单方面断开，则直接抛出异常，此时可以通过try……except……捕捉到对应的异常并进行处理
- 一发一收，循环接收
-
-
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import socket 4 import re 5 6 sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 创建socket实例 7 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 程序结束之后，强制释放占用的端口 8 9 10 addr = ('127.0.0.1',8000) # 指定一个链接地址和端口 11 sk.bind(addr) #绑定链接地址 12 sk.listen(50) #开始监听，此处设定的最多监听数量为5个 13 14 while True: 15 print('waiting connected……') 16 conn,address = sk.accept() # 实现链接，如果是TCP协议，内部实现了三次握手 17 print('get a new connection from %s'%str(address)) 18 while True: 19 info = conn.recv(1024).decode('utf-8') # 循环接收数据 20 if not info or info =='': 21 print('--->【no info】') 22 conn.send('--->【no info】'.encode('utf-8')) 23 continue 24 elif re.match('exit.*?',info): 25 print('【%s当前会话结束】'%str(address)) 26 break 27 else: 28 print('--->%s'%info) 29 30 data = input('>>>:').strip() 31 while not data: 32 print('【返回内容不能为空】') 33 data = input('>>>:').strip() 34 else: 35 conn.send(data.encode('utf-8')) 36 conn.close()
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import re 6 7 sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 实例化套接字对象 8 addr = ('127.0.0.1',8000) # 指定链接地址端口 9 sk.connect(addr) # 建立连接 10 11 while True: 12 msg = input('>>>:').strip() # 获取发送内容 13 if not msg: 14 print('【发送内容不能为空】') 15 continue 16 else: 17 sk.send(msg.encode('utf-8')) 18 19 if re.match('exit.*?', msg): break # 当输入内容出现exit开头情况下，表名是退出动作。客户端断开连接，服务端需要接收到信息后，断开连接 20 21 info = sk.recv(1024) 22 if not info: 23 print('【接收内容为空】') 24 continue 25 else: 26 print('--->%s'%info.decode('utf-8')) 27 sk.close() # 释放socket对象，断开连接
-
- 对单方面断开连接异常进行处理
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 import socket 4 import re 5 6 sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 创建socket实例 7 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 程序结束之后，强制释放占用的端口 8 9 10 addr = ('127.0.0.1',8000) # 指定一个链接地址和端口 11 sk.bind(addr) #绑定链接地址 12 sk.listen(50) #开始监听，此处设定的最多监听数量为5个 13 14 while True: 15 print('waiting connected……') 16 conn,address = sk.accept() # 实现链接，如果是TCP协议，内部实现了三次握手 17 print('get a new connection from %s'%str(address)) 18 while True: 19 try: 20 info = conn.recv(1024).decode('utf-8') # 循环接收数据 21 if not info or info =='': 22 print('--->【no info】') 23 conn.send('--->【no info】'.encode('utf-8')) 24 continue 25 elif re.match('exit.*?',info): 26 print('【%s当前会话结束】'%str(address)) 27 break 28 else: 29 print('--->%s'%info) 30 31 data = input('>>>:').strip() 32 while not data: 33 print('【返回内容不能为空】') 34 data = input('>>>:').strip() 35 else: 36 conn.send(data.encode('utf-8')) 37 except ConnectionResetError: 38 break 39 conn.close()
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import re 6 7 sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) # 实例化套接字对象 8 addr = ('127.0.0.1',8000) # 指定链接地址端口 9 sk.connect(addr) # 建立连接 10 11 while True: 12 try: 13 msg = input('>>>:').strip() # 获取发送内容 14 if not msg: 15 print('【发送内容不能为空】') 16 continue 17 else: 18 sk.send(msg.encode('utf-8')) 19 20 if re.match('exit.*?', msg): break # 当输入内容出现exit开头情况下，表名是退出动作。客户端断开连接，服务端需要接收到信息后，断开连接 21 22 info = sk.recv(1024) 23 if not info: 24 print('【接收内容为空】') 25 continue 26 else: 27 print('--->%s'%info.decode('utf-8')) 28 except ConnectionResetError: 29 print('服务器断开链接，重新链接中…………') 30 continue 31 sk.close() # 释放socket对象，断开连接
-
-
- 实现一对多的网络通信
- 上述代码中，已经在服务端中，通过while循环创建连接，达到了简单的一对多进行连接通信的功能，但是，此时实现的是同步的，即当前客户端没有结束通信之前，其他接入的客户端，会在服务端这里依次挂起。要实现异步的并发或并行通信，需要用到并发编程或者协程相关知识点。
注意：
- 发送数据，必须是bytes类型
- 在服务端，频繁启动，可能由于系统端口尚未释放，导致端口冲突，解决方法之一，就是在socket对象绑定地址端口之前，设置上强制释放
-
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
-
- 2 SSH案例
- 技术节点 ：
- 网络传输内容使用bytes格式，用什么格式编码的，对应的就得用什么格式解码
- 服务端：
- 通过字符串命令，拿到系统执行结果，使用 subprocess.Popen（）
- 操作系统，执行系统命令的结果，默认就是bytes格式的。其中，中国大陆的windows系统默认使用gbk编码成bytes格式，而Linux系统默认使用utf-8编码哼bytes格式
- 获得命令执行结果之后，不让其在服务器端进行打印输出，而是读取到对应的变量中，向客户端发送。
- 客户端：
- 为防止发送空白内容导致阻塞，对发送的内容提前处理
- 粘包
- 自定义一个数据传输协议，设置一个固定长度的报头，将真实数据大小一并封装到里面，然后，真实数据作为报文进行发送。先发送报头，在发送报文。
- 客户端，接收数据的时候，先接收固定长度的报头，然后解析出数据内容的大小，再根据真实数据的大小进行数据的循环接收。
- struct模块打包
- 示例
- 简单版本的，制作只包含基本信息的报头
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import subprocess 6 import struct 7 8 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 实例化套接字对象 9 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 设置程序结束，则释放在操作系统的端口与空间信息 10 11 addr = ('127.0.0.1',8001) 12 sk.bind(addr) # 绑定通讯地址 13 sk.listen(5) # 设置监听范围（最大挂起数） 14 while True: 15 print('waiting for connecting') 16 conn, address = sk.accept() #开始监听，并获取请求信息 17 print('new connection:', address) 18 while True: # 开始循环接收客户端的数据 19 try: # 避免windows系统中，客户端断开之后的报错 20 cmd = conn.recv(1024) 21 print('---->%s'%cmd.decode('utf-8')) 22 if not cmd:break #获取空内容之后，跳出 23 24 obj = subprocess.Popen(cmd.decode('utf-8'), 25 shell=True, 26 stdout=subprocess.PIPE, 27 stderr=subprocess.PIPE) #获取的命令的执行结果，内容是bytes格式的，windows默认使用gbk编码，linux默认使用utf8编码。在客户端需要使用对应的编码格式进行解码操作 28 stdout = obj.stdout.read() # 读取命令执行结果中的正确结果 29 stderr = obj.stderr.read() # 读取命令执行结果中的错误信息 30 length_res = len(stdout)+len(stderr) 31 header = struct.pack('i',length_res) # 制作一个简单的报头，将数据的长度，直接转成固定的4个字节的信息。这里暂时忽略内容过长的情况 32 conn.send(header) 33 conn.send(stdout) 34 conn.send(stderr) 35 except ConnectionResetError: # windows系统当客户端单方面断开，抛出错误 36 break 37 conn.close() 38 sk.close()
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import struct 6 7 sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM) 8 addr = ('127.0.0.1',8001) 9 sk.connect(addr) 10 while True: 11 msg = input('>>>:').strip() 12 if not msg:continue 13 sk.send(msg.encode('utf-8')) # 这里发送的内容是使用什么类型进行编码，在服务端对应的格式进行解码 14 15 header = sk.recv(4) # 先接收数据的报头 16 totle_length = struct.unpack('i',header)[0] # 解析出报头内容，获取报文的真是长度。获取的结果是元组,第一个元素是打包的内容信息 17 recv_lengh = 0 18 while recv_lengh < totle_length: 19 20 # 由于接收到的内容是，服务端操作系统直接执行的结果，所以对应的结果是以服务端操作系统默认编码进行。Linux，用utf8，windows用gbk 21 info = sk.recv(1024) 22 recv_lengh += len(info) 23 print(info.decode('gbk')) # 根据服务器默认编码不同，进行对应的解码，windows执行命令是以gbk编码的bytes格式，linux执行结果是utf-8编码的bytes格式 24 # print(info.decode('utf8')) 25 26 print(totle_length,recv_lengh)
-
- 将报文的基本信息，包括文件信息一并设置成报头内容，先传递一个报头的长度（用struct打包的固定长度的），然后再传递报头，接收端通过报头内容中解析出真实数据的长度等信息，进一步的循环接收数据
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import subprocess 6 import json 7 import struct 8 9 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 10 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 11 12 address = ('127.0.0.1', 8001) 13 sk.bind(address) 14 sk.listen(5) 15 16 while True: 17 print('【waiting for connecting】') 18 conn, addr = sk.accept() 19 print('new connection', addr) 20 try: 21 while True: 22 cmd = conn.recv(1024) 23 if not cmd: break 24 print(cmd.decode('utf-8')) 25 obj = subprocess.Popen(cmd.decode('utf-8'), shell=True, 26 stdout=subprocess.PIPE, 27 stderr=subprocess.PIPE) 28 29 header_dict = { 30 'filename': '****', 31 'md5': '****', 32 'total_size': None 33 } # 将返回报文信息的基本信息，封装 34 35 stdout = obj.stdout.read() 36 stderr = obj.stderr.read() 37 # print(stdout) 38 # print(stderr) 39 header_dict['total_size'] = len(stdout) + len(stderr) 40 41 header_bjson = json.dumps(header_dict).encode('utf-8') # 将封装好的报头转成能直接发送的bytes格式，encode将字符串按指定编码格式转成bytes格式，使用json将字典序列化成字符串。 42 header_length = struct.pack('i', len(header_bjson)) # 获取一个报头信息的长度，单独发送一个长度 43 44 conn.send(header_length) 45 conn.send(header_bjson) 46 47 conn.send(stdout) 48 conn.send(stderr) 49 conn.close() 50 except ConnectionResetError: 51 break 52 sk.close()
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import json 6 import struct 7 8 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 9 address = ('127.0.0.1', 8001) 10 11 sk.connect(address) 12 13 while True: 14 msg = input('>>>:').strip() 15 if not msg: continue 16 sk.send(msg.encode('utf-8')) 17 18 header_length = struct.unpack('i', sk.recv(4))[0] 19 20 header_dict = json.loads(sk.recv(header_length).decode('utf-8')) 21 22 total_size = header_dict['total_size'] 23 recv_size = 0 24 while recv_size < total_size: 25 info = sk.recv(1024) 26 # print(info.decode('utf-8')) 27 print(info.decode('gbk')) 28 recv_size += len(info) 29 print(total_size, recv_size) 30 print(""" 31 total_size:%s 32 recv_size:%s 33 """ % (total_size, recv_size)) 34 sk.close()
-
- 简单版本的，制作只包含基本信息的报头
- 技术节点 ：
- 3 FTP案例
- 面向过程版本
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import os 6 import hashlib 7 import json 8 import struct 9 Base_Dir = os.path.join(os.path.dirname(os.path.abspath(__file__)),'server') 10 11 # １建立socket套接字对象 12 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 13 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 14 # 2 绑定链接 15 address = ('127.0.0.1', 8001) 16 sk.bind(address) 17 sk.listen(5) 18 19 while True: 20 # 3 建立客户端链接 21 print('waiting for connecting') 22 conn, addr = sk.accept() 23 print('new connection from',addr) 24 # 4 和客户端交互 25 try: # 防止windows版本服务器端因为客户端掉线报错， 26 while True: 27 # 4.1 接收客户端命令并进行命令解析 28 cmds = conn.recv(1024).decode('utf-8') 29 print(cmds) 30 if not cmds:break 31 cmd, filename = cmds.split(' ') 32 if cmd == 'get': 33 # 4.1.1 执行下载命令 34 file_path = os.path.join(Base_Dir, filename) 35 print(file_path) 36 if os.path.isfile(file_path): 37 with open(file_path,'rb') as f: 38 # 4.1.1.1 封装并发送头部信息 39 header_dict = { 40 'filename': filename, 41 'md5':'***', 42 'total_size': os.path.getsize(file_path), 43 } 44 header_bjson = json.dumps(header_dict).encode('utf-8') 45 header_slen = struct.pack('i', len(header_bjson)) 46 conn.send(header_slen) 47 conn.send(header_bjson) 48 # 4.1.1.2 读取并发送文件内容,节省内存空间，逐行读取 49 for line in f: 50 conn.send(line) 51 else: 52 conn.send(b'0000') 53 continue 54 elif cmd == 'put': 55 header_struct = conn.recv(4) 56 if header_struct == b'0000': 57 continue 58 header_slen = struct.unpack('i', header_struct)[0] 59 header_json = conn.recv(header_slen).decode('utf-8') 60 header_dict = json.loads(header_json) 61 62 file_path = os.path.join(Base_Dir, header_dict['filename']) 63 recv_size = 0 64 with open(file_path, 'wb') as f: 65 while recv_size<header_dict['total_size']: 66 info = conn.recv(1024) 67 f.write(info) 68 recv_size += len(info) 69 except ConnectionResetError: 70 break
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import json 6 import struct 7 import os 8 9 Base_Dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'client') 10 11 # 1 创建链接对象 12 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 13 14 # 2 链接服务端 15 address = ('127.0.0.1', 8001) 16 sk.connect(address) 17 18 # 3 进行服务端进行交互 19 while True: 20 msg = input('>>>:').strip() 21 if not msg: continue 22 cmd,filename = msg.split(' ') 23 sk.send(msg.encode('utf-8')) 24 if cmd == 'get': 25 # 3.1 执行下载功能 26 # 3.1.1接收并解析头部信息 27 header_struct = sk.recv(4) 28 if header_struct == b'0000': 29 print('文件不存在') 30 continue 31 header_slen = struct.unpack('i', header_struct) 32 header_json = sk.recv(header_slen[0]).decode('utf-8') 33 header_dict = json.loads(header_json) 34 35 # 3.1.2 接收并保存文件 36 recv_size = 0 37 file_path = os.path.join(Base_Dir,header_dict['filename']) 38 with open(file_path,'wb') as f: 39 while recv_size<header_dict['total_size']: 40 info = sk.recv(1024) 41 f.write(info) 42 recv_size += len(info) 43 44 if cmd == 'put': 45 # 3.2 执行上传功能 46 file_path = os.path.join(Base_Dir,filename) 47 if os.path.isfile(file_path): 48 with open(file_path, 'rb') as f: 49 # 3.2.1 获取文件信息制作并发送报头 50 header_dict = { 51 'filename': filename, 52 'md5': '***', 53 'total_size':os.path.getsize(file_path), 54 } 55 print(header_dict) 56 header_bjson = json.dumps(header_dict).encode('utf-8') 57 header_slen = struct.pack('i',len(header_bjson)) 58 sk.send(header_slen) 59 sk.send(header_bjson) 60 61 # 3.2.2 发送文件内容 62 for line in f: 63 sk.send(line) 64 else: 65 sk.send(b'0000') 66 print('文件不存在') 67 continue
-
- 函数式编程版本
-
server
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import os 6 import hashlib 7 import json 8 import struct 9 Base_Dir = os.path.join(os.path.dirname(os.path.abspath(__file__)),'server') 10 11 12 def my_socket(addr,port): 13 """ 14 接收地址信息，新建socket对象并开始监听 15 :param addr: ip地址 16 :param port: 链接绑定的端口 17 :return: None 18 """ 19 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 20 sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 21 # 2 绑定链接 22 address = (addr,port) 23 sk.bind(address) 24 return sk 25 26 27 def my_get(filename, conn): 28 """ 29 接收文件名和文件传输的实例对象，完成文件下载 30 :param filename: 文件名 31 :param conn: 文件传输的实例对象 32 :return: None 33 """ 34 file_path = os.path.join(Base_Dir, filename) 35 print('get', file_path) 36 if os.path.isfile(file_path): 37 with open(file_path, 'rb') as f: 38 header_dict = { 39 'filename': filename, 40 'md5': '***', 41 'total_size': os.path.getsize(file_path), 42 } 43 header_bjson = json.dumps(header_dict).encode('utf-8') 44 header_slen = struct.pack('i', len(header_bjson)) 45 conn.send(header_slen) 46 conn.send(header_bjson) 47 for line in f: 48 conn.send(line) 49 else: 50 conn.send(b'0000') 51 52 53 def my_put(conn): 54 """ 55 接收文件传输的实例对象，完成文件上传 56 :param conn: 文件传输的实例对象 57 :return: None 58 """ 59 header_struct = conn.recv(4) 60 if header_struct == b'0000': 61 return 62 header_slen = struct.unpack('i', header_struct)[0] 63 header_json = conn.recv(header_slen).decode('utf-8') 64 header_dict = json.loads(header_json) 65 66 file_path = os.path.join(Base_Dir, header_dict['filename']) 67 print('put', file_path) 68 recv_size = 0 69 with open(file_path, 'wb') as f: 70 while recv_size < header_dict['total_size']: 71 info = conn.recv(1024) 72 f.write(info) 73 recv_size += len(info) 74 75 76 def server_run(): 77 """ 78 完成链接创建，文件传输的实例创建，接收链接申请，根据请求完成对应的操作 79 :return: 80 """ 81 sk = my_socket('127.0.0.1',8001) 82 sk.listen(5) 83 while True: 84 print('等待连接') 85 conn, addr = sk.accept() 86 print('新建连接') 87 while True: 88 cmds = conn.recv(1024).decode('utf-8') 89 if not cmds:break 90 cmd, filename = cmds.split(' ') 91 if cmd == 'get': 92 my_get(filename,conn) 93 elif cmd == 'put': 94 my_put(conn) 95 96 97 server_run()
-
client
1 # !/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import socket 5 import json 6 import struct 7 import os 8 9 Base_Dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'client') 10 11 12 def my_socket(addr,port): 13 """ 14 建立链接对象 15 :param addr: ip地址 16 :param port: 端口号 17 :return: 连接对象 18 """ 19 sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 20 address = (addr,port) 21 sk.connect(address) 22 return sk 23 24 25 def my_get(sk): 26 """ 27 接收链接对象，并执行下载 28 :param sk: 连接对象 29 :return: None 30 """ 31 header_struct = sk.recv(4) 32 if header_struct == b'0000': 33 print('文件不存在') 34 return 35 header_slen = struct.unpack('i', header_struct) 36 header_json = sk.recv(header_slen[0]).decode('utf-8') 37 header_dict = json.loads(header_json) 38 recv_size = 0 39 file_path = os.path.join(Base_Dir, header_dict['filename']) 40 with open(file_path, 'wb') as f: 41 while recv_size < header_dict['total_size']: 42 info = sk.recv(1024) 43 f.write(info) 44 recv_size += len(info) 45 46 47 def my_put(filename,sk): 48 """ 49 接收文件名和链接对象，执行上传功能 50 :param filename: 文件名 51 :param sk: 连接对象 52 :return: Ｎｏｎｅ 53 """ 54 file_path = os.path.join(Base_Dir, filename) 55 if os.path.isfile(file_path): 56 with open(file_path, 'rb') as f: 57 # 3.2.1 获取文件信息制作并发送报头 58 header_dict = { 59 'filename': filename, 60 'md5': '***', 61 'total_size': os.path.getsize(file_path), 62 } 63 header_bjson = json.dumps(header_dict).encode('utf-8') 64 header_slen = struct.pack('i', len(header_bjson)) 65 sk.send(header_slen) 66 sk.send(header_bjson) 67 for line in f: 68 sk.send(line) 69 else: 70 sk.send(b'0000') 71 print('文件不存在') 72 return 73 74 75 def client_run(): 76 """ 77 程序运行的整体控制，建立对象，接收用户命令并解析，调用对应的执行函数 78 :return: None 79 """ 80 sk = my_socket('127.0.0.1', 8001) 81 while True: 82 msg = input('>>>:').strip() 83 if not msg: continue 84 cmd, filename = msg.split(' ') 85 sk.send(msg.encode('utf-8')) 86 if cmd == 'get': 87 my_get(sk) 88 89 if cmd == 'put': 90 my_put(filename, sk) 91 92 93 client_run()
-
-
面向对象版本
- 面向过程版本
主要作用：进一步对socket进行封装，最常用于解决多并发处理
创建socketserver的主要步骤：1，重写一个类，继承自基类； 2，实例化调用一个server类（如TCPServer或UDPServer）； 3，激活server.handle_request（用于处理单次请求）或server.server_forever（用于处理多次请求）； 4，关闭server
- 系统命令
- windows系统
- 运行方式，cmd终端窗口
- dir 查看当前文件夹下的子文件以及文件夹
- ipconfig:查看本地网卡的ip信息
- tasklist:查看运行的进程
- linux系统
- 运行方式，运行终端
- ls
- ifconfig
- ps aux
- os.system() 执行命令以后直接打印
- subprocess.Popen()
- windows系统
- 管道subprocess.PIPE