网络编程

网络编程:

　

　1 , 网络通讯协议  理论知识点

　　　　学习网络编程的目的?

　　什么是互联网 ? 

　　　　网 : 是由多个节点相互连接组成 ,  如:  渔网 , 蜘蛛网

　　　　计算互联网: 由多台计算机通过某种介质相互连接二组成

　　　　互联网之所以存在就是为了能让信息共享

 

　　网络编程 : 指的是编写基于网络的应用程序

　　学习网络编程的目的:

　　　　开发出一款可以利用网络来传输数据的应用程序

　　CS结构 :

　　　　建立网络至少需要两台计算机 , 然后使用网络来传输数据

　　　　1 , 网络必须联通

　　　　2 , 在需要访问数据一方 , 必须安装用于访问数据的应用程序 , 该应用程序称之为客户端应用程序 (client)

　　　　　 在需要提供数据一方 , 必须安装用于共享数据的应用程序 , 该应用程序称之为 服务端应用程序(server)

　　　　简写为C/S

　　　　例如:  qq 就是一个客户端 , 服务器在腾讯公司  ,  腾讯视频

　　　　B/S  Browser浏览器/server   该结构下   通过传输都是HTML文本数据

　　学习网络编程  , 最终的目的就是要编写出一个基于C/S结构的应用程序

　　　　

　　　　要通讯必须具备的两个条件:

　　　　　　1 , 物理传播介质 (双绞线 , 光纤 , 同轴线 , 无线电波 )

　　　　　　2 , 通讯协议   ( 重点 )

　　　　通讯协议 : 

　　　　　　是由发送方和接受方共同商定的一套规范

　　　　　　为什么需要协议 :

　　　　　　　　其目的是为了双方能正确解析数据

　　　　　　　　例如 : 国内通讯 : 双方都是用普通话

　　　　　　　　　　　国际通信 : 使用英文

 

　　　　IBM ,   DELL  , HP   :  早些年 每个公司都有自己一套通讯协议 , 这导致了不同品牌的电脑连接不了网 , 于是国际标准组织就提出了一套开放系统互联模型 OSI

 

七层物理模型 ( OSI )

　1 , 物理层:

　　　　　 　通过物理介质建立物理连接 , 可以发送1010101 二进制数据 , 但是单纯二进制 , 无法理解 , 必须明确一次性收几个 , 每一段二进制的含义是什么呢 ?

 2 , 数据链路层 :

　　　　　　以太网协议工作在数据链路层 

　　　　　　a , 数据如何分组  (数据的格式)

　　　　　　　　每次发送一个数据帧

　　　　　　　　每个数据帧包含 head 和 data  ( head18   data 46-1500  )

　　　　　　　　 head 包含 : 目的的地址 , 源地址 , 802标签 , 以太网类型 , data

　　　　　　　　最大1518   , 超过将被分片

　　　　　　b , MAC地址 ;

　　　　　　　　每一台计算机都要联网都要具备网卡 , 每个网卡必然具备一个全球唯一的MAC地址 , MAC地址可以定位到任意一台计算机 , 但是

　　　　　　　　如果不清楚你的网卡 , 那就需要进行广播来确定网口和MAC地址的对应关系

　　　

 　　　　 每个局域网 第一个ip是网络地址 最后一个ip是广播地址
  　　　　如:192.168.13.     0 - 255    所以可用范围是:  1-254
 　　　　 路由器 也是一种交换机


　　　　 有了链路层   理论上全世界的计算机就能连到同一个网络了
　　　　 但是我们不可能将所有计算机设备连到同一个交换机
　　　　 广播风暴:  当 很多同一网络中的计算机 同时发送广播 就会形成广播风暴  到只网络瘫痪


　　　　问题1: 没有交换机能支持这么多计算机
　　　　问题2: 不能使用原始的广播方式


　3 , 网络层

 　　　　ip协议工作在网络   Internet Protocol Address
 　　　　ip协议规定 每一个计算机设备要联网 必须分配一个Ip
 　　地址
 　　　　ip是一个逻辑地址  不是固定的 可能会变化
 　　　　物理存在 相反的 逻辑 存在

 　　ip地址的格式
 　　　　由4段3位的十进制组成
 　　　　0.0.0.0  -  255.255.255.255
　　

 　　ip地址在mac地址基础上加入网络地址的概念 有了网络地址之后 就可以缩小广播范围, 所以在ip地址中 
　　　　前三段是网络号 用于表示所在的局域网 , 后一段是主机号 用于表示这个主机在局域网中的位置 , 只在前局域网有效,不同的局域网iP可以相同

 　　ip:
　　　　可以减少广播范围

 　　子网掩码:
　　　　判断两个IP是否在同一局域网

 　　ARP:
　　　　ip转换为mac地址就需要通过ARP协议俩进行转换(也是通过广播方法发送数据包,获取目标主机的mac地址)

 4 , 网络层
     ip地址分为网络号 和主机号
     通过网络号可以定位到某一个局域网
     再通过主机号定位某一个计算机
     这样一来就可以通过ip定位到全球任意一台计算机

     问题:  一台计算机 不可能只运行一个需要联网的程序,那当网卡收到数据后 ,到底把数据给哪个应用程序

 5, 传输层
      TCP/UDP工作在这一层
      传输层要求每一个应用程序捆绑一个端口号
      端口号是一个整数     取值范围0-65536     0-1024 这是系统保留的 不建议使用
      端口号不能重复
      至此  就可以通过ip+端口号定位全球某一台计算机上的某一个应用程序

TCP 传输控制协议

      可靠传输协议,  如何保障可靠,在发生完数据之后,必须等待接收方返回回复消息,该数据才算发送成功
      如果对方在一段时间内没有返回,会再次发送数据,超限制次数,将判定为链接丢失

      基于链接的传输

      怎么叫链接 :
       要发生数据必须先建立链接  简单的说就是找一条可以到达对方的路  ,
       如何选择一条最佳的传输路径,由路由协议来控制
       要保证数据传输室可靠 一定要保证这传输路径是可用的

     建立链接需要三次握手:
     　　　　三次握手是为了确定传输可用,但是并不能保证后续传输可靠 所以TCP协议在传输数据时 每一个数据段segment都需要确认信息

     断开链接需要四次挥手:
　　　　　　保证双方数据传输完毕 ,为什么需要多一次,有可能一段传输结束  另一边还没结束

     优点:
         保证传输可靠,数据完整
     缺点:
         因为需要传输确认信息,所以对网络消耗较大,效率相对较低
     应用场景:
         重要数据,在线支付,文字信息

UDP 协议用户数据报协议

不可靠传输

UDP只管发送 不管对方是否收到

优点:传输效率比TCP高
缺点:传输不可靠
应用场景:
      对速度要求高 ,对完整性要求较低
      视频通话,语音聊天
       对战游戏 多是UDP   你卡了你就卡吧  别人正常游戏

　

 

思维路线

目的是要链接互联网中的其他计算机

物理层 用物理介质链接其他计算机

数据链路层 用MAC地址来通讯,但仅限于同一局域网

网络层 用ip确定全球范围的某个局域网中的某一台计算机

传输层 用端口来确定 某一计算机中的某一个进程

应用层 组织自己的数据结构,例如json, xml等用于在两个应用程序间交换数据

 

本章目录

一.C/S构架

二.网络通讯的基本要素

三.网络通讯协议

 

什么是网络编程

网络通常指的是计算机中的互联网,是由多台计算机通过网线或其他媒介相互链接组成的

编写基于网络的应用程序的过程序称之为网络编程

 

为什么要学习网络编程

我们已经知道计算机,由硬件 操作系统,应用程序组成,有了这三个元素,就可以在自己的电脑上运行一些应用程序了,比如玩玩纸牌,扫扫雷什么的

如果要想与其他计算机一起玩,就必须要让你的计算机和其他计算机能够互相传递数据

小明和小芳是一对恋人,为了美好的未来,小明离开家乡,来到上海学习python,在这里小明看到了传说中的东方明珠电视塔,激动万分的他用手里的数码相机拍摄了照片,想要与远在老家的小芳分享,虽然小明和小芳的电脑连着一条网线,由于不会使用网络编程,小明只好骑着马儿,翻越千山万水,将照片送到小芳的手中,由于路途太远,小芳已经嫁人了,小明痛下决心一定要掌握网络编程,让下一个小芳在任何地方都能看到自己的照片

学习网络编程就是要学习利用网络来与另一台计算机相互传输数据, 开发出支持网络通讯的应用程序,这样即使足不出户也能尽知天下事

 

一.C/S构架

学习网络编程就是要通过网络来访问另一台计算的数据,这样必然需要至少两台计算机,一台计算机上放着要分享的数据和用于分享数据的程序,另一台计算机上运行访问数据的程序,

我们把提供数据的一方称之为服务器(Server),把访问数据的一方称为客户端(Client)

这就是C/S构架:

电脑上要看视频就需要装看视频的程序.例如腾讯视频,它就是客户端程序,腾讯公司的机房里运行着腾讯视频的服务器程序,所以它也是C/S构架的程序

另外浏览器也可以访问服务器上的网页数据,称之为B/S,其本质上也是C/S只不过客户端是浏览器

 

二.网络通讯的基本要素

两台计算机要想通讯,必须要具备两个基本要素

1.物理连接介质,包括网线,无线电,光纤等

2.通讯协议

 

下面我们来分析为什么需要这两个东西

 

1.物理连接介质

人类说话需要有空气来传播震动,眼睛要看东西需要有光来传播,没有空气,没有光,则无法沟通,(不要钻牛角尖,用手摸啥的...);光和空气就是物理介质

再比如电话机 要打通电话则必须先接通电话线,电流才能沿着电话线到达另一台电话机,电话线则是物理介质

 

2.通讯协议

什么是协议?

协议就是标准,大家要遵循相同的标准才能正常交流通讯

两个人要交流,必须说双方都能理解的语言,想象一下一个说新疆话的人打电话给说闽南语的人,基本说了等于没说 双方都能理解的语言就是,就是标准,就是协议

 

为什么要制定协议?

在计算机中,链接介质 通常是网线,网线本质就是一条电线,可以传播电流,而电流可以按照强弱,被理解为0和1

那问题是,一台计算机被电了一下是什么意思?被电了两下又是什么意思? 这就必须由发送方和接收方共同商定出一套标准,从而可以知道0和1表示的含义

 

如何使用协议?

然而作为应用程序开发者,物理介质显然不是我们需要关心的,比如如何牵网线

所以通讯协议是我们学习的重点

三.网络通讯协议

协议是由发送方和接受方共同制定的,考虑到计算机已经发展了这么多年,所以制定的协议过程很显然我们没有机会参与了,要做的是了解通讯协议中的各种规定

OSI七层模型

1.什么是OSI

Open System Interconnection Reference Model，开放式系统互联通信参考模型,缩写为OSI,是由国际标准组织推出的,其实就是一大堆协议,OSI把整个通讯过程划分为七层,简称OSI七层模型

上图中最右边就是完整的七层模型,是最完整的通讯模型,虽然很详尽,但是整个通讯流程的复杂度较高,后期为了降低学习难度,将其进行了简化,于是又了中间的五层,和左边的四层

​

其中应用层,表示层和会话层都是属于应用程序层的,是一个整体,故将其合并为应用层,由此得到中间的五层,这是我们学习的重点!

​

2.为什么需要OSI

早期各个计算机厂商都有自己的一套网络通讯协议,但是各不相同,导致了不同厂商的计算机之间无法进行网络通讯,就像下图一样,如果四川人说四川话,上海人说上海话,将无法通信,必须统一说普通话!

无论是四川还是上海都是中国人,如果只在中国内进行通讯,掌握了普通话就没问题了,但是要不要和其他国家的人通讯呢?

与不同国家的人通讯则需要掌握不同国家的语言,但是全世界有那么多国家和语言,不可能全部掌握,这就需要大家统一下了,找一种语言作为全世界通用语言,就是英语!

这样一来,只要你能听懂英语,会说英语,全世界的人都能通讯了

总结:OSI就是相当于计算机界的通用语言,只要按照OSI规定的标准来通讯,就能够与全世界任何一台所有计算机通讯

那这OSI种的七层到底是干什么的呢?

 

OSI各层工作原理解析

应用层,表示层,会话层都属于应用程序层面所以重点讨论简化后的五层;

为了方便理解,从下往上

 

一.物理层

物理层的由来,在通讯的基本要素一节已经讨论过了,两台原本相互独立的计算机,想要通讯,必须建立物理连接,连接的方式多种多样,包括电缆,光缆,无线电等;

11111101010 10101010101010

物理层的功能:基于电子器件发送电流信号,根据电流的高低可以对应到数字0和1,也就是二进制数据

 

二.数据链路层

数据链路层的由来:单纯的电信号0和1没有任何意义，必须规定电信号多少位一组，每组什么意思

 

以太网协议:

以太网协议(Ethernet)工作在数据链路层,其规定了电信号分组方式,以及一组电信号应该包含哪些内容

ethernet规定如下:

• 一组电信号构成一个数据包，叫做‘帧 ’ frame

• 每一数据帧分成：报头head和数据data两部分

  

head包含：(固定18个字节)

• 发送者／源地址，6个字节

• 接收者／目标地址，6个字节

• 数据类型(标签+以太类型)，6个字节

data包含：(最短46字节，最长1500字节)

• 数据包的具体内容

head长度＋data长度＝最短64字节，最长1518字节，超过最大限制就分片发送

 

mac地址:

head中包含的源和目标地址指的是什么地址呢?

ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址

mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号）

广播:

有了mac地址，同一网络内的两台主机就可以通信了

ethernet采用最原始的方式，广播的方式进行通信，即计算机通信基本靠吼

广播有什么问题吗?  如果这个网络中有100台电脑,大家都在同一时间都在互相通讯,那是什么情况,

相当于村头挂着100个大喇叭,大家都在使劲喊,结果是要听清楚说的什么内容非常费劲儿

回到计算机中,100台电脑都在那儿广播,传输速度一定是有限的,严重浪费了网络资源

所以,处在局域网中间的设备即交换机(上图的中间那个小东西)

 

交换机不仅负责让网络中的计算机能够互相通信,还要优化网络传输,

 

如何优化呢?

当pc1想要与pc2通讯前

1.需要知道pc2的MAC地址,所以必须先将这个信息广播给所有的计算机,

2.这个信息必须先交给交换机,再由交换机广播出去,

3.pc2收到消息消息后发现目标MAC是自己,就回复数据给发送方,

4.而回复也必须先交给交换机,此时交换机就会记录pc2的MAC地址与网口号的对应关系存到自己的缓存中,

5.下一次在要给pc2发数据时从缓存中查找pc2的MAC地址,

6.如果找到了就直接单独给pc2发送,不在需要广播,

7.如果没有则重复之前的广播过程

这一优化功能称之为自动学习功能

第一次链接某计算机时 必须广播获取MAC地址

只要链接过一次 MAC地址就被交换机记录下了下一次就不用广播了

交换机的工作原理类似类似于早期的电话交换机,电话线打到总台,总台问你要找几号?,然后将电话线插到相应的口上

 

三.网络层

1.网络层由来：

有了ethernet、mac地址、广播的发送方式，世界上的计算机就可以彼此通信了

 

2.以太网通讯存在的问题:

世界范围的互联网是由一个个彼此隔离的小的局域网组成的，如果所有的计算机都采用以太网的广播方式来寻找其他计算机，那么一台机器发送的包全世界都会收到，这就不仅仅是效率低的问题了，这会是一种灾难,(广播风暴就是这么产生的)

 

结论：必须找出一种方法来区分哪些计算机属于同一广播域，哪些不是，如果是就采用广播的方式发送，如果不是，就采用路由的方式（向不同广播域／子网分发数据包），mac地址是无法区分的，它只跟厂商有关;

网络层功能：引入一套新的地址用来区分不同的广播域／子网，这套地址即网络地址,网络地址到底长什么样,又是如何区分子网的?

 

3.IP协议

IP协议是工作在网络层的协议,全称:Internet Protocol Address,翻译为互联网协议地址

 

3.1 IP地址(重点)

• ip协议定义的地址称之为ip地址，广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示

• 范围0.0.0.0-255.255.255.255

• 一个ip地址通常写成四段十进制数，例：192.168.10.1

• 网络号：标识子网

• 主机号：标识主机

IP地址的分类:

A类保留给政府机构

1.0.0.0---126.0.0.0

B类分配给中等规模公司

128.0.0.0---191.255.0.0

C类分配给任何需要的人

192.168.0.1 - 192.168.255.254

D类用于组播

E类用于实验

我们的电脑ip通常都是C类的,以192.168开头,正因为C类任何人都可以用

 

3.2 子网掩码(了解)

什么是子网掩码

子网掩码是一个32位地址，用于屏蔽IP地址的一部分以区别网络标识和主机标识，并说明该IP地址是在局域网上，还是在远程网上。

它的网络部分全部为1，主机部分全部为0。比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分是后8位，那么子网络掩码就是11111111.11111111.11111111.00000000，写成十进制就是255.255.255.0。

为什么需要子网掩码

单纯的ip地址段只是标识了ip地址的种类，无法辨识一个ip所处的子网 例：192.168.10.1与192.168.10.2并不能确定二者处于同一子网,因为不清楚哪些位表示网络号,哪些表示主机号

 

子网掩码如何判断两个ip是否属于同一个子网

知道”子网掩码”，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算（两个数位都为1，运算结果为1，否则为0），然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。

案例: 已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0，请问它们是否在同一个子网络？两者与子网掩码分别进行AND运算，
    
172.16.10.1：10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0
​
172.16.10.2：10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0
结果都是172.16.10.0，因此它们在同一个子网络。

总结一下，IP协议的作用主要有两个，一个是为每一台计算机分配IP地址，另一个是确定哪些地址在同一个子网络。

 

3.3 IP数据包(了解) package

ip数据包也分为head和data部分，无须为ip包定义单独的栏位，直接放入以太网包的data部分

head：长度为20到60字节

data：最长为65,515字节。

而以太网数据包的”数据”部分，最长只有1500字节。因此，如果IP数据包超过了1500字节，它就需要分割成几个以太网数据帧，分开发送了。

3.4 ARP协议(了解)

ARP协议的由来:IP是通常是动态分配的,是一个逻辑地址,而数据传输则必须依赖MAC地址,那如何才能通过IP得到对方的MAC地址呢? 这就需要ARP协议了

arp协议功能：广播的方式发送数据包，获取目标主机的mac地址

 

首先明确每台主机ip都是已知的,并可以通过子网掩码来判断是否属于同一子网

 

案例1：主机192.168.1.101访问192.168.1.102

是同一子网内 ARP请求帧内容:

1.FF:FF:FF:FF:FF:FF是一个特殊的MAC地址 交换机在看到这个地址时会将这个数据向网内所有主机进行广播

2.192.168.1.102 收到ARP请求后 回复自己的MAC给 源MAC主机

3.发送方(192.168.1.101)收到回复后,会将对方的ip的MAC地址映射关系存储到缓存中,以便下次使用

ps:arp -a 可以查看ARP缓存列表

确定对方MAC地址后的数据帧内容:

 

 

案例2：主机192.168.1.101访问192.168.111.101

交换机发现目标IP不在当前子网中,

1.交换机发起ARP请求,将目标IP设置为对方的网关IP,默认情况下,网关的主机号都为1; 所以接收方(192.168.111.101)的网关为192.168.111.1

发送方交换机发起的ARP数据帧:

2.对方网关收到请求后发现ip是自己的ip则回复ARP请求,将其MAC地址告知发送方交换机,

3.发送方交换机将,对方的网关与的MAC地址与IP存储到自己的ARP缓存中,

4.告知发送方(192.168.1.101)对方网关的MAC地址,发送方同样将对方网关MAC与目标IP映射关系存储到,本机ARP缓存中

至此ARP请求结束可以开始传输数据

后续确定了MAC地址后发送的数据帧内容:

总结:ARP通过广播的方式来获取MAC地址, 不在同一子网时 ARP得到的时对方网关的MAC地址,数据到达对方网关后,由网关根据IP交给对应的主机,当然对方网关获取主机MAC也是通过ARP

ps:路由器 交换机都可以称之为网关!

 

四.传输层(重点)

传输层的由来:

通过物理层简历链接通道

通过数据链路层的MAC,可以定位到某个局域网中的某台主机,

通过网络层的IP地址,子网掩码,可以定位到全球范围某一局域网下的某台主机

那么问题来了:

一台计算机上是不可能只运行一个应用程序的,比如同时登陆qq和微信,那接收到的数据到底是交给微信还是qq呢?

答案就是:端口号,端口是需要联网的应用程序与网卡关联的编号

传输层功能：建立端口到端口的通信

补充：端口范围0-65535，0-1023为系统占用端口

 

TCP与UDP是工作在传输层的协议:

TCP协议

可靠传输，TCP数据包没有长度限制，理论上可以无限长，但是为了保证网络的效率，通常TCP数据包的长度不会超过IP数据包的长度，以确保单个TCP数据包不必再分割。

TCP之所以可靠,是因为在传输数据前需要三次握手确认建立链接

 

三次握手:

三次握手的过程实际上实在确认我发的你能收到,你发的我也能收到,从而保证数据传输的的可靠性,

链接是一个虚拟的概念,不实际存在,只要三次握手成功即表示连接建立成功!

问题是三次握手时的确能保障数据传输是可靠的,那么握手后的数据要如何保证传输成功呢?

TCP协议要求在发送数据后,必须接收到对方的回复信息才能确认数据成功发送,如果一段时内没有收到回复信息,会自动重新发送,如果重试的次数过多则表示链接可能已经中断!

 

四次挥手:

四次挥手的目的是保证双方的数据传输已经全部完成,同样是为了保证数据的完整性

 

总结:

其优点很明显:能够保证数据传输是完整的

缺点:由于每次都需要传输确认信息,导致传输效率降低

场景:多用于必须保证数据完整性的场景,例如文本信息,支付信息等!

 

UDP协议

不可靠传输，”报头”部分一共只有8个字节，总长度不超过65,535字节，正好放进一个IP数据包。

UDP协议采取的方式与TCP完全不同,其根本不关心,对方是否收到数据,甚至不关心,对方的地址是否有效,只要将数据报发送到网络,便什么都不管了!

 

总结

优点:由于不需要传输确认信息,所以传输效率高于TCP协议

缺点:传输数据可能不完整

场景:视频聊天,语音聊天等,不要求数据完整性,但是对传输速度要求较高

 

五.应用层

应用层由来：用户使用的都是应用程序，均工作于应用层，互联网是开放的，大家都可以开发自己的应用程序，用什么样的数据格式来传输，就需要由应用程序开发者自己来制定

应用层功能：规定应用程序的数据格式。

例：TCP协议可以为各种各样的程序传递数据，比如SMTPl、HTTP、FTP等等。那么，必须有不同协议规定电子邮件、网页、FTP数据的格式，这些应用程序协议就构成了”应用层”。

 

至此一连串高低电压就通过层层协议,变成了我们在应用程序中看到的各种数据