细说：用户访问网站流程

域名号子 2022-11-10 1087 0

用户访问网站的基本流程

一次访问浏览网页的完整过程

第一步：客户端用户从浏览器输入www.baidu.com网站网址后回车，系统会查询本地hosts文件及DNS缓存信息，查找是否存在网址对应的IP解析记录。如果有就直接获取到IP地址，然后访问网站，一般第一次请求时，DNS缓存是没有解析记录的；

第二步：如果客户端DNS缓存或hosts没有对应www.baidu.com网站网址的域名解析记录，那么，系统会把浏览器的解析请求，交给客户端本地设置的DNS服务器地址解析（此DNS为LDNS，即Local DNS），如果LDNS服务器的本地缓存有对应的解析记录，就会直接返回IP地址；如果没有，LDNS会负责继续请求其它的DNS服务器；

第三步：LDNS会从DNS系统的“.”根开始请求www.baidu.com域名的解析，经过一系列的查找各个层次DNS服务器，最终会查找到www.baidu.com域名对应的授权DNS服务器，而这个授权DNS服务器，正是该企业购买域名时用于管理域名解析的服务器。这个服务器有www.baidu.com对应的IP解析记录，如果此时都没有，就表示企业的运维人员没有给www.baidu.com域名做解析；

第四步：baidu.com域名对应的授权DNS服务器会把www.baidu.com对应的最终IP解析记录发给LDNS；

第五步：LDNS把收到来自授权DNS服务器关于www.baidu.com对应的IP解析记录发给客户端浏览器，并且在LDNS本地把域名和IP的对应解析缓存起来，以便下一次更快的返回相同的解析请求的记录；

第六步：客户端浏览器获取到了www.baidu.com的对应IP地址，接下来浏览器会请求获得的IP地址对应的Web服务器，Web服务器接收到客户的请求并响应处理，将客户请求的内容返回给客户端浏览器；

在浏览器输入想要访问的域名之后，浏览器会进行域名解析获得IP地址，再经过TCP的连接，实现数据的传输就会有两种报文，即请求报文和响应报文。最终才能实现通信。因此想要实现通信，就得先弄懂DNS的解析原理以及TCP连接通道的流程。

DNS的解析原理

说说DNS是什么？

DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去＋·记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。访问网站的实质就是解析其域名得到IP地址，再转向其网站。

DNS的解析原理：

细说：用户访问网站流程-第1张图片-优米村(YOUMICUN.COM)

原理步骤：

1）系统首先会查找本地的DNS缓存和hosts文件信息，确认其中是否有与，域名www.baidu.com所对应的IP地址。如果有，就直接访问这个IP地址所对应的www.baidu.com域名服务器。

2）如果没有找到，那么，系统将会把浏览器的解析请求发送给本地主机所指定的DNS服务器，称为LDNS。如果LDNS服务器中有域名www.baidu.com所对应的IP地址，则返回给客户端的浏览器，如果没有，则继续请求其他DNS服务器。

3）LDNS服务器会从DNS系统的根（.）开始请求对域名www.baidu.com的解析。根DNS服务器全球只有13台，根域名服务器是没有域名www.baidu.com解析记录的。但是它会有域名www.baidu.com所对应的顶级域.com的解析记录，因此直接把顶级域.com所对应的DNS地址返回给LDNS服务器。

4）LDNS服务器获取到顶级域.com对应的DNS服务器地址后，就会去.com服务器请求对www.baidu.com域名的解析。在顶级域名服务器也不会有www.baidu.com的解析记录的。但是它有www.baidu.com的父级域名的解析记录，即baidu.com。因此顶级域名.com服务器又会把baidu.com所对应的DNS服务器的IP地址返回给LDNS。

5）LDNS服务器收到baidu.com所对应的IP地址后，就会去baidu.com域名服务器请求对www.baidu.com的域名解析。Baidu.com域名对应的DNS服务器是该域名的授权DNS服务器。这个DNS服务器就是企业购买域名时用于管理解析的服务器。

6）baidu.com域名DNS服务器会把www.baidu.com域名所对应的IP地址给解析出来，然后发给LDNS。

7）LDNS把解析出来的结果www.baudu.com所对应的IP地址发送给客户端的浏览器。并且LDNS也会将其域名和对应的地址缓存到cache中。

8）客户端浏览器收到后，也会将其域名以及对应的IP地址缓存的到DNS缓存和hosts文件中。

DNS解析流程

大家都知道，计算机之间只能通过ip相互通信，因为ip不好记，于是才使用dns服务器把域名解析为相应的ip，这里以解析www.oldboyedu.com为例，当我们输入这个网址回车的时候，浏览器会首先查询浏览器的缓存，这个缓存存活时间可能只有1分钟，如果没找到，则去查询本地的dns缓存和hosts文件，如果有www.oldboyedu.com这个域名对应的ip，则直接通过这个ip访问网站服务器。如果本地的dns缓存和hosts文件没找到，这时候就会把请求发送给，网卡配置信息里的dns服务器，默认有两个，只有当dns1不能访问时，才会使用dns2。我们也称网卡配置信息里的dns为local dns，这时候local dns会先查询它的缓存，有没有www.oldboyedu.com相应的记录，如果有，则返回给用户，如果没有，就会访问根域名服务器，世界一共有13台根域名服务器，根域名服务器一看，是找.com的，于是会把.com的顶级域名服务器的ip发送给local dns，这时local dns再次访问.com的顶级域名服务器，.com的顶级域名服务器一看，是找一级域名oldboyedu.com的，于是再将oldboyedu.com的ip发送给local dns，然后继续往下找，直到找到www.oldboyedu.com的权威dns的A记录或者cname,这时候local dns会把找到的www.oldboyedu.com的ip发送给客户端，并记录在缓存中，这样的话，下次如果有其他的用户访问www.oldboyedu.com这个域名时，local dns的缓存中就有记录了。客户端收到local dns发送过来的ip就会通过ip去访问服务器，并将这个ip记录在dns缓存中。

递归和迭代

递归查询的工作方式

递归查询是最常见的查询方式，域名服务器将代替提出请求的客户机（下级DNS服务器）进行域名查询，若域名服务器不能直接回答，则域名服务器会在域各树中的各分支的上下进行递归查询，最终将返回查询结果给客户机，在域名服务器查询期间，客户机将完全处于等待状态。

示例说明：A向B发送递归查询请求，B向C发送迭代查询请求（下一节将介绍迭代查询），得到C给出的提示后，B向D发送迭代查询请求，得到D给出的提示后，B向E发出迭代请求，得到E给出的提示后，B向F发出迭代查询请求，得到F给出的提示后，B得到了F返回G的IP地址，B向A返回G的IP地址，整个查询结束。

迭代查询的工作方式

迭代查询又称重指引，当服务器使用迭代查询时能够使其他服务器返回一个最佳的查询点提示或主机地址5，若此最佳的查询点中包含需要查询的主机地址，则返回主机地址信息，若此时服务器不能够直接查询到主机地址，则是按照提示的指引依次查询，直到服务器给出的提示中包含所需要查询的主机地址为止，一般的，每次指引都会更靠近根服务器（向上），查寻到根域名服务器后，则会再次根据提示向下查找。从上节的图中可以知道，B访问C、D、E、F、G，都是迭代查询，首先B访问C，得到了提示访问D的提示信息后，开始访问D，这时因为是迭代查询，D又返回给B提示信息，告诉B应该访问E，依次类推。

TCP/IP协议的介绍和三次握手及四次挥手

说说TCP/IP协议是什么

Transmission Control Protocol/Internet Protocol的简写，中译名为传输控制协议/因特网互联协议，又名网络通讯协议，是Internet最基本的协议、Internet国际互联网络的基础，由网络层的IP协议和传输层的TCP协议组成。TCP/IP 定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。协议采用了4层的层级结构，每一层都呼叫它的下一层所提供的协议来完成自己的需求。通俗而言：TCP负责发现传输的问题，一有问题就发出信号，要求重新传输，直到所有数据安全正确地传输到目的地。而IP是给因特网的每一台联网设备规定一个地址。

各个状态的意义如下：

（1）LISTEN - 侦听来自远方TCP端口的连接请求；

（2）SYN-SENT -在发送连接请求后等待匹配的连接请求；

（3）SYN-RECEIVED - 在收到和发送一个连接请求后等待对连接请求的确认；

（4）ESTABLISHED- 代表一个打开的连接，数据可以传送给用户；

（5）FIN-WAIT-1 - 等待远程TCP的连接中断请求，或先前的连接中断请求的确认；

（6）FIN-WAIT-2 - 从远程TCP等待连接中断请求；

（7）CLOSE-WAIT - 等待从本地用户发来的连接中断请求；

（8）CLOSING -等待远程TCP对连接中断的确认；

（9）LAST-ACK - 等待原来发向远程TCP的连接中断请求的确认；

（10）TIME-WAIT - 等待足够的时间以确保远程TCP接收到连接中断请求的确认；

（11）CLOSED - 没有任何连接状态；

TCP三次握手

所谓三次握手(Three-way Handshake)，是指建立一个TCP连接时，需要客户端

和服务器总共发送3个包。

三次握手的目的是连接服务器指定端口，建立TCP连接,并同步连接双方的序列号和确认号并交换 TCP 窗口大小信息.在socket编程中，客户端执行connect()时。将触发三次握手。

细说：用户访问网站流程-第2张图片-优米村(YOUMICUN.COM)

三次握手过程：

1）第一次握手：建立连接时，客户端A发送SYN包（SYN=j）到服务器B，并进入SYN_SEND状态，等待服务器B确认。

2）第二次握手：服务器B收到SYN包，必须确认客户A的SYN（ACK=j+1），同时自己也发送一个SYN包（SYN=k），即SYN+ACK包，此时服务器B进入SYN_RECV状态。

3）第三次握手：客户端A收到服务器B的SYN＋ACK包，向服务器B发送确认包ACK（ACK=k+1），此包发送完毕，客户端A和服务器B进入ESTABLISHED状态，完成三次握手。

TCP四次挥手

TCP的连接的拆除需要发送四个包，因此称为四次挥手(four-way handshake)。客户端或服务器均可主动发起挥手动作，在socket编程中，任何一方执行close()操作即可产生挥手操作。

细说：用户访问网站流程-第3张图片-优米村(YOUMICUN.COM)

四次挥手过程：

1）第一次挥手：客户端A发送一个FIN，用来关闭客户A到服务器B的数据传送。

2）第二次挥手：服务器B收到这个FIN，它发回一个ACK，确认序号为收到的序号加1。和SYN一样，一个FIN将占用一个序号。

3）第三次挥手：服务器B关闭与客户端A的连接，发送一个FIN给客户端A。

4）第四次挥手：客户端A发回ACK报文确认，并将确认序号设置为收到序号加1。

HTTP协议的介绍及请求与响应报文

Http报文

HTTP报文中有很多行内人，这些行的字段都是由一些ASCII码串组成，但各个字段的长度是不同的。HTTP报文可以分为两种，一种是从web客户端发往web服务端的HTTP报文，称为请求保卫，另一种是从web服务端发往客户端的报文，称为响应报文。两种报文的格式的基本相同。

http协议原理：(www服务的请求过程)请求报文细节！

http的请求报文，主要包括，请求行，请求头部，空行，请求主体

而请求行又包括，请求方法，url，协议版本，请求方法主要有GET、HEAD、POST、PUT、DELETE、MOVE，url就是统一资源定位符，通过这个能在服务器上找到唯一的网页资源，协议版本，目前主流的是http1.1,开始流行的协议版本是http1.0，相对应http1.0，http1.1主要从可扩展性、缓存处理、带宽优化、持久连接、host头、错误通知、消息传递、内容协商等多方面做了一些优化，以上是请求行的内容

再来说一些，请求头部，请求头部主要有媒体类型，语言类型、支持压缩、客户端类型、主机名等，媒体类型主要有文本文件，图片文件，视频文件等，语言类型就是告诉服务器客户端的接受的语言，支持压缩的话，可以节省带宽，客户端类型，会显示客户端浏览器的版本信息，操作系统信息等

空行，代表请求头部的结束，也代表着请求主体的开始

请求报文主体，只有使用POST提交表单的时候，才有

对应的，服务器收到请求报文之后，就会给出响应报文

响应报文主要包含起始行、响应头部、空行、响应报文主体

起始行一般包含http版本号，数字状态码，状态情况

而数字状态码，常见有以下几种

200 代表ok

301 永久跳转

302 临时跳转

403 没权限

404 没有这个文件

500 未知的错误

502 网关错误

503 服务器超载，停机维护

504 网关超时

响应头部，主要包括，服务器的web软件版本，服务器时间，长连接还是短连接，设置字符集等等

这里的空行和请求报文空行一样

在报文主体中包装载了要返回给客户端的数据

http请求方法

1GET请求指定的页面信息，并返回实体主体。（请求）

2HEAD类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头

3POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。（提交账号密码）

4PUT从客户端向服务器传送的数据取代指定的文档的内容。（上传文件）

5DELETE请求服务器删除指定的页面。（删除文件）

6CONNECTHTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。

7OPTIONS允许客户端查看服务器的性能。

8TRACE回显服务器收到的请求，主要用于测试或诊断。

9PATCH实体中包含一个表，表中说明与该URI所表示的原内容的区别。

10MOVE请求服务器将指定的页面移至另一个网络地址。（跳转）

11COPY请求服务器将指定的页面拷贝至另一个网络地址。

12LINK请求服务器建立链接关系。

13UNLINK断开链接关系。

14WRAPPED允许客户端发送经过封装的请求。

15Extension-mothed在不改动协议的前提下，可增加另外的方法。

请求报文介绍

细说：用户访问网站流程-第4张图片-优米村(YOUMICUN.COM)

请求报文的内容与格式如下：

1）请求行

作用：用来说明客户端想要做什么。

内容：包括方法字段GET和URL字段以及HTTP协议版本

2）请求头

作用：通过客户端把请求的相关信息发给服务器

内容：包括媒体类型、语言类型、支持压缩、客户端类型、主机等信息。

3）空行

作用：告诉服务器空行以下内容不属于请求头部信息。

4）请求报文主体

作用：用来说明客户端具体想要做的事情。

内容：查看信息、应用post方法。

响应报文介绍

细说：用户访问网站流程-第5张图片-优米村(YOUMICUN.COM)

请求报文的内容与格式如下：

1）状态行

作用：用来说明服务端响应客户端的状态。

内容：包括协议及版本号、数字状态码、状态情况

2）响应头

作用：通过服务端把响应的相关信息给客户端

内容：包括Location、server、connect、vary等

3）空行

作用：告诉客户端空行以下内容不属于响应头部信息。

4）响应报文主体

作用：用来装载着要返回给客户端的数据

内容：包括文本、html、视频或者是图片。

GET与POST的认识

GET：当客户端要从服务器中读取某个资源时，使用GET 方法。GET 方法要求服务器将URL 定位的资源放在响应报文的数据部分，回送给客户端，即向服务器请求某个资源。使用GET 方法时，请求参数和对应的值附加在 URL 后面，利用一个问号(“?”)代表URL 的结尾与请求参数的开始，传递参数长度受限制。例如，/index.jsp?id=100&op=bind、

POST：当客户端给服务器提供信息较多时可以使用POST 方法，POST 方法向服务器提交数据，比如完成表单数据的提交，将数据提交给服务器处理。GET 一般用于获取/查询资源信息，POST 会附带用户数据，一般用于更新资源信息。POST 方法将请求参数封装在HTTP 请求数据中，以名称/值的形式出现，可以传输大量数据;

URL-URI

1.简写：

URI (uniform resource identifier)统一资源标志符；

URL(uniform resource location )统一资源定位符（或统一资源定位器）；

URN(uniform resource name )统一资源命名。

2.URI 和 URL 的比较

URI是一个相对来说更广泛的概念，URL是URI的一种，是URI命名机制的一个子集，可以说URI是抽象的，而具体要使用URL来定位资源。

Web上的每一种资源如：图片、文档、视频等，都是由URI定位的，这里所谓的定位指的是web上的资源相对于主机服务器来说，存放在服务器上的具体路径。

URL是internet上用来描述信息资源文件的字符串，用在客户程序和服务器上，定位客户端连接服务器所需要的信息，它不仅定位了这个信息资源，而且定义了如何找到这个资源。

3.我的白话理解

URI就是一种资源定位机制，它是比较笼统地定位了资源，并不局限于客户端和服务器，而URL就定位了网上的一切资源，只要是网上的资源，都有唯一的URL.

用户访问浏览器的完整过程

1、客户端在浏览器中输入要访问的域名地址，如：www.baidu.com

2、浏览器请求解析DNS服务器，把域名www.baidu.com转换成web服务器的IP地址。

1）系统首先会查找本地的DNS缓存和hosts文件信息，确认其中是否有与域名www.baidu.com所对应的IP地址。如果有，就直接访问这个IP地址所对应的www.baidu.com域名服务器。

4）LDNS服务器获取到顶级域.com对应的DNS服务器地址后，就会去.com服务器请求对www.baidu.com域名的解析。在顶级域名服务器也不会有www.baidu.com的解析记录的。但是它有www.baidu.com的父级域名，即baidu.com。因此顶级域名.com服务器又会把baidu.com所对应的DNS服务器的IP地址返回给LDNS。

6）baidu.com域名DNS服务器会吧www.baidu.com域名所对应的IP地址给解析出来，然后发给LDNS。

7）LDNS把解析出来的结果，www.baudu.com所对应的IP地址发送给客户端的浏览器。并且LDNS也会将其域名和对应的地址缓存到cache中。

8）客户端浏览器收到后，也会将其域名以及对应的IP地址缓存的到DNS缓存和hosts文件中。

3、浏览器从访问的IP地址（URL）解析出默认的断后号：80

4、浏览器通过解析后得到的IP地址和端口号进行web服务器建立一条TCP连接通道。

1）第一次握手：

建立连接时，客户端A发送SYN包（SYN=j）到服务器B，并进入SYN_SEND状态，等待服务器B确认。

2）第二次握手：

服务器B收到SYN包，必须确认客户A的SYN（ACK=j+1），同时自己也发送一个SYN包（SYN=k），即SYN+ACK包，此时服务器B进入SYN_RECV状态。

3）第三次握手：

客户端A收到服务器B的SYN＋ACK包，向服务器B发送确认包ACK（ACK=k+1），此包发送完毕，客户端A和服务器B进入ESTABLISHED状态，完成三次握手。

5、建立TCP连接之后，浏览器向web服务器发送一条HTTP请求报文。

1）请求行

作用：用来说明客户端想要做什么。

内容：包括方法字段GET和URL字段以及HTTP协议版本

2）请求头

作用：通过客户端把请求的相关信息发给服务器

内容：包括媒体类型、语言类型、支持压缩、客户端类型、主机等信息。

3）空行

作用：告诉服务器空行以下内容不属于请求头部信息。

4）请求报文主体

作用：用来说明客户端具体想要做的事情。

内容：查看信息、应用post方法。

6、web服务器响应并读取浏览器的请求信息，然后返回一条HTTP响应报文。

1）状态行

作用：用来说明服务端响应客户端的状态。

内容：包括洗衣及版本号、数字状态码、状态情况

2）响应头

作用：通过服务端把响应的相关信息给客户端

内容：包括Location、server、connect、vary等

3）空行

作用：告诉客户端空行以下内容不属于响应头部信息。

4）响应报文主体

作用：用来装载着要返回给客户端的数据

内容：包括文本、html、视频或者是图片。

7、web服务器关闭HTTP连接，关闭TCP连接，web服务器显示访问的网站内容到屏幕上。

1）第一次挥手：

客户端A发送一个FIN，用来关闭客户A到服务器B的数据传送。

2）第二次挥手：

服务器B收到这个FIN，它发回一个ACK，确认序号为收到的序号加1。和SYN一样，一个FIN将占用一个序号。

3）第三次挥手：

服务器B关闭与客户端A的连接，发送一个FIN给客户端A。

4）第四次挥手：

客户端A发回ACK报文确认，并将确认序号设置为收到序号加1。

大规模网站集群架构细节

常见的网页资源有三种，分别是静态网页，动态网页，伪静态

静态网页就是没有后台数据库，不含php，jsp，asp等程序，不可交互的，开发者编写的是啥，显示的就是啥，不会有任何改变

动态网页，有后台数据库，支持更多的功能，如用户注册，登录，发帖，订单，博客等，动态网页并不独立存在于服务器上的网页文件，而是当用户请求服务器上的动态程序时，服务器解析这些程序，并调用数据库来返回一个完整的网页内容，它跟静态网页的url不同，它的url中包含？、&等特殊符号，搜索引擎收录的时候存在一定的问题。动态网页为了方便收录，常常会利用rewrite技术，把动态网页的URL伪装成静态网页URL，这就是伪静态。

不同的网页资源，打开的流程不一样，下面假设我们访问的是一个静态网站：

客户端会通过http协议，下载服务器上的html文件，然后去读这个html文件，根据html页面中的链接，自上而下的请求，每一个请求是一个链接，如果是图片的话，会下载边渲染，遇到js，就会加载js，当js比较内容较复杂时，浏览器就会等待，鼠标在转圈，我们称这个为js阻塞，当js下载完毕并执行完成之后，才会显示我们看到的网页。

当我们访问的是一个动态网页时，首先用户发出一个请求，服务器收到这个请求之后，这里假设服务器使用的是nginx，nginx会把这个请求转给php，php就会去查询数据库，根据数据库返回的值，生成一个完整的网页内容，发送给用户，用户收到之后，也是边下载边渲染，加载js，执行完毕之后，才会显示我们看到的网页

当服务器的访问量达到亿级PV时，这个访问的过程就更复杂了，用户的请求会先访问全国的CDN节点，通过CDN挡住全国80%的请求，当CDN上没有时，在访问服务器集群，这个集群一般都有一个4层的代理，这个4层的代理，使用软件来完成的话，就是LVS，使用硬件就是F5，4层的代理，后面才是7层的负载均衡，常用的是haproxy,nginx，然后才是多台web服务器，web服务器比较多的时候，就有两个问题，一个是用户数据的一致性，不能因为不同的web服务器提供服务，而导致数据不同步，这时候，我们就需要使用NFS共享存储，第二个问题是session，不能因为不同的web服务器提供服务，session找不到了，这时候，我们就需要使用memcached来存放并共享session。由于用户访问量太大，这时候的瓶颈就是数据库的压力，我们一般都是使用分布式缓存memcache,redis等，另外数据库还需要做读写分离等优化，后面的过程与访问动态网页类似

网站访问流量的度量

IP(独立IP)：即Internet Protocol, 指独立IP数。00:00-24:00内相同IP地址之被计算一次。

PV(访问量)：即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。

UV(独立访客)：即Unique Visitor, 访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次

大流量网站解决访问量问题

1，确认服务器硬件是否支持当前流量，不支持换性能更好的专用服务器

2，优化数据库访问，比如页面静态化，memcache，mysql优化

3，禁止外部盗链（小网站通过盗取一些有实力的大网站的地址，放置在自己网站中，盗取大网站的空间和流量）

4，控制大文件下载，最好独立使用专用服务器

5，使用多台服务器分流，集群

————————————————

原文链接：https://blog.csdn.net/zisefeizhu/article/details/81031862