浅谈网络 | HTTPDNS协议与CDN

HTTPDNS

传统 DNS 存在的标题

• 域名缓存标题
  DNS 当地缓存固然进步了查询速率，但如果缓存没有实时更新，大概会导致用户访问过期的地点或页面。比方，用户大概被导向已搬迁的饭店或过期的页面。另一方面，当地缓存还大概导致负载平衡失效，返回的地点大概不在用户近来的地理位置，从而增长相应时间。
  
• 域名转发标题
  在某些环境下，DNS 哀求被转发到其他运营商的 DNS 服务器，这会导致访问速率变慢。比方，如果 A 运营商将哀求转发给 B 运营商，权势巨子 DNS 服务器会返回 B 运营商的地点，导致跨运营商访问，从而低落速率。
  
• 出口 NAT 标题
  出口 NAT 会改变哀求的源 IP 地点，使得权势巨子 DNS 服务器无法精确判断哀求泉源的运营商。由于误判，大概会导致跨运营商访问，从而影响访问速率和稳固性。
  
• 域名更新标题
  差别地区和运营商的 DNS 服务器大概会有差别的缓存战略。某些 DNS 服务器大概忽略 TTL 限定，导致域名剖析更新较慢。这在须要快速切换 DNS 记载的环境下，大概会导致用户访问非常。
  
• 剖析延长标题
  DNS 查询须要递归遍历多个 DNS 服务器才气得到终极剖析结果，这大概导致肯定的延长，乃至超时，影响用户体验。
  

HTTPDNS 的工作模式

在传统的 DNS 剖析中，固然我们通常依靠 DNS 服务器来获取域名对应的 IP 地点，但它也存在一些标题，如性能瓶颈、安全隐患以及对网络环境的依靠等。如果碰到无法访问 DNS 服务器或出现 DNS 污染等标题，是否就只能退回直接利用 IP 地点呢？显然，直接用 IP 地点并不是一个可行的办理方案。于是，HTTPDNS应运而生。
HTTPDNS的工作原理是：它绕过传统的 DNS 剖析方式，利用基于 HTTP 协议的自建 DNS 服务器集群举行域名剖析。这个服务器集群通常分布在多个地点、多个运营商网络上，可以或许根据客户端的哀求动态返回最优的剖析结果。简而言之，HTTPDNS 通过 HTTP 协议提供 DNS 服务，而不是依靠传统的 DNS 查询机制。
与传统的 DNS 剖析差别，HTTPDNS 自建并管理域名剖析服务，相当于每个服务商或应用根据自己的需求，搭建一个专属的 “地点簿”，不再依靠同一的 DNS 剖析服务。由于默认的域名剖析依然是走 DNS 的，因此，客户端必须绕过默认的 DNS 剖析路径才气利用 HTTPDNS。这通常意味着，利用 HTTPDNS 的应用须要在客户端嵌入专门的 SDK 来支持 HTTP 协议的域名剖析。
利用 HTTPDNS 就像是从依靠传统的 DNS “导游” 转向自主的自由行，客户端通过自己的 HTTPDNS 服务器直接查询域名信息，制止了传统 DNS 大概带来的瓶颈和不稳固性，提升了服从和机动性。如许，用户就能实现更高效、更安全的上网体验，不必依靠那些偶尔不太专业的 DNS 服务。
HTTPDNS 的工作模式:
HTTPDNS 的工作方式通过客户端 SDK 动态哀求服务器获取 HTTPDNS 服务器的 IP 列表，并将其缓存到当地。随着域名剖析的不绝举行，SDK 会在当地缓存 DNS 查询结果，优化后续哀求的速率和稳固性。
当手机应用须要访问某个地点时，起首会查抄当地是否有缓存。如果缓存存在，则直接返回剖析结果。与传统 DNS 的缓存差别，这里的缓存是由手机应用自己管理的，而不是由运营商同一控制。缓存的更新和逾期机制可以根据客户端与服务器的协商来决定，机动性更高。
如果当地缓存没有目标域名的剖析结果，客户端会哀求 HTTPDNS 服务器。在哀求时，SDK 会从当地缓存的 HTTPDNS 服务器 IP 列表中选择一个，发送 HTTP 哀求获取目标域名的 IP 列表。哀求格式雷同于：

1. curl http://106.2.xxx.xxx/d?dn=c.m.163.com

复制代码

返回结果通常包罗如下信息：

1. {
2.   "dns": [{
3.     "host": "c.m.163.com",
4.     "ips": ["223.252.199.12"],
5.     "ttl": 300,
6.     "http2": 0
7.   }],
8.   "client": {
9.     "ip": "106.2.81.50",
10.     "line": 269692944
11.   }
12. }

复制代码

通过 HTTP 通讯，HTTPDNS 服务器可以或许精确得到客户端地点的运营商及其网络信息，从而实现精确的全局负载平衡。纵然 HTTPDNS 服务器不可用，客户端也可以回退到传统的 LocalDNS 举行剖析，包管即便在网络不稳固的环境下仍能提供服务。

HTTPDNS 紧张办理了两个关键标题：

• 剖析速率与更新速率的平衡
  如安在包管较低延长的同时，又能根据网络环境的厘革实时更新剖析结果？
  办理方案：通过智能缓存和 TTL（生存时间）机制，客户端可以平衡剖析速率与更新频率。
  
• 智能调理标题
  怎样根据客户端的实际环境（如运营商、地理位置等）举行智能调理，确保剖析结果的高效与精确？
  办理方案：通过基于 HTTP 协议的哀求方式，HTTPDNS 服务器可以或许根据客户端的 IP 地点、运营商线路等信息举行精准的负载平衡和调理，确保返回最符合的剖析结果。
  

HTTPDNS 的缓存筹划

剖析 DNS 过程复杂，通讯次数多，对剖析速率造成很大影响。为了加快剖析，因而有了缓存，但这也带来了缓存更新速率不实时的标题。最关键的是，这两个方面都把握在当地 DNS 服务器手中，客户端无法控制，只醒目发急。
HTTPDNS 则将剖析速率和更新速率完全掌控在自己手中。起首，剖析过程无需通过当地 DNS 服务递归调用，而是通过一个 HTTP 哀求直接完成，且当须要实时更新时，可以立即见效；其次，为了进步剖析速率，客户端也会维护当地缓存，缓存的逾期时间和更新时间都可以自主控制。
缓存筹划盘算
HTTPDNS 的缓存筹划盘算雷同于常见的应用架构中的缓存筹划模式，分为客户端、缓存和数据源三层：

• 客户端：手机应用端。
  
• 缓存：当地 DNS 缓存。
  
• 数据源：HTTPDNS 服务器。
  

全部缓存模式都面对缓存逾期、更新、不同等的标题，办理思绪也相似。
缓存实现机制

• 缓存恒久化：
  
  
  
  • 比方，DNS 缓存在内存中，也可以恒久化到存储上，如许当 APP 重启时，可以敏捷从存储中加载之前常访问网站的剖析结果，无需每次都重新剖析。雷同于 Redis 作为内存缓存，也提供恒久化本领，确保在重启或主备切换时数据不会丢失。
    
  
  
• 缓存逾期与更新：
  
  
  
  • SDK 中的缓存会严酷按照逾期时间来更新，如果缓存未掷中或已逾期，且客户端不允许利用逾期记载，则会发起一次剖析，确保获取最新数据。
    
    
    
    
  
  

同步与异步更新

• 同步更新：
  
  
  
  • 同步更新的长处是实时性好，但缺点是当多个哀求同时发现缓存逾期时，大概会多次哀求 HTTPDNS，这会造成不须要的负担。
    
  • 同步更新对应的是应用架构中的 Cache-Aside 机制，即先读取缓存，若缓存未掷中则查询数据库，并将结果写入缓存。
    
  
  
  
  
• 异步更新：
  
  
  
  • 异步更新的长处在于能将多个哀求的逾期环境归并为一次 HTTPDNS 哀求，镌汰 HTTPDNS 负载。同时，可以在缓存即将逾期时提前加载数据，防止逾期后再更新，这种机制称为 预加载。
    
  • 异步更新的缺点是当客户端哀求逾期数据时，如果允许利用逾期数据，就会有肯定风险。如果逾期数据仍然可用，则没标题；如果不可用，则会失败，必须比及缓存更新后才气重新哀求。
    
  • 异步更新对应的是应用架构中的 Refresh-Ahead 机制，即仅访问缓存，缓存逾期后定期革新。
    
    
    
    
  
  

应用实例
在闻名的缓存体系 Guava Cache 中，存在一个 RefreshAfterWrite 机制，对于并发访问未掷中的缓存，可以通过确保只有一个哀求触发回源来镌汰压力。在应用缓存架构中，也经常利用数据预热或预加载机制来优化缓存管理。
HTTPDNS 的调理筹划

由于客户端嵌入了 SDK，HTTPDNS 可以或许直接获取客户端的地理位置、运营商信息、网络环境等，制止了当地 DNS 剖析过程中大概出现的缓存、转发和 NAT 等标题，从而包管了客户端的位置信息精确无误，可以或许得到权势巨子的 DNS 剖析结果。
客户端信息网络
客户端可以或许知道手机地点的国家、运营商、地点省份，乃至是具体的都会。通过这些信息，HTTPDNS 服务器可以根据地理位置及运营商等信息选择最优的服务节点。
综合调理与负载平衡
在有多个可用节点的环境下，HTTPDNS 不但思量地理位置，还会根据以下因素综合调理：

• 错误率
  
• 哀求时间
  
• 服务器压力
  
• 网络状态
  

当某个节点宕机或其性能降落时，HTTPDNS 可以敏捷切换到性能更好的节点，以确保稳固性和高效性。
网络哀求质量数据收罗
为了实现智能调理，客户端 SDK 会网络网络哀求的质量数据，如错误率、哀求相应时间等。这些数据会被发送到统计背景举行分析和聚合，以评估差别 IP 地点的服务质量。
服务质量优先级与调理战略
在服务端，应用可以通过 HTTPDNS 的管理接口来设置差别服务的质量优先级和权重。HTTPDNS 服务器会根据这些战略，团结客户端的地理位置和线路状态，盘算出最优的 IP 排序。优先访问时延低、质量高的 IP 地点。
缓存与调理同等性
HTTPDNS 返回的剖析结果会被缓存在客户端，然而，为了制止缓存导致调理失真，客户端会根据差别的网络环境（如差别的移动运营商或 Wi-Fi SSID）维度化缓存。差别的运营商或 Wi-Fi 网络下，客户端剖析出的 DNS 结果大概差别，因此通过区分网络环境举行缓存，可以或许保持更精确的调理结果。
CDN

上文，我们看到了网站的一样平常访问模式。
当一个用户想访问一个网站时，起首输入该网站的域名，DNS 会将这个域名剖析为对应的地点，然后用户哀求该地点并返回网页。这就像你要购买商品时，起首须要查找市肆位置，然后去市肆挑选商品，末了带着商品回家。
是否可以优化这个过程？
比方，当你在电商网站下单购买商品时，这个商品肯定要从电商总部的中心堆栈发出吗？已往，通常每一单都由总部的中心堆栈举行配送，大概会导致配送速率较慢，用户须要等候较长时间才气收到商品。但是，电商平台徐徐优化了物流体系，在天下范围内创建了多个堆栈，而不但仅依靠总部堆栈。
电商网站根据统计分析，知道哪些商品在北京、上海、广州、深圳、杭州等大都会的贩卖量较高，因此会在这些都会的堆栈中提前备货。客户下单时，就能从隔断近来的堆栈发货，从而紧缩配送时间，提升用户体验。
固然，生鲜类商品由于保质期标题，电商网站须要进一步优化库存管理，制止库存积存。
CDN 的分发体系的架构

网站访问优化：就近访问
这一优化思绪也同样实用于网站访问。环球有很多数据中心，无论你身处何地，险些都可以找到靠近你的数据中心。那么，是否可以在这些数据中心摆设缓存集群来存储常用数据，让用户可以或许从就近的数据中心获取信息呢？
答案是肯定的。这些分布在各地的数据中心节点，通常被称为边沿节点。由于边沿节点的规模较小，它们只能缓存部门常用数据，大概存在缓存不掷中的环境。为了进步缓存掷中率，体系会通过更大的地区节点来存储更多数据。
如果在地区节点仍然无法掷中，体系会进一步向更大的中心节点哀求数据，直到终极访问源站。
这种架构便是CDN-内容分发网络的工作原理。CDN 的缓存体系分为多个层级，层层递进，旨在镌汰对源站的访问，并进步数据访问速率和可靠性。
以电商物流为例
就像电商物流体系在差别地区设立多个堆栈一样，CDN 通过多个节点层级优化用户访问路径，以最优的方式将数据交付给用户。每一层级的节点都负担差别的缓存使命，从边沿节点到中心节点，终极优化了整个数据获取的过程。

客户端与边沿节点访问

传统 DNS 剖析流程
在没有 CDN 的环境下，客户端在欣赏器中输入 www.web.com 这个域名时，流程如下：

• 当地 DNS 剖析：客户端向当地 DNS 服务器发送哀求。
  
  
  
  • 如果当地 DNS 服务器有缓存，会直接返回网站的 IP 地点。
    
  • 如果没有缓存，DNS 服务器会递归查询到该网站的权势巨子 DNS 服务器，权势巨子 DNS 服务器会返回网站的 IP 地点。
    
  
  
• 客户端访问：客户端吸收到 IP 地点后，直接访问该 IP 地点，从而访问到网站。
  

CDN 参与后的厘革
有了 CDN 后，流程发生了厘革：

• DNS 剖析被重定向：在 web.com 的权势巨子 DNS 服务器上，会设置一个 CNAME 别名，指向 CDN 的域名 www.web.cdn.com。这意味着用户访问的是 CDN 而非直接访问源站。
  
• 当地 DNS 剖析 CNAME：当地 DNS 服务器会收到 www.web.cdn.com 的 CNAME 记载，接着会剖析这个新域名，去哀求 CDN 的权势巨子 DNS 服务器。
  
• CDN 权势巨子 DNS 服务器：CDN 的权势巨子 DNS 服务器会返回指向 CDN 全局负载平衡器的 CNAME 记载。此时，DNS 哀求已经指向了 CDN 的全局负载平衡器。
  
• 全局负载平衡：当地 DNS 服务器会进一步哀求 CDN 的全局负载平衡器，后者根据以下几个因向来选择最佳的边沿节点：
  
  
  
  • 用户 IP 地点：判断哪个服务器离用户近来。
    
  • 运营商信息：选择同一运营商的服务器，以镌汰跨运营商的网络延长。
    
  • 内容名称：根据 URL 中携带的内容名称，判断哪些边沿服务器缓存了该内容。
    
  • 负载环境：查询各个服务器的负载环境，选择负载较低的服务器。
    
  
  
• 返回缓存服务器 IP 地点：全局负载平衡器根据综合分析返回一个符合的边沿缓存服务器的 IP 地点。
  
• 客户端访问边沿节点：当地 DNS 服务器缓存该 IP 地点，并将其返回给客户端，客户端访问该边沿节点。
  
• 缓存相应用户哀求：边沿缓存服务器查抄是否包罗用户哀求的资源。如果缓存掷中，直接相应用户哀求；如果没有掷中，边沿缓存服务器会向上级缓存哀求数据，直到源服务器拉取数据。
  
  
  
  

CDN 缓存内容范例与优化战略

CDN 通过缓存和负载平衡机制有效进步了访问速率和用户体验。每个 CDN 节点都会根据内容的缓存战略和当前的网络状态，决定是否直接相应客户端的哀求，大概向上级服务器哀求数据。整个过程通过 DNS 和负载平衡的智能调理，使得客户端可以或许快速、稳固地获取所需内容。

CDN 可以或许缓存的内容有很多种，具体分为静态内容、流媒体、动态内容等。每种范例的内容都有差别的缓存战略和优化方法。
静态内容的缓存

• 长保质期的日用品：雷同于电商中的静态页面、图片等，这些内容厘革较少，因此得当长时间缓存。
  
  
  
  • 接入层缓存：在数据中心的接入层，我们渴望通过外层缓存将大部门静态资源的哀求拦截在边沿节点，以镌汰源站的负担。
    
  • CDN 缓存：CDN 将静态资源缓存到隔断用户更近的数据中心，进一步优化了访问性能，低落了时延。
    
  
  

流媒体内容的缓存
流媒体内容的缓存具有一些特殊性，尤其是在视频和音频的处置惩罚上，CDN 接纳了差别的战略。

• 流媒体协议支持：CDN 支持 RTMP 等流媒体协议，这通常涉及到 CDN 作为署理从上一级缓存读取内容并转发给用户。
  
  
  
  • 预先缓存与推送：流媒体数据量大，且具有一连性，因此 CDN 接纳预缓存和主动推送战略。热门流媒体内容会预先推送到边沿节点，以镌汰回源带来的压力。
    
  
  
• 视频处置惩罚：CDN 不但缓存视频内容，还可以对视频举行预处置惩罚，比方：
  
  
  
  • 码流转换：将视频转换为顺应差别网络带宽的多个码率，以满意差别用户的需求。
    
  • 视频分片：对视频举行分片存储，低落存储压力并允许客户端根据网络状态选择差别质量的码流播放。
    
  
  

防盗链机制
流媒体内容的版权掩护至关紧张，特殊是在视频网站和媒体平台中。为了防止内容被非法盗用，CDN 提供了以下防盗链战略：

• Referer 头查抄：通过查抄 HTTP 哀求中的 Referer 字段，服务器可以判断哀求是否来自合法泉源。如果不合法，克制访问或跳转到其他页面。
  
  
  
  • 时间戳防盗链：通过加密字符串和时间戳天生一个署名，天生带有署名的下载链接。该署名用于验证哀求的合法性，防止盗链。
    
  • 署名验证：CDN 服务端会验证哀求中的署名和时间戳，确保哀求未逾期且署名有效，只有合法哀求才气获取内容。
    
  
  

动态内容的缓存战略
与静态内容差别，动态内容（如电商网站的实时数据、库存等）更难缓存。针对这种环境，CDN 提供了两种办理方案：

• 生鲜超市模式（边沿盘算）
  
  
  
  • 动态数据的盘算和存储被分散到边沿节点，如允许以镌汰对源站的依靠。定期从源数据同步内容到边沿节点，并在边沿举行处置惩罚。
    
  • 雷同生鲜食品的烹调模式，边沿节点不但存储数据，还能举行实时盘算，提供动态相应。
    
  
  
• 冷链运输模式（路径优化）
  
  
  
  • 数据仍然在源站天生，但通过 CDN 网络优化数据传输路径。通过选择离源站和用户都较近的边沿节点，确保数据传输更高效。
    
  • TCP 调优：在 CDN 网络中，可以通过调解 TCP 流量控制和拥塞控制参数，进步数据传输服从，镌汰数据丢包，包管更高的吞吐量。
    
  • 多哀求复用毗连：CDN 可以通过复用 TCP 毗连，镌汰创建新毗连的开销，从而低落延长和服务器压力。
    
  • 数据压缩：通过压缩传输数据，进步传输服从，低落带宽斲丧。