zoukankan      html  css  js  c++  java
  • 抖音服务器带宽有多大,才能供上亿人同时刷?今天长见识了。。

    原创:机器人观察

    来源:https://www.wukong.com/question/6579213761666613512/

    抖音,百度,阿里云,腾讯都是自建的数据中心,都是T级别出口带宽(总出口带宽),也就是达到1T=1024G/s的出口带宽,服务器总署基本都在20万台以上,甚至阿里云都超过了100万台。

    字节跳动的数据中心总带宽,可能在10TB级别左右,预期突破15TB级别不远了。

    一般情况下:总出口带宽1TB,实际机房出口带宽可能只有100G上下, 这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到T级别。

    大型数据中心

    想要同一时间有数亿人在线,TB级别带宽,CDN加速和多节点,负载均衡等等技术缺一不可。(这个设计技术过于复杂,有相关专业朋友,可以评论简要概述)

    CDN加速

    字节跳动有多少台服务器?

    根据网络数据整理,2017年2-3万台服务器,这个时候主要是租用服务器为主。2018年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期5万台服务器。二期9万台服务器。

    2018年,租用+自建的服务器数量达到17万台服务器。

    2020年,根据字节跳动招聘公告的数据,显示有42万台服务器。比2018年增长了1.5倍。(数据来自网络)

    一个机柜中10-20台服务器

    这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。

    在美国的TIKTOK是独立出来的运营,数据在美国当地存储和分发。

    2020年TIktok在美国也租用了近10万台服务器

    据Business Insider公布数据,2020年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达53兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。

    Tiktok在印度,新加坡都在投资建设数据中心。

    聊完了服务器数量,那么咱们来点硬核的东西:字节跳动大型的数据中心出口带宽是多少?

    知识点:所谓的出口带宽,其实就是咱们普通人所说的下载带宽。就是服务器给每一个手机分发数据总速度。

    一般情况下,小型的IDC公司自建机房,比如一些网站公司,租用联通,移动,电信的机房,可能总体出口带宽只有5G。超过30G那都是具备一定规模的企业。网络公司营收少说也是几千万的企业。

    所以,经常能够看到,一些规模还不错的企业,基本上都不再自建机房,都是使用云主机。例如阿里云的ECS,腾讯云,百度云,AWS(亚马逊)。

    一般一个企业网站(企业官网),20M带宽,4G内存,100G硬盘, 一年价格也就4000-5000块钱就足够了,赶上做活动价格可能更便宜。

    这里面就是带宽最贵,当然增加带宽,达到一定等级,例如访问量增大,必须要增加内存和硬盘。相比来说,带宽增加的话,费用更贵一些。【这里就跟你说明一下:带宽比较昂贵,属于稀缺资源】

    我们来看中国移动的一个机房:中国移动(河北石家庄)数据中心的数据:

    占地面积174亩,总建筑面积13万平方米,规划10栋单体建筑,全部建成后可提供约3万个机架的装机能力3个IDC机房共可提供3.1万架机柜,15T带宽资源。

    一个机柜,全1U设备部署数量一般不超过16台,全2U设备一般不超过12台,全4U设备一般4到7台。

    我们取高性能的2U和4U服务器进行平均折中,各算一半(毕竟移动也算是有钱的大户,不能买低端的1U设备)。那么3.1万架机柜就可以安装,最多21-36万台服务器。

    这里粗略取一个平均值:30万台服务器。享受15T的出口带宽资源。当然作为电信的干路网,移动拿带宽资源肯定是要比字节跳动更有优势的。

    所以,我们粗略地估计字节跳动自建的17万台服务器的数据中心。总出口带宽可能在7Tb-10TB上下。基本上肯定会采用双出口流量设计,再加上多链路的部署方式:可以做到实际出口带宽在800G-1TG就可以实现10T左右的总出口带宽。【这是技术方式】

    字节跳动2018年河北怀化数据中心

    T级别出口带宽是什么概念,如果我告诉你2009年,整个上海的出口带宽才1140G,也就是刚刚达到1TB。在短短的10年后,一个企业的数据中心的出口带宽就超过1Tb,这个速度真的不可想象。

    要知道2009年,虽然智能手机不发达,但是个人PC销量已经非常庞大了。

    CDN加速,让大众刷抖音,看视频都不在卡

    知识点:CDN(Content Delivery Network,内容分发网络)

    将服务端的内容发布到最接近用户的边缘节点,使用户可以就近取得所需的内容。

    解决Internet网络拥塞状况,提高用户访问网站的响应速度。多种加速的方案集合。

    用通俗的话解释CDN就是:会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发速度快。用户可以在2s内看到内容,体验感更好。【这是静态传输】

    对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。【这就是动态压缩】

    给你们看一下2015年腾讯5亿日活,集合了音乐,即时通讯等等产品的CDN的级别,达到了10TB带宽。每天请求万亿次。

    2015年腾讯CDN的级别

    因此,我这里说字节跳动整体服务器有10TB应该只少不多。毕竟抖音日活有6亿,西瓜视频+今日头条我们粗略算是2亿,总计有8亿的日活。

    就是这么大的带宽和技术实力,才能让我们看视频这么顺畅。

    近期热文推荐:

    1.1,000+ 道 Java面试题及答案整理(2021最新版)

    2.终于靠开源项目弄到 IntelliJ IDEA 激活码了,真香!

    3.阿里 Mock 工具正式开源,干掉市面上所有 Mock 工具!

    4.Spring Cloud 2020.0.0 正式发布,全新颠覆性版本!

    5.《Java开发手册(嵩山版)》最新发布,速速下载!

    觉得不错,别忘了随手点赞+转发哦!

  • 相关阅读:
    1.27
    1.25
    Representation Learning with Contrastive Predictive Coding
    Learning a Similarity Metric Discriminatively, with Application to Face Verification
    噪声对比估计(负样本采样)
    Certified Adversarial Robustness via Randomized Smoothing
    Certified Robustness to Adversarial Examples with Differential Privacy
    Dynamic Routing Between Capsules
    Defending Adversarial Attacks by Correcting logits
    Visualizing Data using t-SNE
  • 原文地址:https://www.cnblogs.com/javastack/p/14940299.html
Copyright © 2011-2022 走看看