微信體系不崩的秘密

微信為什么沒(méi)崩過(guò)？

12億中國(guó)人都在運(yùn)用微信，卻很少有人思考過(guò)這個(gè)問(wèn)題。其實(shí)，微信也曾徘徊在接近潰散的邊緣，騰訊根底架構(gòu)部運(yùn)營(yíng)辦理支撐中心總監(jiān)鄒方明現(xiàn)在還記得2014年歲除，人們剛學(xué)會(huì)用微信發(fā)拜年視頻，流量直接爆掉，體系接近崩盤，公司上下所有人的壓力都集中到他一個(gè)人身上，等他做出決議。他說(shuō)，那是他最痛苦的時(shí)間。

直到現(xiàn)在，在微信運(yùn)用量最大的時(shí)間，比方歲除，或是元旦、七夕、中秋，或是情人節(jié)，騰訊團(tuán)隊(duì)也會(huì)提早幾個(gè)月準(zhǔn)備資源。前幾年的頂峰期，擔(dān)任騰訊紅包體系運(yùn)維的肖攀乃至?xí)�拜一下QQ公仔，就像拜佛一樣，求體系不崩。

現(xiàn)在，他們現(xiàn)已堆集了一整套保證體系不崩的辦法論。

騰訊10年保護(hù)微信體系不崩的故事，是一個(gè)從手忙腳亂到心平氣和的成長(zhǎng)故事，是一個(gè)技能體系從無(wú)到有的故事，也是一個(gè)國(guó)民級(jí)用戶產(chǎn)品的技能秘密。騰訊技能團(tuán)隊(duì)向經(jīng)濟(jì)觀察報(bào)敘述了這些故事，他們構(gòu)建的體系，運(yùn)用的技能，在運(yùn)轉(zhuǎn)中堆集的經(jīng)驗(yàn)教訓(xùn)，關(guān)于其他公司，或可提供少許借鑒。

接近崩盤的時(shí)間

一刀切關(guān)閉體系、仍是持續(xù)尋覓縫隙？是鄒方明有必要馬上做出的判別。

他是騰訊的老人，2006年進(jìn)入騰訊，擔(dān)任技能，一手搭建了QQ和微信的聊天圖片、視頻體系。但在2014年歲除微信流量爆發(fā)而接近崩盤的時(shí)間，他仍舊承受不住這種壓力�！绑w系全方位崩盤，流量也爆了，前端的體系就好像洪水一樣的，后端的體系更軟弱，連著倒了三四個(gè)體系和渠道，不但咱們的渠道倒了，底層存儲(chǔ)的其他部門其他體系也倒了�！�

體現(xiàn)在用戶側(cè)的感觸是，用戶在朋友圈把視頻發(fā)出去了，但身邊朋友一個(gè)都沒(méi)看到。

用戶投訴連綿不斷而來(lái)，鄒方明需求馬上做出判別。他可以花更多時(shí)間去查一下到底是什么原因?qū)е�，徹底解決問(wèn)題，或是爽性一刀割下去，先暫時(shí)約束視頻功用�！澳膫�(gè)計(jì)劃可以最快恢復(fù)服務(wù)，我過(guò)后在腦海里模仿了無(wú)數(shù)遍，也想不出哪一個(gè)更快�！�

鄒方明站在機(jī)房前，對(duì)著那臺(tái)顯現(xiàn)崩盤的電腦，身邊的運(yùn)維看著他，手指放在鍵盤上等候指令，老板在辦公室一言不發(fā)，產(chǎn)品團(tuán)隊(duì)需求一個(gè)回復(fù)，公司外數(shù)以億計(jì)的用戶，所有人都在等候著他的指令。

盡管只需十幾分鐘，但每一秒都是折磨。

鄒方明終究決議一刀切。至少切斷后，再次恢復(fù)，能給到用戶持續(xù)運(yùn)用的可能性。不然，不知道要排查多久才干真實(shí)找出問(wèn)題。直到現(xiàn)在，他也不能說(shuō)自己的選擇是最正確的，但那是最快解決問(wèn)題的選擇。

微信誕生早期，上面的時(shí)間時(shí)有產(chǎn)生。2015年，微信紅包贊助春晚，歲除當(dāng)天紅包量級(jí)從10萬(wàn)級(jí)提升到10億級(jí)，擔(dān)任運(yùn)維的肖攀，買了個(gè)QQ公仔，插上兩根香，每逢覺(jué)得心里不保險(xiǎn)，就去公仔前拜一拜，懇求千萬(wàn)不要出事。

微信后期，一套老練的安穩(wěn)體系現(xiàn)已構(gòu)成，仍舊有不可預(yù)料的工作產(chǎn)生。2020年2月，騰訊會(huì)議在一個(gè)月時(shí)間添加1000倍，騰訊云副總裁、騰訊根底架構(gòu)部總經(jīng)理肖志立也遇到了難題，他的難題不是技能原因，而是物力資源跟不上。

其時(shí)，由于疫情，運(yùn)營(yíng)商的BGP帶寬滿意不了、外網(wǎng)IP地址滿意不了，并且，由于設(shè)備供貨商無(wú)法復(fù)工，設(shè)備也供給不了。

肖志立給聯(lián)想打電話，問(wèn)詢能不能給倉(cāng)庫(kù)供1萬(wàn)臺(tái)機(jī)器，對(duì)方說(shuō)不好意思，員工都回家了，疫情期間沒(méi)有辦法回來(lái)。

直到最后，新機(jī)器也沒(méi)有送到。終究，仍是只能死磕技能，經(jīng)過(guò)軟件的優(yōu)化，把之前一個(gè)單元支撐100路的技能，提升到支撐200路，才解決了物理資源缺乏的難題。

一個(gè)從無(wú)到有的體系

12億用戶感知到的，是每天都在運(yùn)用的微信這個(gè)產(chǎn)品。他們感知不到的地方，微信背面僅技能渠道就包括圖片渠道、音視頻傳輸渠道、紅包體系、小視頻渠道等等，這些渠道接入騰訊內(nèi)部超越90%的事務(wù)。

渠道組合在一同，構(gòu)成巨大的體系，基本能解決已知與未知的問(wèn)題。這些渠道的構(gòu)成，不是一蹴而就的，而是閱歷了綿長(zhǎng)的進(jìn)程。

圖片體系歷史最悠久，早在2006年的QQ年代就開始運(yùn)用。當(dāng)年，QQ用戶突破1000萬(wàn)，上線了QQ空間相冊(cè)，產(chǎn)品很受歡迎，但關(guān)于技能團(tuán)隊(duì)來(lái)說(shuō)，一個(gè)首要面對(duì)的問(wèn)題便是：撐不住了。存儲(chǔ)計(jì)劃也好，流量計(jì)劃也好，索引計(jì)劃也好，都支撐不了用戶訴求�！罢麄�(gè)底層存儲(chǔ)都現(xiàn)已瘋掉了，”鄒方明來(lái)到這個(gè)部門時(shí)，恰好閱歷了這樣的年代。一些公司在近幾年贊助春晚或遇到突發(fā)事情時(shí)，忽然發(fā)現(xiàn)的問(wèn)題，騰訊在十幾年前也遇到過(guò)�，F(xiàn)在微信、QQ體系的安穩(wěn)，是當(dāng)年吃虧后堆集的經(jīng)驗(yàn)教訓(xùn)。

用戶對(duì)圖片的訴求，延伸出了騰訊第一代存儲(chǔ)體系，衍生了TFS，之后有了相冊(cè)體系，不過(guò)，其時(shí)，他們還沒(méi)有想到做技能渠道。

不久，新矛盾爆發(fā)。QQ農(nóng)場(chǎng)火爆后，每個(gè)用戶都有許多頭像，但原有的相冊(cè)體系支撐不了圖畫高IO（輸入輸出）。這種情況下，鄒方明把相冊(cè)體系做了簡(jiǎn)略的分支，就叫頭像體系。

頭像體系和相冊(cè)體系，都是圖片，應(yīng)該分開仍是交融？?jī)?nèi)部其時(shí)有些焦灼，經(jīng)過(guò)很長(zhǎng)的PK，他們覺(jué)得，仍是應(yīng)該交融到一同。交融之后，騰訊有了第一個(gè)技能渠道，圖片渠道。

相關(guān)于之前各自別離的體系，渠道的優(yōu)勢(shì)在于本錢。騰訊其他團(tuán)隊(duì)也在做圖片服務(wù)，他們發(fā)現(xiàn)，花了這么多年研制精力，還不如接入到圖片渠道中，把研制團(tuán)隊(duì)的出產(chǎn)力解放出來(lái)。

騰訊的其他渠道隨后逐漸誕生。

2016年，視頻渠道誕生。2019年，音視頻傳輸渠道構(gòu)成。期間還有紅包體系、文件體系、網(wǎng)盤體系，用戶最核心的幾個(gè)場(chǎng)景渠道，都由根底架構(gòu)部搭建完結(jié)。

長(zhǎng)期以來(lái)，騰訊在互聯(lián)網(wǎng)公司中都以產(chǎn)品力著稱，產(chǎn)品的背面，是技能渠道的助力。

上一年火爆的視頻號(hào)便是一個(gè)典型案例，一年時(shí)間，視頻號(hào)推出了一系列功用，產(chǎn)品人員提出功用需求后，技能人員第二天或者是第三天就能拿出計(jì)劃，這離不開渠道的服務(wù)和支撐。“產(chǎn)品有主意時(shí)，研制人員可以很快速做出一個(gè)模型，趕快做迭代和嘗試。”鄒方明解說(shuō)，“可以在60分的根底上去做加法，產(chǎn)品技能團(tuán)隊(duì)可以把視角放在用戶喜歡玩的玩法上面，放在終端體會(huì)的細(xì)節(jié)上面去，然后從整個(gè)研制的長(zhǎng)周期中掙脫出來(lái)�！�

微信誕生10年，背面的體系也有所不同。2016年之前，體系處于功能缺乏階段，其時(shí)出現(xiàn)問(wèn)題，無(wú)論是縫隙或是代碼問(wèn)題，事情爆發(fā)的根本原因是，體系才能缺乏導(dǎo)致的毛病。

2016年之后，體系升級(jí)，此后再有熱門，或是再有忽然事情，關(guān)于技能來(lái)說(shuō)，就僅僅量級(jí)提高了，都在體系可以支撐的范圍內(nèi)。

在云年代，體系的支撐才能又有了添加。QQ于2020年徹底上云，整體都在云端。微信花了3年時(shí)間上云，本年會(huì)全部上云。上云的優(yōu)點(diǎn)是，如果有突發(fā)情況要從其他的事務(wù)騰挪資源，速度快許多。“不然咱們就得先把設(shè)備從A事務(wù)上下來(lái)，再添加到B事務(wù)去，再做測(cè)驗(yàn)驗(yàn)證，這樣時(shí)間就長(zhǎng)許多。”

微信10年，體系的根底建設(shè)主要朝著兩個(gè)主要的方針在做。“一個(gè)是體系的健康性，比方你的熔斷才能，自我恢復(fù)才能，每年咱們都在找辦法。另一個(gè)方向便是體系單位本錢的承載才能。從字面上去解說(shuō)，由于咱們的資源團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)，都會(huì)給出一個(gè)固定的本錢，這固定的10000臺(tái)設(shè)備，可以支撐100萬(wàn)次懇求，仍是500萬(wàn)次懇求，是每年都在持續(xù)優(yōu)化和迭代的進(jìn)程。咱們會(huì)發(fā)現(xiàn)，只需你的承載才能強(qiáng)了，就可以把每個(gè)危殆時(shí)間變成不危殆�！编u方明說(shuō)。

產(chǎn)品不崩的辦法論

不過(guò)，即便有了體系，也不能徹底保證不崩。特別關(guān)于一款12億人運(yùn)用的社交產(chǎn)品，任何時(shí)間都有不可控性。

直到現(xiàn)在，騰訊技能團(tuán)隊(duì)也不敢打包票說(shuō)體系徹底可控�！巴蒲菀彩撬悴贿^(guò)來(lái)的，總會(huì)算錯(cuò)的。比方說(shuō)零點(diǎn)全國(guó)發(fā)紅包的人到底有多少？公司發(fā)紅包的量到底有多少？這個(gè)東西說(shuō)實(shí)話不是那么好估了，這個(gè)時(shí)分咱們就會(huì)想，有沒(méi)有保底的大招，來(lái)使得這個(gè)訪問(wèn)量操控在體系可接受的范圍之內(nèi)，這是非常重要的保底辦法�！毙ぶ玖⒄f(shuō)。

崩盤之前，技能部門會(huì)提早預(yù)演，策劃好“劇本”，“劇本”是一種柔性操控，也可以統(tǒng)稱為降級(jí)。微信用戶有時(shí)在頂峰期會(huì)覺(jué)得微信消息有推遲，或是朋友圈視頻分辨率下降，便是一種降級(jí)。

當(dāng)體系遭遇了遠(yuǎn)超預(yù)估的訪問(wèn)量，就要降級(jí)，比方朋友圈視頻平常一個(gè)視頻大約2兆，但頂峰時(shí)間可以先砍一刀，把2兆砍成1兆，讓更多的人有視頻可以看。

在不可預(yù)判的事務(wù)場(chǎng)景，他們基本上都會(huì)以這種辦法去應(yīng)對(duì)。“高突發(fā)的時(shí)分，用戶不會(huì)用得那么爽，但能讓90%用戶覺(jué)得滿意，不至于說(shuō)忽然量超越預(yù)期了，然后就馬上不行了”。

肖志立告訴記者，騰訊一向有一個(gè)海量之道的技能辦法。在突發(fā)比較高時(shí)，一向有一個(gè)漏斗模型，“第一層先去頂住絕大部分的懇求，把符合要求的再往基層漏，再往基層交易最重的體系。這樣能保證承當(dāng)?shù)膽┣笫钦鎸?shí)需求的懇求，而不是把前面所有的懇求都打到后邊去。”

這個(gè)技能辦法論被視為騰訊的保底大招，多年來(lái)屢試不爽。

現(xiàn)在只道是尋常

2021年春節(jié)，騰訊根底架構(gòu)部在一片吉祥中度過(guò)。歲除5點(diǎn)半，肖志立把其時(shí)留守的幾十個(gè)兄弟拉到辦公室對(duì)面的一個(gè)餐廳聚餐，吃到6點(diǎn)半，回來(lái)守著機(jī)器一同度過(guò)了歲除夜。

全程沒(méi)有任何驚險(xiǎn)時(shí)間，無(wú)驚無(wú)喜。

肖志立仍舊全程盯著。他每年春節(jié)前后都在，春節(jié)是最考驗(yàn)微信的時(shí)間，在他們技能內(nèi)部看來(lái)，平常吹什么牛，都不如扛過(guò)春晚的流量來(lái)的實(shí)在。“每次我也在想，我也不去敲代碼，也不去做指令，為什么我要在？我可以感覺(jué)到便是崩盤了之后，大家都指著我去做‘要人命’的決議，出了毛病我才有價(jià)值，沒(méi)出毛病我就像一個(gè)閑人。”鄒方明現(xiàn)已記不清自己守過(guò)了多少個(gè)春晚，僅僅覺(jué)得很感慨。

在根底架構(gòu)師的職業(yè)生涯里，非常重要的一點(diǎn)，便是在要害時(shí)間做出要害決策。

2018年之后，微信很少再有要害時(shí)間。這一年，微信紅包的用戶量基本上接近于微信的用戶量，之后的添加基本上現(xiàn)已平穩(wěn)。

肖攀最近兩年也沒(méi)有再拜過(guò)QQ公仔了，“都比較有信心�！�

現(xiàn)在的體系，現(xiàn)已不再需求大的變動(dòng)。并且多年春節(jié)經(jīng)驗(yàn)后，團(tuán)隊(duì)值勤的手段和戰(zhàn)略都是現(xiàn)已完備和老練的，還可以提早預(yù)判事情。比方本年，他們猜測(cè)云年夜飯會(huì)提早導(dǎo)致一個(gè)小頂峰，公然，當(dāng)晚7點(diǎn)的流量是往年5倍，由于現(xiàn)已提早猜測(cè)，本年也平穩(wěn)度過(guò)。

關(guān)于現(xiàn)在的騰訊技能團(tuán)隊(duì)，不再有驚心動(dòng)魄的故事產(chǎn)生。

架構(gòu)師的經(jīng)驗(yàn)教訓(xùn)

微信建立10年，騰訊技能團(tuán)隊(duì)也跟著走了10年，他們閱歷高壓，閱歷潰散，閱歷焦慮，到現(xiàn)在視為尋常，一路走來(lái)，他們見(jiàn)證微信用戶從0漲到12億用戶，與有榮焉�！白黾寄苤�撐的團(tuán)隊(duì)，一定要有一個(gè)好的心態(tài)，便是你不在聚光燈下，可是咱們心里邊知道今天在臺(tái)上的產(chǎn)品那么成功，跟咱們是有很大關(guān)系的，自己的內(nèi)心要足夠強(qiáng)壯，要相信這一點(diǎn)�！�

他們也探索出了足夠多和事務(wù)部門交流的辦法。鄒方明經(jīng)常給團(tuán)隊(duì)灌輸?shù)睦砟钍�，除非你有確鑿的依據(jù)能證明你是對(duì)的，不然你就先聽(tīng)事務(wù)部門的。

現(xiàn)在，微信背面的技能體系現(xiàn)已接近完善，“沒(méi)有特別明顯的缺點(diǎn)和短板。”肖志立對(duì)此很自信。

不過(guò)，技能團(tuán)隊(duì)仍舊存在焦慮感。其實(shí)，騰訊這支技能團(tuán)隊(duì)一向很安穩(wěn)，騰訊內(nèi)部架構(gòu)幾經(jīng)大動(dòng)，技能部門一向沒(méi)變。他們閱歷了文字互聯(lián)網(wǎng)年代、圖片互聯(lián)網(wǎng)年代，到了視頻互聯(lián)網(wǎng)年代，再到現(xiàn)在的實(shí)時(shí)音視頻互聯(lián)網(wǎng)年代，技能一向在演進(jìn)，內(nèi)容越來(lái)越豐富，實(shí)時(shí)性越來(lái)越強(qiáng)。這關(guān)于背面體系承載才能的要求，關(guān)于安穩(wěn)性、延時(shí)的要求，也要比本來(lái)高許多，技能永無(wú)止境，他們也永久等候攻克下一個(gè)難關(guān)。

鄒方明還在持續(xù)學(xué)習(xí)中。他經(jīng)常參加線下活動(dòng)，在一些論壇或峰會(huì)上，奔到現(xiàn)場(chǎng)面對(duì)面和業(yè)界大牛交流取經(jīng)，“咱們不可以關(guān)著門做，你有必要要到外面找一些可學(xué)習(xí)的點(diǎn)，業(yè)界的大牛許多，他們會(huì)有許多比較好的創(chuàng)意和辦法論。”“你永久不知道什么時(shí)分冒出一個(gè)新的東西。”肖志立很感慨，“作為支撐團(tuán)隊(duì)，咱們得有這種氣魄和才能，可以在彈藥不行的情況下支撐事務(wù)團(tuán)隊(duì)打勝仗�！�