是誰生成了淘寶直播這個新物種?

是誰生成了淘寶直播這個新物種?

撰文| 雲希

編輯| 猛哥

圖源| 受訪者及網絡

來源| 杭派工程師(ID:hpgcsv)

許知遠,最頑固的“知識分子”,終於走進直播間。

刺蝟公社的一篇文章如此開頭:許知遠的前面站著很多人,比如約翰·斯圖亞特·密爾、伯蘭特·羅素、埃德蒙·威爾遜、沃爾特·李普曼、讓·保爾·薩特等等。不過這次,許知遠前面矗立著一部手機。

2020年後,許知遠的頭銜,或許要加上一個“人氣主播”。

手機裡的一場直播,一個人對著十幾萬人表演,貨幣數字不斷在互聯網空間裡膨脹,幾十萬元、幾百萬元,甚至幾千萬元。

太瘋狂了,是不?

普羅大眾驚歎於薇婭、李佳琦等人氣主播的魔力,可有誰知道,如今已成現象級的淘寶直播在5年前只是一個“可以試試”的項目。

谷歌定義了搜索,蘋果定義了智能手機,淘寶直播重新定義了電商。

無一例外,變革和創新的背後都充滿技術的張力。

在商業進化和社會浪潮的輪番推送下,淘寶直播一次次走進技術的“無人區”。

造基建、建集群,降延時……一次次艱難而孤獨的拓荒,造就了一個“新物種”,並且不可逆地走進新時代。

1

雲棲小鎮的空氣被曬出土壤和芳草的味道。

2015年,阿里雲5k豐碑立成,(5K,阿里雲“飛天”集群正式運營服務器規模達到5000臺),算力開始像水、電和煤氣一樣的存在,普惠人類。

實時視頻通訊成為可能。

淘寶產品經理岱妍動起了一個念頭,想試著把直播搬上淘寶。她當時負責淘寶達人業務,覺得以圖文形式進行商品銷售太過低效,而直播讓這一切都變得簡單。

淘系高級無線開發專家管裕鴻也覺得可以試試。他拉上羅中柱和其他三位同事,成為了最早的技術團隊。

是誰生成了淘寶直播這個新物種?

羅中柱(左)與管裕鴻(右)

但除了阿里雲ECS服務器(無需硬件設施,可根據需要隨時釋放和增加算力)之外,其他直播所需的基礎設施都很弱。

“條件真的太簡陋了”摸排後,管裕鴻驚呆了。

端上推流和播放器SDK都不成熟,互動的消息通道也是剛剛完工,CDN上分發鏈路的節點也不多,導致的結果是延遲長達30s,卡頓、黑屏,無法秒開,還有各種千奇百怪的異常。

願意入駐的達人只有個位數,觀看人數寥寥無幾,直播間最積極的評論都來自開發工程師——

“看得到我的評論嗎?”

“試試看寶貝功能”

“再播一會兒”

……

問題太多,管裕鴻甚至想,實在不行就算了。

2

磕磕絆絆地走到2015年底,第一版淘寶直播上線,它被安排在手機淘寶尾部,在一堆五光十色的欄目中毫不起眼。

功能頗為單一,用戶只能看直播、點贊、評論和打開寶貝口袋,卡頓和長延時依然嚴峻。

是誰生成了淘寶直播這個新物種?

早期的淘寶直播

“常常半夜起來解bug。”淘系無線開發專家羅中柱說,當時安卓和iOS端口各自只有一人維護。

沒有多少人看好這個項目,甚至連他們自己都不是很有信心。

羅中柱找到群聊團隊商討用戶容量時,對方不假思索,“你不用考慮那麼多,肯定不到一萬人”。

他想想也是,當時入駐的主播只有二三十人,觀看人數徘徊在幾百。容量做到一萬,綽綽有餘了。

沒承想一天晚上,一個美妝達人的直播間人數突然暴漲。

8000,12000……技術團隊開始興奮,忙不迭地將觀看人數截圖到群裡,最終這個數字停留在兩萬,破了紀錄。

但大家緊接著就開始慌了——系統根本承載不了2萬人同時看直播。新用戶湧入房間的消息一跳出來,直播就開始卡頓,最後畫面直接就不動了。

團隊連夜擴容、補救、解bug,直到畫面恢復,才鬆了口氣。

這場意外終於讓淘寶直播被看見,也徹底暴露了自身的基建短板。

地基不穩,何談高樓?

3

2016年開始,淘寶直播技術團隊聯手阿里雲自造地基。

直播鏈路分為三部分——

上行:錄製-編碼-推流節點-網絡傳輸

阿里雲中心:轉碼,安全服務,審核,錄製存儲等

下行:CDN分發-播放器(解碼播放)

要造地基,從上到下,缺一不可。

首先是推流,作為直播的第一公里,視頻編碼封裝後經過推流節點進入網絡。

推流點若太少,天南地北的視頻都要經過同個站點,卡頓自然不可避免。

阿里雲遂在各個要塞進行部署,連成一張屬於自己的網絡,名為阿里巴巴RTC集群,今已遍佈六大洲。

然後是CDN分發網絡,被稱為直播的最後一公里,視頻流經過CDN推送到用戶端的播放器,跟推流類似,節點越多,分發越快。

2016年雙11前夕,阿里雲建設了大規模的CDN節點。

是誰生成了淘寶直播這個新物種?

阿里雲在全球擁有2800+節點,覆蓋70多個國家和地區。

如果說興建節點靠的是底氣與魄力,那為了降低蘋果端的延時而自行研發播放器,靠的更多是勇氣。

因為適用於蘋果端播放器的HLS視頻傳輸協議會帶來15-30s的延時,工程師們決定藉助一個通用的開源庫,定製自己的播放器。

把開源變為自己的商用,這就像把一個野生兇猛的藏獒馴養成溫順的寵物,要考慮諸多的細節:移動端怎麼樣做裁剪,架構怎樣設計,iOS包大小的控制……每個部分都要精心部署,否則一不小心就要會被這隻藏獒反咬一口。

歷時3個月,自研播放器問世。

當技術團隊正大刀闊斧地造地基時,淘寶直播在業務上卻陷入泥沼。

4

繼O2O領域的“千團大戰”之後,互聯網史上另一場血戰拉開序幕。

2016年初,“千播大戰”硝煙瀰漫,虎牙、YY、陌陌……400多家平臺紛紛發力秀場直播。

“打賞”、“火箭”、“遊艇”……各式秀場詞彙衝破圈層、狂轟亂炸,大平臺的頭部主播一場秀動輒千萬觀眾,某遊戲平臺的主播甚至能吸引了上億流量。

眼看他人宴賓客,星光閃耀,說不羨慕肯定是假的。

淘寶直播肯定要做,但怎麼做?往左是大熱的秀場,往右是冷清的電商,沒人敢下定論。

兩條路都走的結果則是需求滿天飛,焦頭爛額。

開發急了,每個月幾十項新需求,這邊還沒完善,那邊又來新的,於是和產品吵:“你們需求太多了,做的都是啥!?”

測試也瘋了,新需求落地要測試,bug頻出,還要求日日清,就跟開發吵:“你bug太多了,寫的都是啥?!”

但秀場直播卻在一片混沌中冒出頭來。大主播入駐,打賞收入一天高達幾十萬。羅中柱為了提升打賞體驗,還特意找淘寶特效團隊做了3D的高跟鞋和海景房。

可不到一個月,秀場直播就被叫停了。

“你們別做歪了。”時任阿里巴巴CEO張勇在一次會上提醒。所謂的歪,包含了太多考慮,就像潘多拉的魔盒,一旦打開,覆水難收。

得知消息的羅中柱頗感委屈,核心代碼是他一行行敲下的,勢頭正好卻戛然而止,但他也明白,“逍遙子(張勇)想通過直播繼續實現‘天下沒有難做的生意’。”

不過,那個時候沒有人相信直播是可以做生意,岱研說。

4月,她寫PPT向時任淘寶副總裁蔣凡彙報,一下子站在主播視角,還原主播心理,一會兒角色轉變,又變成了用戶。

蔣凡聽完後打趣說:“你們拿到天使輪了”。

淘寶直播,最終往右走。

5

美國詩人羅伯特·弗羅斯特說:“林子裡有兩條路,我——選擇了行人稀少的那一條,它改變了我的一生。”

許多許多年以後,淘寶直播技術團隊將輕輕嘆息,敘述這一切。

右邊那條路真不好走。

和秀場和遊戲主播相比,阿里巴巴的這個產品顯得另類且佛系,主打帶貨的知識型主播,也沒有打賞。

這裡的直播沒有過度美顏功能,因為主角是商品,為了讓粉絲“所見即所得”,顏色、質地力求真實,不能扭曲。鏡頭拍攝視角也往醜的方向扭,不採用俯拍壓縮臉型,而是大多采用仰角,犧牲顏值,讓商品好看。

究其根本,產品功能設計上是要為電商服務。

是誰生成了淘寶直播這個新物種?

技術團隊把寶貝編號,在用戶點擊查看寶貝時,小窗口會跟隨,直到進入下一個頁面。發放優惠券的功能也在此時出現。

羅中柱回憶,那時主播講解時身上都會寫上號碼,加上個人魅力,能起到很好的溝通作用。

淘寶直播在這場無人的道路上越走越遠,雖然冷清,但那時日均5萬場的直播中,其中4萬場都是懂商品和吆喝的賣家。

“人家說謝謝哥哥送我大火箭,我們說寶寶們,趕緊下單。”當時場景,岱研記憶尤深。

一名東北主播結束一場四百多人觀看的直播以後,表現得興奮不已,在他眼裡,四百多人放在線下門店,已經是人山人海,“全是買東西的,不是瞎湊熱鬧。”

拼的是專業,不是顏值。平臺算法參數導致的結果是人在鏡頭前,還不如鏡子好看。

“重心還是在電商基礎,直播是產業升級。” 淘寶內容電商事業部總經理玄德說。

6

淘寶直播真正出圈還是因為杭州本土一家電商公司藉助網紅直播帶貨迅速崛起。

2016年,淘寶直播地基還未完善,管裕鴻和運營同事來到現場維護保障。

他擔心推流不穩定,準備了3個各種型號的手機,一個不成功就換另一個。

晚上8點,網紅現身直播,帶粉絲參觀打板房、倉庫、面料室。鏡頭前,她每發出一個鏈接,就有41萬人在點贊、評論、購買;鏡頭後,管裕鴻監控著後臺的各項數據,保證直播沒有卡頓。

直播歷時2小時,除了上下樓網絡有些抖動外,一切都很順利,最終成交接近2000萬。

這個數據在當時刷新了紀錄,以至於在阿里投資者大會上,來自其他國家的投資人都不敢置信,請求翻譯反覆確認。

不過管裕鴻並不意外,網紅本身就有極強的號召力,而直播進一步放大了她的個人魅力。

但淘寶直播的價值,絕不僅是服務網紅,而是讓千千萬萬的賣家擁有屬於自己的粉絲和平臺。

主播要和觀眾互動,讓直播本身成為有趣的內容,用戶才能停留,成為粉絲。

從7月份開始,互動率成為了技術團隊的核心指標。

淘系高級測試開放專家馬俊一直擔任著直播業務的測試保障,他印象很深刻,工位邊上的看板上寫著7、8、9月互動目標,從20%到25%,再到十月份飆升至30%,這意味著,直播間每3個觀眾,就要有一個要跟主播互動。

是誰生成了淘寶直播這個新物種?

馬俊

“太高了,不敢看”。每次經過看板,技術團隊壓力陡增。

沒有前人經驗可參考,沒有數據可佐證,因為他們自己就是前人。

抽獎、紅包、連麥pk,衝榜……各種新互動陸續出爐。

“你也不知道什麼好,只能一個個試”馬俊說。

到了2016年的雙11,淘系資深無線開發專家,直播技術負責人陳舉鋒和馬俊因為一個功能上線與否大吵了一頓。

業務迭代太快,為了確保新需求上線沒有大問題,馬俊會提出一些規則,但研發側的陳舉鋒不願意被束縛,一心想有技術突破。

他覺得新功能上線會助推業務,那些擔心沒有必要,落下狠話“大不了我來扛!”

“你一個人能扛?出了事我也得進來扛!”馬俊簡直要把桌子掀翻,一旦影響系統穩定,誰能扛得了。

最後陳舉鋒妥協了,淘寶直播還太年輕,需要穩紮穩打。

這也讓馬俊意識到,必須要有一套系統的保障體系,來滿足業務的飛速成長。

7

不同於娛樂性直播,電商直播除了要保證觀看體驗外,還要保證互動和下單的流暢。

整條鏈路很長,不同節點之間架構也不一樣,有的用C++,有的用Java,客戶端有安卓和iOS兩套系統,此外還有PC端,不同端口的環節也完全不同。

這意味著,直播一旦出現異常,測試團隊很難及時鎖定修復,例如直播出現黑屏,原因可能在主播本身、CDN傳輸節點,服務器和客戶端抑或是網絡。

隨著直播用戶的爆發,靠傳統方式進行質量監控顯得越發吃力。馬俊萌生一個大膽的想法——通過數據分析做全鏈路排查。

這又是一條沒有人走過的路。

每一天線上直播,鏈路上的每個節點都會上報幾億條數據。同樣是分析卡頓,把每一個環節的數據拿來作相互的關聯度和因果分析,加上本身經驗和算法規則,就能快速鎖定問題所在。

但這對於測試團隊而言是全新的領域,“一開始完全是懵的,大家完全不知道怎麼做。”

馬俊讓組裡兩位成員從零開始攻堅。

“這麼多的客戶端,一天幾億條數據存在哪裡?”

“怎麼分析?”

“今天和明天的數據怎麼理出來?”

“最終怎麼生成報表?”

攻堅小隊的冰心是名孕婦,為了早點啃下數據分析,幾乎廢寢忘食,天天加班到12點。

馬俊慌得不行,到九點就趕人回家,但她嘴上答應,身子還是牢牢釘在椅子上。

冰心堅持到了生產的最後兩天。

半年時間,記不清到底繞了多少彎路,方案推翻又重做了幾次,大家才終於拿出一個靠譜的方案。

如今測試團隊已形成工具建設、鏈路排查、數據分析、媒體質量四大保障方案,宛如定海神針,保障了直播的穩定。

但直播帶來的延時問題卻一直盤亙在大家的心頭。

8

關鍵時刻,阿里雲又頂上去了,誰讓他們是阿里巴巴的技術底座呢。

2018年中,陳舉鋒和阿里雲相關團隊組成一支20人攻堅部隊,準備攻克這個由來已久的行業難題——直播延時。

是誰生成了淘寶直播這個新物種?

陳舉鋒

當時淘寶直播延遲停留在5-7秒。這已是最短的延時。甚至業內都已經默認,視頻直播就是會有7秒左右的延遲。

但這既滿足不了對實時要求極高的連麥需求,也讓用戶體驗卡在了瓶頸。

為了把延時降低到2s內,陳舉鋒孤注一擲,決定做自己的推流協議。沒有先例,誰也不確定這個對業務是否有幫助,甚至有人質疑,這是阿里在炫技。

可淘寶直播自打成立以來,就是在質疑中前進。

陳舉鋒和團隊選擇一個開源框架WebRTC進行改造。但其原本是為一對一通話場景所設計,能力限制較多,比如不支持AAC音頻編碼等。

開發團隊拓寬了WebRTC的能力,同時將其從原本的一對一,做到了百萬級的大規模直播分發。這就像改造一輛老爺車,不僅提高了作為車本身的性能,還接入了機翼,讓其能上天入地。

9

想法很美好,現實很骨感。

新協議ARTP的表現卻讓眾人大跌眼鏡。雖然延時達到驚人的1.2秒,卻讓其他指標惡化、卡頓率和傳統協議相比高了80%。

“完全不能用,你得重做。”馬俊將慘烈的測試結果告訴陳舉鋒。

這位痴迷技術的工程師聽後一言不發,沉默半晌後回頭繼續扎進了研發。

其實問題不在新協議。

原本直播能做到秒開和不卡頓,是因為各個上鍊路(如邊緣節點和播放器)的緩衝能極大地改善公網傳輸不穩定所帶來的問題,而新協議把時延降低至1秒左右,意味著再也無法靠單純地加大緩衝來對抗弱網的抖動。

既要時延低,又要能應對弱網的表現,還要能支持大規模的分發機制,這在技術上實在難以平衡,就像按下葫蘆浮起瓢。

當務之急,只能依賴流控算法。

當視頻被切割成無數個小包傳輸時,網絡時好時壞,有丟包的可能性。流控算法則決定著什麼時候發快一點,什麼時候發慢一點,甚至什麼時候要丟包,以保證畫質、流暢、實時性三者的平衡。

傳統的流控算法已經很難滿足陳舉鋒團隊的要求,於是團隊又開始優化算法。

質疑的聲音從未停過,“延時低能帶來什麼?”“有必要投入這麼大人力物力嗎?”

陳舉鋒自己都有些迷茫,讓大家跟著自己忙活了大半年,到頭來卻沒有結果,值得嗎?

“你要堅持下來。”阿里淘系技術研究員長恭拍拍陳舉鋒的肩膀,“業界沒有人提過不代表這件事就是不合理的。”

但問題從來不給人喘息的時間,優化流控策略後,整個邊緣節點所需的算力一下子上升了70%。

於是團隊又開始裁剪算法,優化編碼、解碼……終於建成一個,既低延時、又能應對弱網抖動,還能把整個算力降到最低的鏈路。

超低延時經過多輪的驗證,確定對成交轉化率有提升,這意味著數億的成交增長。陳舉鋒不敢相信,他請業務團隊再進行反轉性驗證。

經過五個輪次,三個月的AB驗證,這個結論依然不變。

知道結果的那一刻,研發團隊先是沉默,而後爆發出歡呼,所有的投入與堅持終於得到了回報。

10

是騾子是馬得拉出來遛遛。

對於阿里技術人而言,雙11就是最驚心動魄的練武場。

2019年雙11,淘寶直播迎來高光時刻。

那天,主播們竭盡所能地推介琳琅滿目的商品。當晚十點,流量洪峰就以肉眼可見的速度飆升。

數億人湧入直播間,推流節點以最快的速度將視頻流推進網絡。它們在居民樓邊,在道路旁,在曠野中,在荒漠裡,在雪山之巔,甚至在海外。經過一連串指令解析後,視頻到達阿里雲中心,完成一系列轉碼、審核、錄製存儲後,經過幾萬公里的傳輸到達CDN分發網絡和邊緣節點,在播放器中解碼播出。

在不到2秒的時間內,直播鏈路在雲上完成。一切盡在掌握中。

是誰生成了淘寶直播這個新物種?

阿里巴巴核心系統100%上雲,抗住了全球最高流量洪峰。淘寶直播引導了200億的交易,接近雙11總額的10%。

李佳琦和薇婭橫空出世。

淘寶直播肇始的直播帶貨模式一時蔚為大觀,乃至浩浩蕩蕩,不可阻擋。

許知遠到底是走進了薇婭的直播間,吆喝叫賣日曆。

那之前,他精心打磨的《梁啟超傳》剛剛出版。

“如果梁啟超生活在現代生活,他會是一個非常重要的新媒體的締造者,新浪潮的締造者,他也會使用微博或者推特,也會關心世界的圖景,也會批評和改造那些他不滿意的現象。”許知遠想象。

連梁啟超都沒準“下場”直播,許知遠的心理會多一點安慰吧。

11

全民直播時代,豐富了現代文明的底色。

迎頭趕上去!

2020疫情爆發,開學頻頻推遲,釘釘開通線上課堂,在線服務5000萬學生。鮮為人知的是,釘釘的實時通信技術,背後就有淘寶直播團隊的輸出和支撐。

管裕鴻還記得,2016年淘寶直播幫農戶帶貨。他透過直播間看到漁民在海邊打魚,雞在撒著歡奔騰,這種新奇而真實讓他覺得激動。

無論是一呼百應的大V達人,還是粉絲寥寥的素人小白,只要有一部手機,進入直播間,他們就是平等的。他們中有中國最大的公約數,也有小眾的奇數。

縱使那時,電商直播這片土地還是荒煙蔓草,但管裕鴻和羅中柱隱約覺得,這就是未來。

因為相信,所以堅持。

他們走進了無人區,用一行行代碼,敲下了未來。


參考資料:

1.《淘寶直播4年,孤獨行進的造風者 》,中國新聞週刊

2.《“人氣主播”許知遠的低頭與抬頭》,刺蝟公社


分享到:


相關文章: