海量數(shù)據(jù)處理,匯量科技面臨挑戰(zhàn)

在數(shù)字化飛速發(fā)展的今天,廣告相關(guān)業(yè)務(wù)無時無刻地伴隨著我們左右,但你有沒有想過,各種APP中的廣告管理是什么樣的呢?

在這海量廣告的背后,是巨大的計算量和復(fù)雜的管理程序。我們來看一組數(shù)據(jù),匯量科技主營APP開發(fā)者相關(guān)廣告服務(wù),主要采用程序化廣告交易的方式,當(dāng)用戶上線時,根據(jù)用戶興趣及時推薦廣告主的APP。其客戶包括7000多個APP開發(fā)團隊,覆蓋全球251個國家和地區(qū)的用戶,超過35億活躍設(shè)備。

匯量科技副總裁 奚原

如此海量的業(yè)務(wù),讓匯量科技的運維面臨著巨大的挑戰(zhàn)。據(jù)匯量科技副總裁奚原介紹,要以超低延遲的方式滿足實時預(yù)測和個性化推薦,每天需要通過復(fù)雜的算法預(yù)測處理超過2000億個廣告請求,這一需求的背后,是每天數(shù)十PB的數(shù)據(jù)處理規(guī)模、每小時數(shù)十億個特征規(guī)模的模型訓(xùn)練,這對解決方案的高存儲吞吐量與彈性提出了很高要求。每個廣告請求背后的復(fù)雜算法預(yù)測,其端到端的數(shù)據(jù)延遲要求必須少于50毫秒。

基于以上嚴(yán)苛的要求,匯量科技選擇通過亞馬遜云科技打造自己的大數(shù)據(jù)機器學(xué)習(xí)平臺,輕松應(yīng)對日均10億臺獨立移動設(shè)備在線數(shù)據(jù)請求,高效處理超2000億次線上預(yù)測,使收入和凈利潤得到大幅提升。

系統(tǒng)方面,奚原表示:匯量科技的移動廣告業(yè)務(wù)遍布全球,如何以最快速度響應(yīng)全球各地用戶請求,進行系統(tǒng)的全球化部署,是一個非常大的挑戰(zhàn)。而且,對系統(tǒng)的穩(wěn)定性要求極高,因為流量高峰時常出現(xiàn),瞬間的點擊量會急劇上升,這就要求系統(tǒng)能快速處理,并具備非常好的可擴展性。受益于亞馬遜云科技遍布全球、廣泛深入的服務(wù),匯量科技的系統(tǒng)能夠自如應(yīng)對全球客戶的請求,并且簡化了系統(tǒng)運維的復(fù)雜度、相應(yīng)地降低了運維成本。

技術(shù)轉(zhuǎn)化方面,正如前文所述,匯量科技大規(guī)模使用亞馬遜云科技的低成本算力資源構(gòu)建起了云原生彈性計算平臺SpotMax,借鑒混沌工程的最佳實踐,無需擔(dān)心資源容易中斷回收而影響穩(wěn)定性,讓單位廣告請求成本降低65%。同時,匯量科技還將這一技術(shù)做成SaaS工具包,通過亞馬遜云科技Marketplace覆蓋全球客戶的數(shù)字化產(chǎn)品目錄,提供給同樣希望大規(guī)模使用云上低成本算力的客戶。

用戶需求升級,廣告服務(wù)迎來新紀(jì)元

作為一直耕耘在出海一線的企業(yè),匯量科技對客戶需求的把握也處于領(lǐng)先位置。奚原在演講中表示,中國開發(fā)者的產(chǎn)品開發(fā)和運營方式與2013年有了明顯不同,產(chǎn)品導(dǎo)向從原來簡單的流量產(chǎn)品變成了現(xiàn)在的用戶產(chǎn)品。

流量產(chǎn)品獲取成本比較低,但用戶留存率表現(xiàn)不佳,面對現(xiàn)在這種市場形勢,競爭力明顯不足。所以,現(xiàn)在幾乎每家企業(yè)都開始構(gòu)建自己的技術(shù)中臺,不斷分析用戶獲取以及所有環(huán)節(jié)各項數(shù)據(jù)指導(dǎo)他們運營。它們投入更多的資金,做對用戶來說更有價值的產(chǎn)品。

基于客戶需求的變化,反應(yīng)到匯量科技方面,則更愿意用云原生的架構(gòu)搭建基礎(chǔ)設(shè)施。并充分利用亞馬遜云科技上各種新的和豐富的服務(wù),支撐每天幾乎是一千億到兩千億的廣告請求,以及大量的PB級的模型的建模和校驗的工作。

在計算效率提升方面,匯量科技與亞馬遜云科技合作,通過微服務(wù)包括容器化、無服務(wù)架構(gòu)演進,提高了資源系統(tǒng)效率。其次,亞馬遜云科技提供了靈活的架構(gòu)模型,針對不同的用戶場景可以自由選擇。

另外,值得一提的是,匯量科技工程師團隊基于自己的應(yīng)用實踐,開發(fā)出的SpotMax彈性集群管理工具,在保證穩(wěn)定性的同時,更好地使用低成本資源。節(jié)省下來的云計算成本重新投入到產(chǎn)品創(chuàng)新中去,這也是匯量科技是贏得競爭的關(guān)鍵因素之一。

AI幫助企業(yè)撐起未來

談到AI的應(yīng)用,奚原表示:匯量科技自主開發(fā)了一個名為MindAlpha的智能推薦引擎,目前已經(jīng)應(yīng)用到廣告請求中,每次都會被實時調(diào)用,對廣告候選進行預(yù)估,選擇并推送最適合的廣告給用戶。

MindAlpha每天處理的數(shù)據(jù)量現(xiàn)在已達(dá)數(shù)十個PB,使用的模型特征、參數(shù)也超過了數(shù)百億,在線的推理量每天是超過10萬億次。

目前Mintegral平臺已經(jīng)具備程序化廣告交易鏈路上每一個環(huán)節(jié)的全棧能力,每天處理的廣告請求在一千億到兩千億次,而且隨著數(shù)據(jù)的累積不斷進行自我的訓(xùn)練和迭代。

算法層面,匯量科技很早就布局了在沒有IDFA情況下的用戶興趣建模算法。區(qū)別于現(xiàn)在整個行業(yè)的通用IDFA算法,匯量科技更多是從兩個方面進行創(chuàng)新。一方面是基于用戶的上下文去實時獲取用戶的興趣建模。另一方面,數(shù)據(jù)隱私越來越是一個全球關(guān)注的話題,匯量科技搭建了一個用戶簇,不倚靠單個用戶數(shù)據(jù),而是一群用戶的共同特征,從而提高廣告的精準(zhǔn)度。

像匯量科技這樣的海量業(yè)務(wù),如果沒有云計算和AI的幫助,這在以前是難以想象的。也正是因為IT技術(shù)的飛速發(fā)展,讓更多復(fù)雜的工作變得更加簡單,把一切交給AI就夠了。