將大模型用于騰訊營銷廣告，難點在哪？

騰訊混元是多模態的，騰訊廣告內容也是(shi)天(tian)然多模態(tai)的。在這個巧(qiao)合的背后，騰(teng)訊混元從出生開始，就(jiu)是(shi)為“用在哪里”設計(ji)的，而不是(shi)“套路(lu)”。

1.關鍵詞：三大套路

大模型火了(le)，大模型的套(tao)路也火了(le)。

套路一：

只要是有些(xie)科技含量的公司，沒有大模型就對不起“市(shi)值”和“估值”。

套路二：

只說早有(you)布(bu)局，卻(que)無(wu)(wu)論文，無(wu)(wu)數(shu)據，無(wu)(wu)“卡”，無(wu)(wu)歷史進展。

套路三：

為了(le)(le)“大(da)(da)(da)”而“大(da)(da)(da)”。廣(guang)(guang)(guang)義線性模(mo)型(xing)(xing)的(de)時(shi)代，騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)也(ye)曾追求(qiu)過參(can)(can)數(shu)量大(da)(da)(da)。然(ran)而，這(zhe)(zhe)種模(mo)型(xing)(xing)學(xue)習能力很一般。如果(guo)只(zhi)是模(mo)型(xing)(xing)的(de)參(can)(can)數(shu)總量高(gao)，參(can)(can)與(yu)計算的(de)參(can)(can)數(shu)量卻很少(shao)，這(zhe)(zhe)樣的(de)“大(da)(da)(da)模(mo)型(xing)(xing)”，沒(mei)有(you)深度。騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)在AI這(zhe)(zhe)方面不并(bing)算“激進派(pai)”，但大(da)(da)(da)模(mo)型(xing)(xing)沒(mei)使用(yong)套路。騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)將兩個大(da)(da)(da)模(mo)型(xing)(xing)用(yong)到了(le)(le)廣(guang)(guang)(guang)告(gao)(gao)業務中，參(can)(can)數(shu)都是千億(yi)級別。騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)大(da)(da)(da)模(mo)型(xing)(xing)提升了(le)(le)騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)系(xi)統(tong)的(de)運算能力，騰(teng)訊(xun)(xun)(xun)混(hun)元大(da)(da)(da)模(mo)型(xing)(xing)提升了(le)(le)騰(teng)訊(xun)(xun)(xun)廣(guang)(guang)(guang)告(gao)(gao)系(xi)統(tong)的(de)理(li)解和生成(cheng)能力。

2.關鍵詞：廣告商機轉瞬即逝

從“從前”講起，百貨(huo)商店櫥窗(chuang)里的(de)(de)塑(su)料(liao)假(jia)人，是展示，也是廣告。后來，美國人研究了如何用(yong)計算的(de)(de)方法求(qiu)解(jie)廣告中(zhong)的(de)(de)各類問題，將一部分的(de)(de)計算策(ce)略交給機(ji)器學(xue)習(xi)。早期，廣告對機(ji)器學(xue)習(xi)模型的(de)(de)要求(qiu)較低，哪怕能力弱一點，僅(jin)算得快一些就可以(yi)了。

比如，給一(yi)條男(nan)士(shi)沖浪花(hua)褲打廣(guang)告(gao)。廣(guang)告(gao)系(xi)統共有三層(ceng)：召回(hui)、粗(cu)排、精排，每層(ceng)邊選邊匹(pi)配(pei)(pei)。廣(guang)告(gao)系(xi)統里的模型(xing)，類(lei)似漏斗原理。粗(cu)排時(shi)，模型(xing)發現：這(zhe)條花(hua)褲衩(cha)男(nan)性(xing)(xing)比較喜歡，女(nv)性(xing)(xing)則表示無感。精排時(shi)，模型(xing)發現花(hua)褲不(bu)是所有男(nan)性(xing)(xing)都喜歡，由于顏(yan)色偏(pian)女(nv)性(xing)(xing)化，大(da)約(yue)20歲左右的男(nan)性(xing)(xing)更喜歡。模型(xing)必須做到(dao)越往下(xia)，越匹(pi)配(pei)(pei)，還需(xu)要為廣(guang)告(gao)主節約(yue)廣(guang)告(gao)費。匹(pi)配(pei)(pei)這(zhe)個(ge)動詞很重要，拿常看的騰訊直播廣(guang)告(gao)來說，直播廣(guang)告(gao)系(xi)統會(hui)猜對視頻(pin)的興趣(qu)(qu)，從而推薦相(xiang)關(guan)視頻(pin)，猜對商品的興趣(qu)(qu)，從而展(zhan)示相(xiang)關(guan)廣(guang)告(gao)。手機下(xia)滑一(yi)下(xia)，大(da)約(yue)9毫秒(miao)，就(jiu)得猜到(dao)這(zhe)個(ge)瞬間最有可能的喜好。

這(zhe)里的猜(cai)，就是計算。模型很擅長抓規律(lv)，但頭部規律(lv)好抓，長尾則很麻煩。騰訊廣(guang)告有很多長尾問題，用戶數量(liang)大，廣(guang)告數量(liang)也大。而且廣(guang)告匹(pi)配(pei)的要求(qiu)是，不(bu)(bu)僅要準，還要快。一句“商機轉瞬即逝”，放在這(zhe)里非(fei)常合適。例如剛(gang)買一部手機，廣(guang)告出(chu)手慢了，買前沒(mei)看(kan)到，買后(hou)不(bu)(bu)想看(kan)。慢了，就輸了，這(zhe)就是廣(guang)告競爭的本質。

3.關鍵詞：廣告“硬核”簡史

2014年(nian)，騰訊廣(guang)告平臺實時(shi)在線(xian)技術(shu)完成。2015年(nian)，深度學習技術(shu)完成。這(zhe)兩個“完成”，都指的是(shi)全量上線(xian)。

在(zai)大(da)模型(xing)技術爆發前的(de)(de)(de)(de)(de)世代(dai)里(li)，沒有(you)什么比騰訊廣告(gao)在(zai)2016年“實時在(zai)線(xian)學(xue)習(xi)+深度學(xue)習(xi)”全量上(shang)(shang)線(xian)完成(cheng)更(geng)(geng)重要了(le)。團隊的(de)(de)(de)(de)(de)結(jie)論(lun)是(shi)(shi)：騰訊營銷廣告(gao)應該是(shi)(shi)在(zai)更(geng)(geng)大(da)范圍的(de)(de)(de)(de)(de)產品線(xian)，在(zai)更(geng)(geng)長的(de)(de)(de)(de)(de)數(shu)(shu)據鏈(lian)路(lu)上(shang)(shang)，全面釋放模型(xing)的(de)(de)(de)(de)(de)威(wei)力，模型(xing)做大(da)不是(shi)(shi)目的(de)(de)(de)(de)(de)，而(er)是(shi)(shi)手段。于是(shi)(shi)，把模型(xing)往大(da)了(le)做，數(shu)(shu)據鏈(lian)路(lu)拉長。2020年前后，質變發生了(le)，騰訊廣告(gao)整個技術思(si)路(lu)的(de)(de)(de)(de)(de)轉變了(le)。在(zai)騰訊公司副總裁蔣杰的(de)(de)(de)(de)(de)帶領下，團隊看(kan)清了(le)技術方向(xiang)，前浪大(da)儲備，后浪打硬仗。狂飆技術，不是(shi)(shi)自嗨，而(er)是(shi)(shi)商業需求。

技(ji)(ji)術朝著(zhu)有需求(qiu)的(de)方(fang)向推進(jin)，終于抵達(da)“大(da)(da)(da)模(mo)型(xing)(xing)界碑(bei)”2021年10月，發起技(ji)(ji)術攻堅，項(xiang)目包(bao)括廣(guang)告大(da)(da)(da)模(mo)型(xing)(xing)，混元大(da)(da)(da)模(mo)型(xing)(xing)，一(yi)共集結了800余名跨BG團(tuan)隊的(de)同(tong)學(xue)。毫(hao)無疑問，誰能打(da)破技(ji)(ji)術難度的(de)瓶頸，誰就是頭部科(ke)技(ji)(ji)企業，再加一(yi)個(ge)條件，越早越好。我們抽取其中一(yi)個(ge)技(ji)(ji)術指(zhi)標(biao)：“大(da)(da)(da)規模(mo)技(ji)(ji)術突破之(zhi)前(qian)，精排時延(yan)的(de)閾(yu)值是70毫(hao)秒，突破之(zhi)后拉到200毫(hao)秒，將(jiang)近3倍左右。”給廣(guang)告系統配(pei)套(tao)大(da)(da)(da)模(mo)型(xing)(xing)，底層軟件也(ye)是另(ling)一(yi)境界的(de)考驗。訓練這(zhe)么大(da)(da)(da)的(de)模(mo)型(xing)(xing)，存儲，計算，通訊翻倍，甚至量(liang)級的(de)提升，這(zhe)塊工程團(tuan)隊下了很大(da)(da)(da)力氣。

為(wei)了做好(hao)(hao)底層工作，甚(shen)至把部分關(guan)鍵架構重(zhong)新(xin)寫了一遍。把以(yi)前好(hao)(hao)的想法融合(he)進去，大幅增強它的伸縮(suo)性、容錯能(neng)力(li)，支(zhi)持(chi)千億大模(mo)型(xing)(xing)訓練。這一把，中國科技公(gong)司將大規(gui)模(mo)工程技術做到極致(zhi)。方(fang)案(an)依然還是這么一個方(fang)案(an)，只不(bu)過模(mo)型(xing)(xing)規(gui)模(mo)，整(zheng)個系統能(neng)力(li)等等，不(bu)可(ke)同日而語(yu)了。騰訊(xun)(xun)公(gong)司副(fu)總裁(cai)蔣(jiang)杰帶領騰訊(xun)(xun)廣(guang)(guang)告團隊(dui)(dui)，制定出一套自(zi)上而下(xia)，全局最優的推進路徑，將多個技術團隊(dui)(dui)與業務協同，帶隊(dui)(dui)完成(cheng)了下(xia)一代(dai)廣(guang)(guang)告系統建設(she)。廣(guang)(guang)告大模(mo)型(xing)(xing)怎(zen)么用？將資源聚焦于精排(pai)(pai)，排(pai)(pai)序(xu)能(neng)力(li)更好(hao)(hao)，點擊率(lv)與轉化率(lv)絕對(dui)值(zhi)估準。精排(pai)(pai)預估準，提升(sheng)全鏈的運算推薦效率(lv)。

廣(guang)告(gao)大模型(xing)(xing)能(neng)為(wei)廣(guang)告(gao)主提供什么“特殊服務”？因為(wei)廣(guang)告(gao)系(xi)(xi)統的(de)運(yun)算能(neng)力可(ke)以(yi)支撐多個小(xiao)模型(xing)(xing)同時運(yun)行(xing)，所(suo)以(yi)，廣(guang)告(gao)主可(ke)以(yi)在系(xi)(xi)統上與騰訊廣(guang)告(gao)再共建小(xiao)模型(xing)(xing)，做出更(geng)多從廣(guang)告(gao)主業務出發的(de)推薦匹配，提升匹配效率(lv)。有(you)(you)的(de)人，練了屠(tu)龍(long)術(shu)，結果(guo)發現沒有(you)(you)龍(long)。騰訊廣(guang)告(gao)系(xi)(xi)統“有(you)(you)龍(long)”，所(suo)以(yi)“屠(tu)龍(long)”，且練成兩大屠(tu)龍(long)術(shu)：廣(guang)告(gao)大模型(xing)(xing)和混元大模型(xing)(xing)。

4.關鍵詞：騰訊混元怎么用？

騰(teng)(teng)訊(xun)(xun)(xun)廣(guang)告(gao)的(de)(de)復雜(za)環境，也(ye)讓(rang)騰(teng)(teng)訊(xun)(xun)(xun)混(hun)(hun)元(yuan)得到充分打磨。團隊內(nei)部對騰(teng)(teng)訊(xun)(xun)(xun)混(hun)(hun)元(yuan)大(da)(da)模(mo)型不斷自審(shen)式發問(wen)：第一重難(nan)關(guan)：如何(he)把技術搞出來。第二重難(nan)關(guan)：這是(shi)真實業務場景所需要的(de)(de)技術嗎(ma)？如何(he)落地？廣(guang)告(gao)內(nei)容是(shi)什么？是(shi)廣(guang)告(gao)標題(ti)、文(wen)字、圖片、視頻等。簡(jian)單說，騰(teng)(teng)訊(xun)(xun)(xun)混(hun)(hun)元(yuan)先做“億點”廣(guang)告(gao)內(nei)容的(de)(de)閱讀(du)理解，做完，再將“答案”喂給(gei)廣(guang)告(gao)大(da)(da)模(mo)型。以(yi)廣(guang)告(gao)大(da)(da)模(mo)型提升廣(guang)告(gao)和(he)用戶(hu)的(de)(de)匹(pi)配準確率，以(yi)騰(teng)(teng)訊(xun)(xun)(xun)混(hun)(hun)元(yuan)大(da)(da)模(mo)型理解、生成(cheng)廣(guang)告(gao)內(nei)容，包括素(su)材(cai)和(he)創(chuang)意。

5.關鍵詞：“大”算法思想

雖然(ran)廣告(gao)(gao)大模(mo)(mo)(mo)型(xing)(xing)(xing)已經很大，但是(shi)(shi)想(xiang)用一個(ge)大模(mo)(mo)(mo)型(xing)(xing)(xing)把所有(you)的(de)(de)(de)(de)場景(jing)都學(xue)好(hao)(hao)，沒有(you)那么容易。比如，模(mo)(mo)(mo)型(xing)(xing)(xing)會產(chan)生場景(jing)之(zhi)間(jian)“我(wo)學(xue)不(bu)(bu)好(hao)(hao)，你也甭想(xiang)學(xue)好(hao)(hao)”的(de)(de)(de)(de)負面影(ying)響，這種現象叫(jiao)“負遷移”。廣告(gao)(gao)大模(mo)(mo)(mo)型(xing)(xing)(xing)中，薛(xue)偉(wei)博士用到(dao)了“公共塔(ta)(ta)(ta)”技術。公共塔(ta)(ta)(ta)，樣子(zi)像塔(ta)(ta)(ta)，其實是(shi)(shi)大模(mo)(mo)(mo)型(xing)(xing)(xing)內部(bu)獨立子(zi)網(wang)(wang)絡。騰訊廣告(gao)(gao)模(mo)(mo)(mo)型(xing)(xing)(xing)大，內部(bu)子(zi)網(wang)(wang)絡豐富，還(huan)有(you)商(shang)品（Item）塔(ta)(ta)(ta)，用戶（User）塔(ta)(ta)(ta)。這類子(zi)網(wang)(wang)絡專門學(xue)習特征的(de)(de)(de)(de)共性，降(jiang)低場景(jing)之(zhi)間(jian)的(de)(de)(de)(de)干(gan)擾(rao)。不(bu)(bu)同場景(jing)參數不(bu)(bu)同，推薦汽車(che)，不(bu)(bu)能把推薦手機(ji)的(de)(de)(de)(de)參數也算(suan)一遍。大模(mo)(mo)(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)出現，讓算(suan)法設(she)計空間(jian)變(bian)大，讓設(she)計的(de)(de)(de)(de)余地更大，有(you)機(ji)會用算(suan)法的(de)(de)(de)(de)思想(xiang)充(chong)分(fen)釋放大模(mo)(mo)(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)價值。好(hao)(hao)馬(ma)配好(hao)(hao)鞍，好(hao)(hao)產(chan)品配好(hao)(hao)廣告(gao)(gao)。

公司優勢

開戶流程

注意事項