圖文回顧

楊植麟：之所以要做認(rèn)知，和我們文匯小組的定位使命有關(guān)系。

第一，我們從一開始就想做有世界影響力的工作。不光是簡(jiǎn)單地去復(fù)刻GPT-3或者BERT，而是在這基礎(chǔ)上創(chuàng)新，解決最難的問題，這可能是我們?nèi)プ鲞@個(gè)工作的意義所在。

第二，我們要探索智能的邊界。現(xiàn)在有不少超大規(guī)模的千萬億模型，但是很多問題是沒有辦法解決的，在認(rèn)知問題沒有解決前，我覺得其實(shí)還是很有多的事情需要學(xué)術(shù)界和工業(yè)界一起探索和解決。

說到認(rèn)知，我覺得可以簡(jiǎn)單舉幾個(gè)例子。

比如說，我們能否有一個(gè)機(jī)器自動(dòng)地閱讀產(chǎn)品需求文檔，直接寫出代碼，把需求開發(fā)出來？

或者，能不能有一個(gè)通用的對(duì)話機(jī)器人，通過語言的交互完成很多現(xiàn)實(shí)任務(wù)？

短期內(nèi)要做到這些東西需要達(dá)到三個(gè)目標(biāo)：

第一、通用。如果一個(gè)模型只能簡(jiǎn)單地做一兩個(gè)任務(wù)，或者只能做特定類型的任務(wù)，我認(rèn)為是沒有辦法實(shí)現(xiàn)認(rèn)知。

第二、知識(shí)。如果模型沒有知識(shí)，在很多現(xiàn)實(shí)任務(wù)里就很難取得比較好的結(jié)果，很多現(xiàn)實(shí)任務(wù)需要結(jié)合知識(shí)才能做。

第三、可控。想讓模型完成一個(gè)任務(wù)，得有辦法指揮它，給這個(gè)模型一個(gè)明確地指令，讓它產(chǎn)生想要的狀態(tài)和行為。

長(zhǎng)期目標(biāo)，我們希望從預(yù)測(cè)去構(gòu)造決策，包括完全解決少樣本問題，現(xiàn)在少樣本的很多任務(wù)上，實(shí)際上最好的方法，仍然跟我們使用大樣本的情況有很大差距，有時(shí)候是10個(gè)點(diǎn)，有時(shí)候是二三十個(gè)點(diǎn)，差距就會(huì)導(dǎo)致少樣本不能用，現(xiàn)在的模型無法建立一個(gè)完整的知識(shí)體系或者持續(xù)做這樣的學(xué)習(xí)，所以接下來做的事情是對(duì)預(yù)訓(xùn)練和微調(diào)模式的創(chuàng)新，進(jìn)一步接近認(rèn)知目標(biāo)。

今天想跟大家分享一下我們?cè)谶@方面做的工作和一些最新的進(jìn)展，主要集中在短期目標(biāo)上，包括通用、知識(shí)和可控。

通用，我們會(huì)從底層提出新的預(yù)訓(xùn)練框架，去解決通用的問題，上層我們是用更好的算法，讓預(yù)訓(xùn)練出來得到的模型，能夠去更好地挖掘里面的知識(shí)，以及更可控的去使用這樣的模型。首先我會(huì)講一講從通用的角度，預(yù)訓(xùn)練框架如何提升。

相關(guān)論文 All NLP Tasks are Generation Tasks: A General Pretraining Framework 的主要貢獻(xiàn)者是杜政曉、錢雨杰、劉瀟、丁銘、裘捷中、楊植麟、唐杰。（論文地址：arxiv.org/abs/2103.10360）

現(xiàn)在我們的NLP領(lǐng)域，主要解決的問題主要可以分為三類：

一種是基于分類或者理解任務(wù)，或者叫NLU任務(wù)，包括閱讀理解和情感分類，或者判斷兩個(gè)句子是不是同一個(gè)意思，會(huì)歸為一大類；

第二類任務(wù)，就是有條件的生成模型，比如想做一個(gè)摘要，或者想做一個(gè)翻譯，根據(jù)某種輸入，去對(duì)模型做一個(gè)微調(diào)，去生成我想要的東西；

第三種任務(wù)，是無條件的生成或者語言模型，在沒有經(jīng)過繼續(xù)訓(xùn)練的情況下，它可以持續(xù)的生成。

方法層面又分為三種：

• 一種是自回歸的模型，比如GPT，它的特點(diǎn)是非常擅長(zhǎng)做第三類任務(wù)，即無條件生成任務(wù)，做有條件的生成任務(wù)，可以做，但是效果沒有BERT那么好，比如在Few-shot SuperGLUE上面，用一個(gè)GPT，1700億參數(shù)，最后做出來的效果，用2億的模型微調(diào)一下就會(huì)比它效果好，幾個(gè)月前有一個(gè)叫做PET的工作有這樣的數(shù)據(jù)對(duì)比，其他的數(shù)據(jù)集也可以觀察到這種情況，自回歸的模型其實(shí)做前兩個(gè)任務(wù)的效果不太好。

• 對(duì)于自編碼模型，最擅長(zhǎng)的就是做分類理解的任務(wù)，但是生成基本完全不行。

• 還有一種是谷歌訓(xùn)練新提出的，叫做Decoder-Encoder，比如T5模型。它的問題就是三個(gè)都可以做，但是至少有兩個(gè)做得不太好，分類理解和無條件的生成做得不太好。如果是一個(gè)非常高級(jí)的認(rèn)知智能體，不可能只能做一個(gè)事情，其他的事情都做不了，好比建鋼廠，我們希望鋼做出來應(yīng)用到很多的場(chǎng)景，而不僅局限于造一小部分的物件，所以這是我們整個(gè)工作的出發(fā)點(diǎn)。

基于這個(gè)出發(fā)點(diǎn)，我們觀察到一個(gè)現(xiàn)象，就是幾乎所有的NLP任務(wù)都可以表達(dá)成一個(gè)生成任務(wù)。為什么呢？我們可以把三個(gè)任務(wù)做一個(gè)區(qū)分，有條件和無條件生成，可以被綁定到右邊圖的框架里（上圖），我給這個(gè)模型一個(gè)提示或者不給提示，讓它做生成，實(shí)際就是一個(gè)生成的框架。

比較難的問題是，對(duì)于這種分類和理解的任務(wù)怎么用生成任務(wù)定義，之前的工作提出了一些想法，其實(shí)可以把一個(gè)分類或者理解的問題，轉(zhuǎn)換成一個(gè)生成的問題。怎么做呢？比如說現(xiàn)在我想知道這句話的情感到底是正還是負(fù)，其實(shí)可以讓它去生成，比如說這個(gè)東西是good，就是一個(gè)正向的情感，如果是really bad，就是一個(gè)負(fù)向的情感，所以通過這種方式可以把所有的任務(wù)轉(zhuǎn)換成生成任務(wù)。

所有的任務(wù)都是生成任務(wù)，我們就可以在預(yù)訓(xùn)練的時(shí)候，直接用生成的方式去做預(yù)訓(xùn)練，生成的方式是我們?cè)谡麄€(gè)序列里面內(nèi)嵌了很多Decoder，每次mask掉一些東西，通過在Encoder里面嵌入Decoder結(jié)構(gòu)完成這樣一個(gè)生成。

同時(shí)我們也可以做多任務(wù)訓(xùn)練，不光把中間的東西生成出來，還可以把末尾的東西，比如50%或者100%作為我們的生成目標(biāo)，就可以同時(shí)去做很多不同的任務(wù)，也可以同時(shí)在很多下游任務(wù)上得到比較好的結(jié)果。

這是一個(gè)更具體的細(xì)節(jié)，比如說我現(xiàn)在給到一個(gè)輸入，x1到x6，我們會(huì)先做一個(gè)事情，這一步其實(shí)比較類似傳統(tǒng)的BERT做法，我們會(huì)從里面抽取一些我們的目標(biāo)，比如這里抽出來的是x3、x5、x6，這三個(gè)，我會(huì)進(jìn)行一個(gè)隨機(jī)打亂，比如把x5，x6放在前面，或者x3放在后面。

有了這個(gè)東西以后，我就去生成后面我想要的東西，通過加入position encoding和Masking的方法，相當(dāng)于是在Encoder嵌入一個(gè)Decoder，這是在標(biāo)準(zhǔn)的SuperGLUE上得到的結(jié)果，我們會(huì)把所有的模型結(jié)果分為三類，這里面每一類都具有一個(gè)相似的訓(xùn)練量，比如說 T5-Base，T5-Large，RoBERTa-Large，在一樣的訓(xùn)練量情況我們做一個(gè)比較，就可以發(fā)現(xiàn)，雖然它是一個(gè)生成的模型，但克服了以前生成模型的一些缺點(diǎn)，可以在理解和分類任務(wù)上也取得更好的結(jié)果，特別是會(huì)比T5和RobERTa 得到更好的效果。

同時(shí)我們也測(cè)試了有條件無條件生成的情況下，會(huì)得到什么樣的效果，一個(gè)比較重要的結(jié)論，現(xiàn)在可以用1.25倍的GLM模型同時(shí)在三個(gè)任務(wù)上取得最優(yōu)結(jié)果，以前要做，要分別訓(xùn)練三個(gè)模型，對(duì)于超大規(guī)模來說也會(huì)非常限制模型的使用，這也是我們歷史上首次實(shí)現(xiàn)單一模型同時(shí)在三種任務(wù)上取得最優(yōu)的效果。

講完了底層的通用預(yù)訓(xùn)練框架，接下來會(huì)分享兩個(gè)新的方法，這兩個(gè)方法主要做的事情，就是當(dāng)我有一個(gè)新的預(yù)訓(xùn)練模型時(shí)候，怎么去最大化它的價(jià)值，去最大化的抽取里面的知識(shí)或者最大化地優(yōu)化它的少樣本學(xué)習(xí)能力。

相關(guān)論文GPT Understands Too 的主要貢獻(xiàn)者是劉瀟、鄭亞男、杜政曉、丁銘、錢雨杰、楊植麟、唐杰。（論文地址：arxiv.org/abs/2103.10385）

首先要從Prompt說起，比如現(xiàn)在我可以給這個(gè)機(jī)器這樣的題目，比如X is located in Y，當(dāng)X輸入London，我們希望它預(yù)測(cè)Y是一個(gè)Britain或者其他的東西，那么這就是一個(gè)Prompt。通過Prompt的輸入，可以實(shí)現(xiàn)少樣本學(xué)習(xí)或者知識(shí)抽取的能力，也是目前比較流行的一種微調(diào)的方式。其實(shí)很經(jīng)常做的一個(gè)方法，就是用一個(gè)手寫的Prompt，相當(dāng)于做特征工程，去做很多的嘗試，手工從數(shù)據(jù)里構(gòu)造各種各樣的feature。

有了預(yù)訓(xùn)練以后，這部分時(shí)間要去做Prompt engineering。要花很多時(shí)間手寫Prompt才能得到一個(gè)很好的結(jié)果，因?yàn)楝F(xiàn)在不同的Prompt只有細(xì)微的區(qū)別，有的只是增加減少一個(gè)詞，但是performance最后會(huì)差四十個(gè)點(diǎn)，甚至更多，所以這種方式是非常難適應(yīng)很多場(chǎng)景，而且在很多真實(shí)的場(chǎng)景下，比如說少樣本學(xué)習(xí)的情況下，本來我們就沒有非常大的驗(yàn)證集，就會(huì)造成一個(gè)問題，可能就是一個(gè)Over-fit的測(cè)試集，或者開發(fā)數(shù)據(jù)集，根本不靠譜。

后來，手寫變成自動(dòng)，當(dāng)然是一個(gè)進(jìn)步，但是還不夠，始終是離散的，只要是離散的，就會(huì)面臨這種variance很大的問題。我們這里提出來想做的是，想用連續(xù)的向量，去表示Prompt，通過自動(dòng)地學(xué)習(xí)Prompt去得到更好的結(jié)果。

這是一個(gè)示意圖，展示了我們?cè)趺慈プ鲞@個(gè)事情。比如這里面Prompt是The capital of Britain is....，可以填一個(gè)國(guó)家的名字，讓這個(gè)模型告訴我英國(guó)的首都是哪里，傳統(tǒng)的話可能會(huì)有很多離散的Prompt Generator會(huì)去生成離散的Prompt，但是右邊，實(shí)際上可以用一個(gè)新的方法，給這個(gè)模型輸入很多連續(xù)的向量，通過連續(xù)向量輸入，直接在連續(xù)空間里尋找Prompt的最優(yōu)解。

如果做到這樣，需要解決Prompt學(xué)習(xí)過程中兩個(gè)最大的挑戰(zhàn)：

• 一個(gè)是局部?jī)?yōu)化，比如我原來是學(xué)到了很多初始的embedding，我可以在embedding基礎(chǔ)上做很多微調(diào)，問題是通過SGD去優(yōu)化，最多是在那個(gè)附近去震蕩，但是很難搜索到一個(gè)比較好的結(jié)果；

• 第二個(gè)，我們希望這些Prompt embedding之間有一個(gè)很好的關(guān)聯(lián)性，不希望每個(gè)獨(dú)立地去學(xué)，為了解決這個(gè)問題，我們會(huì)額外地加一個(gè)Prompt encoder，不光去學(xué)一個(gè)trainable vector，加兩層LSTM，加一個(gè)NLP，同時(shí)解決局部?jī)?yōu)化和關(guān)聯(lián)性的問題，取得一個(gè)比較好的結(jié)果。

這個(gè)是我們?cè)谥R(shí)探測(cè)的任務(wù)上得到的一個(gè)結(jié)果，目前我們是最好能夠做到64%，這個(gè)模型預(yù)訓(xùn)練完以后，在測(cè)試階段不給他任何額外的文本，它不需要任何文本，它不是傳統(tǒng)的知識(shí)抽取，我只要模型訓(xùn)練完，就直接從里面獲取知識(shí)，這個(gè)benchmark，大概一年前，它的最好結(jié)果是20多，你抽出來的知識(shí)里，只有20%是對(duì)的，大概幾個(gè)月前，大家優(yōu)化到40左右，現(xiàn)在通過我們的方法，我們可以做到60%多，也就是說我現(xiàn)在這個(gè)模型在不給他任何額外文本的情況下，我就可以抽取出來60%多正確的知識(shí)。

這個(gè)里面，我們可以看到幾個(gè)對(duì)比，比如說MP指的是我去手工寫Prompt，P-tuning就是自動(dòng)連續(xù)去調(diào)的方法，通過對(duì)比這兩列，可以發(fā)現(xiàn)會(huì)有一個(gè)非常大程度的提升，比如在MegatronLM（11B）數(shù)據(jù)集上可以提升41個(gè)點(diǎn)，用RoBERTa-large可以去提升30多個(gè)點(diǎn)。

另一個(gè)問題，少樣本學(xué)習(xí)非常重要而且也有非常廣泛的工業(yè)應(yīng)用，研究的是怎么通過少量樣本，比如說20、30個(gè)，你就能夠?qū)W到一個(gè)任務(wù)，而且這個(gè)任務(wù)的結(jié)果，和比如用一千兩千甚至一萬個(gè)樣本可以得到到差不多的結(jié)果，實(shí)際上我們把這種應(yīng)用放到很多NLP生產(chǎn)系統(tǒng)上，就可以極大程度地提升效率。

目前我們也是通過P-tuning的方式可以在Few-shot SuperGLUE上取得一個(gè)SOTA的結(jié)果，而且相比之前的方法，最高提升14個(gè)百分點(diǎn)，而且需要注意的是，我們現(xiàn)在用的模型，是個(gè)億級(jí)別的模型，它只有幾億個(gè)參數(shù)，但它的效果已經(jīng)比GPT-3在大部分?jǐn)?shù)據(jù)集上有一個(gè)提升，GPT-3需要強(qiáng)調(diào)的是，當(dāng)時(shí)開發(fā)的時(shí)候要用到完整的驗(yàn)證集，并不是真正的few-shot learning setting。我們這個(gè)是標(biāo)準(zhǔn)的few-shot learning的setting，在這種情況下，我們可以打敗之前包括PET和GPT-3在內(nèi)的所有few-shot learning的SOTA方法。

另外有趣的是，這個(gè)模型抹平了GPT和BERT在分類理解任務(wù)上的差距。由圖可見，藍(lán)色的是BERT的結(jié)果，橙色是GPT的結(jié)果，左邊是Fine-tuning，右邊是P-Tuning。當(dāng)我們?cè)谟肍inetuning的時(shí)候，不管是哪種scale，BERT都會(huì)非常明顯比GPT更好，可能會(huì)好10個(gè)百分點(diǎn)。而使用P-Tuning的情況下，GPT會(huì)比BERT高1個(gè)百分點(diǎn)，且P-Tuning對(duì)于BERT和GPT都有顯著的提升。

這大概是我們的第二個(gè)算法，主要是解決預(yù)訓(xùn)練模型怎么做分類理解任務(wù)。

第三個(gè)工作，Controllable Generation from Pretrained Language Models via Inverse Prompting，我們想分享的是在生成的時(shí)候可以做到可控。這個(gè)工作主要的貢獻(xiàn)者是鄒旭、殷達(dá)、鐘清揚(yáng)、楊紅霞、楊植麟、唐杰。（論文地址：arxiv.org/pdf/2103.10685）

這里，我們從知乎摘了一個(gè)問題，去問我們的模型，說什么瞬間讓你想留住這一刻？生成的句子非常通順，但是實(shí)際上并沒有在回答這個(gè)問題，也就是這個(gè)問題和答案關(guān)聯(lián)性非常弱，這是一個(gè)普遍存在于預(yù)訓(xùn)練語言模型中的問題。

為了解決這個(gè)問題，我們就提出了一個(gè)新的方法，通過這個(gè)方法優(yōu)化以后會(huì)生成：

一瞬間想到高二的時(shí)候，那天下午在操場(chǎng)曬了一中午太陽，和同學(xué)一起在樓下打球，下午的夕陽徐徐灑下來，我們?nèi)齻€(gè)人一起站在走廊上，倚著欄桿可以面對(duì)著夕陽。一直想留下那一瞬間，可惜我以后再也沒有遇到過那樣的時(shí)光。

這個(gè)回答還有點(diǎn)淡淡的憂傷。通過這種優(yōu)化可以讓回答和問題關(guān)聯(lián)性更強(qiáng)，可以更好地通過Prompt控制所生成的內(nèi)容。這是一個(gè)技術(shù)思路，核心的思路就是用生成的內(nèi)容反過來用同樣的模型預(yù)測(cè)原來的Prompt，這樣的方式就可以保證這兩個(gè)東西之間的關(guān)聯(lián)性更高。把原來的Prompt的likelihood當(dāng)成一個(gè)分?jǐn)?shù)，在beam search的時(shí)候去重新rank里面每一個(gè)beam的分?jǐn)?shù)，就可以實(shí)現(xiàn)這樣的效果。

有了這個(gè)東西以后，我們發(fā)現(xiàn)它可以實(shí)現(xiàn)一些非常神奇的效果，這些效果可能以前的模型很難做到，比如我用現(xiàn)代的概念作古體詩。一般的語言模型能做的事情就是擬合一個(gè)文本，都是現(xiàn)代或都是古代的。但通過Inverse Prompting的方式可以把兩種概念糅合到一起，這個(gè)模型真的可以捕捉到對(duì)象里面核心的特征，通過古體詩表達(dá)出來，特別是最后一句，若非王氣起天壤，世界繁華豈易名，這跟我們當(dāng)前的世界格局有一些關(guān)聯(lián)。

下面這首詩寫的是虹橋機(jī)場(chǎng)，這是非?，F(xiàn)代的概念，古詩里從來沒有，如果我學(xué)一個(gè)古詩的語言模型，根本不可能作出這樣的詩，這首詩讀來有一種孤獨(dú)感和憂傷感，當(dāng)然從詩歌專業(yè)的角度肯定會(huì)有一些瑕疵，但是你可以感受到非常深刻的孤獨(dú)感，包括和虹橋、夜非常貼合，會(huì)有燈、月映水簾星、盧浦這樣的意象。

還有詠相對(duì)論，引力張鞭勢(shì)，牯牛曳著行，營(yíng)造了一種科技感的氛圍。

也可以寫一些藏頭詩，在beam search時(shí)可以固定藏頭字，而且當(dāng)你輸入白話風(fēng)格的標(biāo)題時(shí)，它作詩的風(fēng)格會(huì)相應(yīng)地變化，帶有強(qiáng)烈諷刺意味。

也可以回答問題，比如你問人注定要死為什么還活著？

它給了一個(gè)比較正面的回答：

我們活著的意義就是要尋覓人生的價(jià)值，體驗(yàn)生命的壯麗。為了追求這種生活，人們?cè)敢鈯^斗終生。

這只是一些案例。最后我們還是要從量化的角度評(píng)估效果到底怎么樣，所以我們找了很多人去看這個(gè)生成的結(jié)果，你就會(huì)發(fā)現(xiàn)相比于只用Prompting Baseline，分?jǐn)?shù)會(huì)有很多提升。

作詩上，我們從學(xué)校里找了詩社的人，讓他們來衡量。和之前非常有名的九歌系統(tǒng)（Jiuge）做對(duì)比，發(fā)現(xiàn)各有千秋。九歌系統(tǒng)在韻律題材方面有一些優(yōu)秀的地方，整體的評(píng)分會(huì)比搜索和Prompting這種基礎(chǔ)方法有很大提升。

正如唐老師介紹的，我們還做了圖靈測(cè)試，找了很多古代詩人真正寫的詩，用它的標(biāo)題去生成一些詩，可以看到有45%得票率，比較接近古代大師人的作詩水平。

總結(jié)

我們其實(shí)從三個(gè)方面，從技術(shù)的角度去做了一些突破，包括通用、知識(shí)和可控三個(gè)方面，從算法的層面去做了一些提升。長(zhǎng)期來看，這三個(gè)算法只是第一步，往后還是要從更長(zhǎng)期的角度解決問題，包括怎么去做決策，怎么真正完全少樣本，以及這些代碼系統(tǒng)怎么融合起來，去解決更多更難更大的問題，這都是未來要思索和探討的方向。