雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 科技評(píng)論按：在深度學(xué)習(xí)的熱潮推動(dòng)下，人工智能的各個(gè)相關(guān)領(lǐng)域都展現(xiàn)出勃勃生機(jī)，學(xué)術(shù)會(huì)議也一個(gè)緊接著一個(gè)。今年十月上旬，在甘肅敦煌舉行的以中文語(yǔ)言計(jì)算為特點(diǎn)的 NLPCC 2019 才剛剛落幕，首屆歐洲 NLP 會(huì)議 EurNLP 就于 11 日在英國(guó)倫敦舉行。根據(jù)會(huì)議官方介紹，EurNLP 關(guān)注學(xué)術(shù)界和工業(yè)界出現(xiàn)的真實(shí)世界 NLP 問(wèn)題，讓歐洲的青年學(xué)者和專家們齊聚一堂，討論基礎(chǔ)科研和實(shí)證研究話題。
本次為期一天的首屆 EurNLP，暨EurNLP 2019，有大約 200 人參加，共收到 179 篇有效論文投稿，接收論文 57 篇（接收率 31.8%）。會(huì)議議程包括 1 個(gè)大會(huì)報(bào)告、4 場(chǎng)論文報(bào)告以及 1 個(gè)圓桌討論。除此之外，會(huì)議也安排了一個(gè)論文海報(bào)討論環(huán)節(jié)，供學(xué)生、研究者們可以自由地展開(kāi)討論；這些論文的主題也多種多樣，包括了多語(yǔ)言性、語(yǔ)言中的偏倚、機(jī)器學(xué)習(xí)、多模態(tài)、文本生成等等。
德國(guó)達(dá)姆施塔特工業(yè)大學(xué)的 Wei Zhao 現(xiàn)場(chǎng)參加了EurNLP2019，并和德國(guó)海德堡大學(xué)&哈爾濱工業(yè)大學(xué)的Haixia Chai 共同撰文寫(xiě)下了他們的參會(huì)見(jiàn)聞和亮點(diǎn)總結(jié)，這篇文章主要介紹了演講和圓桌部分。雷鋒網(wǎng) AI 科技評(píng)論進(jìn)行了全文翻譯，有部分刪改。
Vera Demberg：NLP 是否需要更多地考慮語(yǔ)言處理中的具體區(qū)別？
在演講中，Vera Demberg 討論了人類標(biāo)注中出現(xiàn)的不統(tǒng)一問(wèn)題，研究了人類標(biāo)注的變化是否是系統(tǒng)的、是否在不同的時(shí)刻保持一致、是否和特定的因素相關(guān)（比如語(yǔ)言經(jīng)驗(yàn)和任務(wù)知識(shí)）。Scholman 和 Demberg 的論文表明不同的參與者在連詞填空問(wèn)題中給出的答案有很大的區(qū)別，而 Sanders 等人讓參與者前后間隔幾個(gè)月做重復(fù)做同一個(gè)實(shí)驗(yàn)，表明人類標(biāo)注員的表現(xiàn)不會(huì)隨著時(shí)間變化。
Dirk Hovy：層數(shù)越多，責(zé)任越大
這個(gè)演講中解釋了各種可能帶來(lái)模型偏倚的因素，比如數(shù)據(jù)選擇、人類標(biāo)注以及模型變化，而且介紹了過(guò)去幾十年中從啟發(fā)式的、基于邏輯的模型，到統(tǒng)計(jì)性的、神經(jīng)網(wǎng)絡(luò)形式的模型的 AI 發(fā)展歷程。他著重強(qiáng)調(diào)了一個(gè)觀點(diǎn)：現(xiàn)代的神經(jīng)網(wǎng)絡(luò)模型可以處理語(yǔ)言生成之類的真實(shí)世界的復(fù)雜問(wèn)題，但是想要解決我們目前遇到的可信任、可解釋、可靠性、公平性問(wèn)題還遠(yuǎn)遠(yuǎn)不夠。
Joakim Nivre：有監(jiān)督句法分析快要壽終正寢了嗎？還有大概 12 年吧
這個(gè)演講是關(guān)于依存句法分析的。演講中首先回顧了依存句法分析的歷史，包括了基于圖的（graph-based）和基于轉(zhuǎn)換的（transition-based）分析器。Kulmizev 等人的論文表明這兩類解析器在短程依存關(guān)系上有類似的表現(xiàn)，但是隨著依存關(guān)系的長(zhǎng)度增加，基于轉(zhuǎn)換的分析器由于錯(cuò)誤傳播的原因會(huì)出現(xiàn)更明顯的表現(xiàn)下降（如下圖）；另外，這兩種方法在運(yùn)用在 BERT 模型中時(shí)的準(zhǔn)確率區(qū)別并不大。Joakim Nivre 希望未來(lái)的句法分析可以找到結(jié)構(gòu)預(yù)測(cè)的一些替代方法，而且最好能夠不再需要顯式的監(jiān)督。
Bonnie Webber：隱式論述關(guān)系可以和顯式關(guān)系共同存在
在這個(gè)演講中，Bonnie Webber 介紹了顯式信號(hào)和隱式推理會(huì)讓論述關(guān)系的標(biāo)注有所不同。這篇論文通過(guò)介詞填空任務(wù)的實(shí)驗(yàn)表明了這一點(diǎn)。下圖展示了某個(gè)例子中不同的標(biāo)注員會(huì)給出不同的答案，但這些不同的答案可能并不是錯(cuò)誤。
Natalie Schluter：神經(jīng)網(wǎng)絡(luò)句法解析看起來(lái)真簡(jiǎn)單，真的是這樣嗎？
這個(gè)演講的重點(diǎn)是基于圖神經(jīng)網(wǎng)絡(luò)的解析器的計(jì)算復(fù)雜度問(wèn)題，Natalie Schluter 給出了一種正式的證明，證明在指數(shù)時(shí)間猜想（Exponential Time Hypothesis）下，射影最大生成樹(shù)（maximum spanning tree）的解碼算法無(wú)法在小于三次方時(shí)間內(nèi)完成，Natalie Schluter 還討論了Eisner 算法以及用循環(huán)神經(jīng)網(wǎng)絡(luò)模擬它的方法。詳細(xì)內(nèi)容可以參見(jiàn)論文。
Gemma Boleda：分布式表征中的通用信息以及特定情境信息
演講中討論了分布式表征中的通用信息以及特定情境下的信息之間的互動(dòng)，并且介紹了這個(gè)研究方向上的兩個(gè)最新成果。其中第一個(gè)是關(guān)于短期含義漂移（見(jiàn)下圖），是指可以通過(guò)測(cè)量?jī)?nèi)容可變性的方式來(lái)識(shí)別語(yǔ)義變化；第二個(gè)是關(guān)于基于 LSTM 的語(yǔ)言模型中的詞匯模糊性，作者們提出的模型可以探測(cè)出 LSTM 模型中隱含的詞匯表征以及單詞的上下文信息。
Reut Tsarfaty：空元素計(jì)劃
Reut Tsarfaty 介紹了Paul Grice 提出的邏輯和對(duì)話問(wèn)題，比如“不要讓產(chǎn)出結(jié)果增加不需要的信息量”，也就是說(shuō)任何多余的信息都可以被正當(dāng)?shù)貋G掉；然后討論了文本句子之間的空元素，比如去掉動(dòng)詞（如下圖），然后列出所有可能的空元素形式。
Lucia Specia：人機(jī)對(duì)話需要發(fā)展出更全面的方法
演講討論了針對(duì)模態(tài)文本的機(jī)器翻譯，指出當(dāng)輸入文本短、有噪聲、意義含混不清等等時(shí)，多模態(tài)學(xué)習(xí)是一種有效的應(yīng)對(duì)方式。詳細(xì)可以參見(jiàn) NAACL 2019 論文以及 ACL 2019 論文。
André Martins：超越Sparsemax - 自適應(yīng)稀疏 Transformer
André Martins 介紹了傳統(tǒng) softmax 的一個(gè)替代方案 sparsemax，它可以把 softmax 得到的正態(tài)概率分布映射到單純形（simplex）中的概率分布，也就意味著它可以輸出稀疏的概率。從sparsemax 推導(dǎo)的損失函數(shù)是凸性的，且處處可微。這個(gè)方向上的更多成果包括正則化 argmax 上的泛化，以及α-entmax 變換。
Angela Fan：在推理時(shí)剪枝 Transformer 模型
Angela Fan 指出了神經(jīng)網(wǎng)絡(luò)模型的主要幾個(gè)挑戰(zhàn)，包括過(guò)度參數(shù)化、冗余、過(guò)擬合，以及大模型難以投入實(shí)際使用，然后討論了知識(shí)蒸餾、剪枝之類的減少模型資源消耗的方法。演講中她重點(diǎn)闡述了針對(duì) Transformer 模型的一種剪枝方法LayerDrop，在訓(xùn)練的時(shí)候隨機(jī)丟棄 Transformer 中的層，網(wǎng)絡(luò)表現(xiàn)只有很小的損失。網(wǎng)絡(luò)壓縮的類似成果還有 DistilBERT、TinyBERT 等等。
Rico Sennrich：自然語(yǔ)言處理中的 Transformer 模型都學(xué)到了什么？模型分析帶來(lái)一些新的見(jiàn)解
這個(gè)演講討論了關(guān)于 Transformer 模型的一些開(kāi)放問(wèn)題，比如，如何識(shí)別模型中重要的注意力頭，以及如何在沒(méi)有表現(xiàn)損失的前提下對(duì)不重要的注意力頭剪枝。目前認(rèn)為位置性的、語(yǔ)法性的、以及能感知不常見(jiàn)的詞匯的頭可能是比較重要的（如下圖）。除此之外，下圖還顯示出其實(shí)可以把大多數(shù)頭都剪枝掉，愛(ài)來(lái)的表現(xiàn)下降很小。Rico Sennrich 介紹的另一篇論文是關(guān)于 Transformer 模型中的表征的演化的，回顧了針對(duì)不同的學(xué)習(xí)目標(biāo)訓(xùn)練 Transformer 模型時(shí)它學(xué)到的表征有何不同（比如用于機(jī)器翻譯、語(yǔ)言模型以及掩蔽語(yǔ)言模型）
圓桌討論
在圓桌討論環(huán)節(jié)，幾位來(lái)自歐洲的頂尖 NLP 研究人員分享了他們?cè)趯W(xué)術(shù)界和工業(yè)界的經(jīng)驗(yàn)心得，也討論了在學(xué)術(shù)界和工業(yè)界工作的區(qū)別。現(xiàn)場(chǎng)聽(tīng)了圓桌討論的 Wei Zhao 最喜歡來(lái)自Bonnie Webber 的這句話：學(xué)生是可以問(wèn)非?；A(chǔ)的問(wèn)題的。在工業(yè)界就很少有人會(huì)回過(guò)頭去看以前的東西了。
希望歐洲的 NLP 研究人員們能借此機(jī)會(huì)增加互相了解、展開(kāi)更多合作，帶來(lái)更多好的成果，也期待明年明年的 EurNLP 更大更好。
viahttps://medium.com/@andyweizhao1/eurnlp2019-highlights-3060c17e828，雷鋒網(wǎng) AI 科技評(píng)論編譯
