語音播放文章內(nèi)容
由深聲科技提供技術(shù)支持
近期，微軟研究團(tuán)隊(duì)通過對(duì)上下文建模加以研究得出一種新的方法，這種方法能夠讓 AI 模型通過上下文的歷史記錄來改寫對(duì)話中的最后話語，那么，這是一種怎樣的研究方法呢？
KYLE WIGGERS 對(duì)此做了詳細(xì)的介紹，雷鋒網(wǎng)將其文章進(jìn)行了不改變?cè)敢獾木幾g，具體如下。
在一份預(yù)先出版的論文中，微軟研究團(tuán)隊(duì)詳細(xì)地介紹了他們的工作——為開放領(lǐng)域的對(duì)話進(jìn)行無監(jiān)督的上下文重寫。他們聲稱，在重寫質(zhì)量和多輪響應(yīng)生成方面，他們的實(shí)驗(yàn)結(jié)果已經(jīng)達(dá)到了最新基準(zhǔn)。
正如研究人員所解釋的那樣，對(duì)話上下文提出了句子建模中所沒有的挑戰(zhàn)，比如主題轉(zhuǎn)換、共同引用（像他、她、它、他們這種）、長(zhǎng)期依賴。大多數(shù)系統(tǒng)解決這些問題的方法是在最后一段話中添加關(guān)鍵字，或者用 AI 模型學(xué)習(xí)數(shù)字表示，但這種方法往往會(huì)遇到障礙，比如無法選擇正確的關(guān)鍵詞、無法處理較長(zhǎng)的上下文等。
這時(shí)候，就是微軟研究團(tuán)隊(duì)的方法的用武之地了。它通過對(duì)語境信息的考量，重新制定了對(duì)話中的最后一句話；這么做是為了生成一個(gè)獨(dú)立的話語，既不存在相互參照，也不依賴過去對(duì)話的其它話語。
雷鋒網(wǎng)注：【 圖片來源：Microsoft 所有者：Microsoft 】
舉個(gè)例子，如果將“我討厭喝咖啡。- - 為什么？它挺好喝的啊?！鞭D(zhuǎn)化成“為什么會(huì)討厭喝咖啡呢？它挺好喝的啊?！?，這就借用了“它”和“為什么”。其中，“它”指代的是對(duì)話中提到的咖啡，“為什么”則是“為什么討厭喝咖啡”的縮寫形式。
對(duì)此，研究人員設(shè)計(jì)了一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)——上下文重寫網(wǎng)絡(luò)（雷鋒網(wǎng)按：context rewriting network, CRN），來實(shí)現(xiàn)端到端的流程自動(dòng)化。這個(gè)系統(tǒng)是由一個(gè)序列到序列模型組成的，它能夠?qū)⒐潭ㄩL(zhǎng)度的話語映射到固定長(zhǎng)度的重寫句子上。并且，它還具有一個(gè)獨(dú)立的注意力機(jī)制，這個(gè)機(jī)制能夠通過最后話語中的不同單詞來幫助它從上下文中復(fù)制單詞。
那么，這個(gè)系統(tǒng)是如何被設(shè)計(jì)出來的呢？
首先，微軟研究團(tuán)隊(duì)使用偽數(shù)據(jù)對(duì)模型進(jìn)行了訓(xùn)練，這些偽數(shù)據(jù)是通過提取上下文的關(guān)鍵字，將這些關(guān)鍵字插入到原始對(duì)話中的最后話語中來生成的。然后，為了讓最后的響應(yīng)影響重寫過程，他們利用了強(qiáng)化學(xué)習(xí)去推動(dòng)系統(tǒng)朝著目標(biāo)前進(jìn)。
雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))注：【 圖片來源：Microsoft 所有者：Microsoft 】
在一系列實(shí)驗(yàn)中，該團(tuán)隊(duì)評(píng)估了他們的方法在幾種重寫質(zhì)量，多回合響應(yīng)生成，多回合響應(yīng)選擇以及基于端到端檢索的任務(wù)上的應(yīng)用。他們注意到，由于他們的模型更傾向于從上下文中提取更多的單詞，因此該模型在強(qiáng)化學(xué)習(xí)后偶爾會(huì)變得不穩(wěn)定，不過，這也顯著地提升了話語的多樣性。
微軟研究團(tuán)隊(duì)認(rèn)為，他們的工作朝著更易解釋和更易控制的上下文建模中邁進(jìn)了一步。另外，該研究團(tuán)隊(duì)還表示，他們的模型可以從嘈雜的語境中提取出重要的關(guān)鍵詞，然后將這些關(guān)鍵詞插入到最后的話語中，使其不僅變得易于控制和解釋，還有助于將信息直接傳遞到最后的話語中。
雷鋒網(wǎng)注：本文編譯自KYLE WIGGERS 發(fā)表在 venturebeat 上的文章。
