柚子快報(bào)邀請(qǐng)碼778899分享：知識(shí)、數(shù)據(jù)雙驅(qū)動(dòng)模型論文閱讀

http://yzkb.51969.com/

[論文閱讀]數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)結(jié)合下人工智能算法模型（綜述）

當(dāng)前人工智能的學(xué)習(xí)模式主要以數(shù)據(jù)驅(qū)動(dòng)為主要手段，以深度神經(jīng)網(wǎng)絡(luò)為主流的機(jī)器學(xué)習(xí)算法取得了顯著進(jìn)展。但是這種數(shù)據(jù)驅(qū)動(dòng)的人工智能手段依然面臨數(shù)據(jù)獲取成本高、可解釋性弱、魯棒性不強(qiáng)等不足。該文認(rèn)為在現(xiàn)有機(jī)器學(xué)習(xí)算法中引入先驗(yàn)假設(shè)、邏輯規(guī)則和方程公式等知識(shí)，建立數(shù)據(jù)和知識(shí)雙輪驅(qū)動(dòng)的人工智能方法，將推動(dòng)更通用計(jì)算范式的變革創(chuàng)新。

該文將可用于引導(dǎo)人工智能算法模型知識(shí)歸納為4種——邏輯知識(shí)、視覺(jué)知識(shí)、物理定律知識(shí)和因果知識(shí)，探討將這些知識(shí)與現(xiàn)有數(shù)據(jù)驅(qū)動(dòng)模型相互結(jié)合的典型方法。

1. 數(shù)據(jù)與邏輯知識(shí)雙驅(qū)動(dòng)方法

邏輯知識(shí)一般采取基于知識(shí)圖譜(Knowledge Graph)的方式表征。目前將知識(shí)圖譜引入深度學(xué)習(xí)的技術(shù)主要有兩種方式：

一是將知識(shí)圖譜的語(yǔ)義信息輸入到深度學(xué)習(xí)中，例如以翻譯嵌入(Translating Embeddings, TransE)、旋轉(zhuǎn)嵌入( Rotation Embedding, RotatE)為代表的知識(shí)表示算法和圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等圖神經(jīng)網(wǎng)絡(luò)模型。

二是使用知識(shí)圖譜的知識(shí)作為優(yōu)化的約束條件。

知識(shí)圖譜與深度學(xué)習(xí)的融合雖然已有較多研究工作，但目前仍未實(shí)現(xiàn)深度融合，知識(shí)表示產(chǎn)生的損失、常識(shí)和領(lǐng)域知識(shí)的融合等問(wèn)題都有待進(jìn)一步解決。

2. 數(shù)據(jù)與視覺(jué)知識(shí)雙驅(qū)動(dòng)方法

視覺(jué)知識(shí)目前主要依賴變分自動(dòng)編碼器、膠囊網(wǎng)絡(luò)、3維重建等算法對(duì)圖像進(jìn)行處理和建模來(lái)實(shí)現(xiàn)視覺(jué)知識(shí)的學(xué)習(xí)，可以被廣泛應(yīng)用在視覺(jué)識(shí)別、圖像生成、3維重建等后續(xù)計(jì)算機(jī)視覺(jué)任務(wù)中。主要是通過(guò)對(duì)視覺(jué)圖像的特征解耦，區(qū)分背景和物體以及在未知環(huán)境中的遷移等任務(wù)。

視覺(jué)知識(shí)具有典型和范疇結(jié)構(gòu)、層次結(jié)構(gòu)和動(dòng)作結(jié)構(gòu)，可以清晰地限定類別邊界和層級(jí)關(guān)系，降低模型對(duì)大規(guī)模標(biāo)注數(shù)據(jù)的依賴。因此，如何進(jìn)一步將視覺(jué)知識(shí)與目前數(shù)據(jù)驅(qū)動(dòng)下的深度學(xué)習(xí)技術(shù)進(jìn)行融合是重要的研究方向。

3. 數(shù)據(jù)與科學(xué)定律知識(shí)雙驅(qū)動(dòng)方法

科學(xué)領(lǐng)域中大量的知識(shí)已經(jīng)被數(shù)學(xué)定義和表達(dá)，包括代數(shù)、微分方程和不等式等等。人工智能與科學(xué)研究相互結(jié)合可以對(duì)刻畫(huà)物理世界的復(fù)雜方程進(jìn)行求解，如預(yù)測(cè)化學(xué)反應(yīng)中分子之間微觀運(yùn)動(dòng)和揭示大氣中湍流變化規(guī)律，以計(jì)算方式合理應(yīng)用科學(xué)定律來(lái)系統(tǒng)化地解決現(xiàn)實(shí)中復(fù)雜問(wèn)題。

簡(jiǎn)單形式的方程可以作為約束來(lái)規(guī)范訓(xùn)練過(guò)程，例如使用動(dòng)力學(xué)方程作為正則化項(xiàng)預(yù)測(cè)重力作用下的物體軌跡；復(fù)雜形式的方程例如偏微分方程，就可以研究人工智能與科學(xué)相互結(jié)合的途徑，探索相關(guān)的智能模型和解算方案，助力實(shí)現(xiàn)在這些方程所屬科學(xué)領(lǐng)域的重大科學(xué)問(wèn)題的研究突破。

4. 數(shù)據(jù)與因果知識(shí)雙驅(qū)動(dòng)方法

Judea Pearl將推理按照由易到難程度分成3個(gè)層次：

從可觀測(cè)結(jié)果中得到的數(shù)據(jù)關(guān)聯(lián)(association)對(duì)觀測(cè)結(jié)果進(jìn)行干預(yù)介入(intervention)后的決策問(wèn)題對(duì)已經(jīng)發(fā)生的結(jié)果進(jìn)行否定的反事實(shí)推理(counter-factual)。

因果效應(yīng)評(píng)估是洞悉觀測(cè)數(shù)據(jù)中因果關(guān)聯(lián)的重要途徑，其關(guān)鍵挑戰(zhàn)在于消除混淆變量(confounder)對(duì)干預(yù)變量(treatment)的影響。

因果知識(shí)和深度學(xué)習(xí)相互融合的方式有以下兩種：

(1) 大數(shù)據(jù)驅(qū)動(dòng)因果推理

傳統(tǒng)機(jī)器學(xué)習(xí)算法在使用大數(shù)據(jù)相關(guān)關(guān)系進(jìn)行模型推理時(shí)，忽略了潛在的混淆變量可能導(dǎo)致的數(shù)據(jù)間的虛假相關(guān)和虛假獨(dú)立，從而影響推理結(jié)果。

在大數(shù)據(jù)環(huán)境下，傳統(tǒng)因果推理面臨噪聲變量、高維變量、未觀測(cè)變量等多種形式的混淆變量的挑戰(zhàn)，因此更需要排除混淆變量找出真正的因果關(guān)系。

(2)因果啟發(fā)的機(jī)器學(xué)習(xí)

旨在將因果關(guān)系引入機(jī)器學(xué)習(xí)，讓算法能夠?qū)W習(xí)因果關(guān)系，從而解決傳統(tǒng)機(jī)器學(xué)習(xí)的不可解釋、不可泛化問(wèn)題。

5. 總結(jié)

柚子快報(bào)邀請(qǐng)碼778899分享：知識(shí)、數(shù)據(jù)雙驅(qū)動(dòng)模型論文閱讀

http://yzkb.51969.com/

推薦文章