柚子快報(bào)激活碼778899分享：人工智能 時(shí)序知識(shí)圖譜

http://yzkb.51969.com/

本文是對(duì)論文A Survey on Knowledge Graphs: Representation, Acquisition and Applications的翻譯，刪繁就簡(jiǎn)，使用盡量通俗的語(yǔ)言。由于本人能力有限，難免會(huì)有錯(cuò)誤，請(qǐng)見(jiàn)諒！

6. 時(shí)序知識(shí)圖譜

當(dāng)前知識(shí)圖譜研究大多關(guān)注靜態(tài)KG，不會(huì)隨時(shí)間變化，而時(shí)變的KG探索較少。但是時(shí)序信息非常重要，因?yàn)楹芏嘟Y(jié)構(gòu)化的知識(shí)只在特定的之間內(nèi)有效，facts的變化遵循一個(gè)時(shí)間序列。近來(lái)的研究開(kāi)始將時(shí)序信息融入到KRL和KGC中，稱(chēng)為時(shí)序知識(shí)圖譜。

（1）時(shí)序信息Embedding

時(shí)間感知的Embedding主要融入了時(shí)序的信息，將三元組擴(kuò)展到四元組(h,r,t,τ)，τ提供了關(guān)于fact的額外的時(shí)間信息。Leblay, 2018在帶有時(shí)間標(biāo)注的三元組上研究了時(shí)間范圍預(yù)測(cè)，簡(jiǎn)單地?cái)U(kuò)展了已有的embedding方法，基于向量的TransE方法TTransE，定義為：

fτ(h,r,t)=?||h+r+τ?t||L1/2

時(shí)間范圍4元組在原來(lái)3元組的基礎(chǔ)上添加了時(shí)間范圍[τs,τe]，其中τs,τe分別表示三元組有效的起始和終止時(shí)間。當(dāng)給定一個(gè)時(shí)間戳τ的時(shí)候，可以根據(jù)動(dòng)態(tài)KG得到靜態(tài)的子圖Gτ。HyTE, 2018將時(shí)間戳看做超平面wτ，將實(shí)體和關(guān)系的表征進(jìn)行映射，以head實(shí)體為例Pτ(h)=h?(wτTh)wτ，tail實(shí)體和關(guān)系同理。時(shí)間映射打分函數(shù)為：

fτ(h,r,t)=||Pτ(h)+Pτ(r)?Pτ(t)||L1/L2

其中，映射轉(zhuǎn)義公式為Pτ(h)+Pτ(r)≈Pτ(t)。

LSE4KGC, 2018將為詞序列和時(shí)間詞序列進(jìn)行拼接，然后使用LSTM編碼拼接后的時(shí)間感知的謂詞序列。LSTM的最后的隱層作為時(shí)間感知的關(guān)系Embedding?rtemp。擴(kuò)展的TransE和DistMult對(duì)應(yīng)的打分函數(shù)分別為‖h+rtemp?t‖2,(h°t)rtempT。通過(guò)將實(shí)體e的上下文定義為包含e的事實(shí)的集合，Liu, 2019提出上下文選擇器來(lái)捕獲有用的上下文，然后使用選擇的上下文衡量時(shí)序一致性。

（2）動(dòng)態(tài)實(shí)體

現(xiàn)實(shí)中的時(shí)間會(huì)影響實(shí)體的狀態(tài)以及對(duì)應(yīng)的關(guān)系。為了改善時(shí)間范圍推理，CTPM, 2014將時(shí)間范圍問(wèn)題建模為狀態(tài)變化檢測(cè)，使用上下文學(xué)習(xí)狀態(tài)到狀態(tài)改變的向量。Know-evolve, 2017，深度進(jìn)化知識(shí)網(wǎng)絡(luò)，研究了實(shí)體在KG中的演化以及它們演化之后的關(guān)系。有研究使用多源時(shí)間點(diǎn)過(guò)程模擬facts的變化，使用RNN學(xué)習(xí)非線性時(shí)間演化的表征。為了捕獲節(jié)點(diǎn)之間的交互，RENET, 2019通過(guò)基于RNN的事件編碼器和鄰居聚合器建模事件序列。具體來(lái)說(shuō)，RNN用來(lái)捕獲時(shí)間實(shí)體交互，通過(guò)鄰居聚合器聚合并發(fā)的交互。

（3）時(shí)序關(guān)系依賴(lài)

現(xiàn)有的時(shí)序依賴(lài)主要以遵循時(shí)間線的關(guān)系鏈形式存在，比如wasBornIn --> graduateFrom --> workAt --> diedIn。Jiang, 2016提出時(shí)間感知Embedding，基于時(shí)序正則化的聯(lián)合學(xué)習(xí)框架，來(lái)融合事件序列和一致性信息。定義時(shí)序打分函數(shù)為f(?rk,rl?)=‖rkT?rl‖L1/2，T∈Rd×d是一個(gè)對(duì)稱(chēng)矩陣，對(duì)于一個(gè)時(shí)間序列關(guān)系對(duì)$$編碼關(guān)系的時(shí)間順序。利用整數(shù)線性規(guī)劃公式，進(jìn)一步應(yīng)用分離、有序和段落這3個(gè)時(shí)間一致性約束。

（4）時(shí)序邏輯推理

也有研究使用邏輯規(guī)則進(jìn)行時(shí)序推理。Chekol, 2017探索馬爾科夫邏輯網(wǎng)絡(luò)和概率軟邏輯，在不確定時(shí)序KG上進(jìn)行推理。RLvLR-Stream, 2019考慮時(shí)間相鄰路徑規(guī)則，從KG流中學(xué)習(xí)規(guī)則的結(jié)構(gòu)用于推理。

柚子快報(bào)激活碼778899分享：人工智能 時(shí)序知識(shí)圖譜

http://yzkb.51969.com/

相關(guān)閱讀