網絡科學是一個旨在揭示諸如電信，計算機，生物和社會網絡等網絡背后的結構和動態(tài)的學術領域。近年來，網絡科學家一直試圖解決的基本問題之一是，確定最能影響網絡功能的最佳節(jié)點集(稱為關鍵參與者)。

確定主要參與者可能會極大地受益于許多實際應用，例如，增強網絡免疫的技術，以及輔助流行病控制，藥物設計和病毒營銷。然而，由于其具有NP難性，使用具有多項式時間復雜度的精確算法來解決此問題已證明具有很高的挑戰(zhàn)性。

中國國防科學技術大學，加利福尼亞大學洛杉磯分校(UCLA)和哈佛醫(yī)學院(HMS)的研究人員最近開發(fā)了一種名為FINDER的深度強化學習(DRL)框架，該框架可以識別復雜網絡中的關鍵參與者更有效率。他們的框架(在發(fā)表于《自然機器智能》上的一篇論文中介紹)中接受了由經典網絡模型生成的一小套合成網絡的訓練，然后應用于實際場景。

“這項工作是由網絡科學中的一個基本問題所激發(fā)的：我們如何找到最佳的關鍵角色集，這些角色的激活(或移除)將最大程度地增強(或降低)網絡功能?”進行這項研究的高級研究人員之一劉養(yǎng)宇告訴TechXplore。“已經提出了許多近似和啟發(fā)式策略來處理特定的應用場景，但是我們仍然缺乏一個統(tǒng)一的框架來有效地解決這個問題。”

FINDER代表通過DEep強化學習在網絡中尋找關鍵參與者，它以最近開發(fā)的深度學習技術為基礎，用于解決組合優(yōu)化問題。研究人員在由經典網絡模型生成的大量小型合成網絡上對FINDER進行了培訓，并使用針對要解決的任務的獎勵函數來指導FINDER。該策略可指導FINDER根據其當前狀態(tài)(即當前網絡結構)確定在一段時間內累積最大報酬應采取的措施(即應選擇的節(jié)點)。

參與這項研究的另一位資深研究員孫益州對《科學》雜志說：“在傳統(tǒng)的強化學習任務中，例如在機器人技術中，代表狀態(tài)和動作可能很簡單，而網絡并非如此。”“在進行該項目時，我們面臨的另一個挑戰(zhàn)是確定如何表示網絡，因為它具有離散的數據結構并且位于一個非常高的空間中。為解決此問題，我們擴展了當前的圖神經網絡來表示節(jié)點(動作)和圖形(狀態(tài))，這是與強化學習任務共同學習的。”

為了有效地表示復雜的網絡，研究人員共同確定了各個網絡狀態(tài)和動作的最佳表示，以及當網絡處于特定狀態(tài)時確定最佳動作的最佳策略。結果表示可以指導FINDER識別網絡中的關鍵參與者。

Sun，Liu及其同事設計的新框架具有很高的靈活性，因此只需更改其獎勵功能，就可以將其應用于各種現實網絡的分析。它也非常有效，因為發(fā)現它在效率和速度方面都優(yōu)于許多以前確定網絡中關鍵參與者的策略。值得注意的是，可以輕松擴展FINDER以分析包含數千個甚至數百萬個節(jié)點的廣泛網絡。

“與現有技術相比，FINDER在尋找復雜網絡中關鍵參與者的有效性和效率上均取得了卓越的性能，” Liu說。“這代表了解決復雜的現實世界網絡上具有挑戰(zhàn)性的優(yōu)化問題的范式轉變。FINDER不需要領域特定知識，而只需真實網絡的程度異質性，就可以通過在小型合成圖上進行離線自訓練一次來實現此目標，然后令人驚訝地將現實世界網絡的各個領域的規(guī)模都大大提高了。”

迄今為止，新的深層加固框架已取得了令人鼓舞的結果。將來，它可用于研究社交網絡，電網，傳染病的傳播以及許多其他類型的網絡。

Liu，Sun及其同事收集的發(fā)現強調了經典網絡模型(如Barabási–Albert模型)的希望，并從中汲取了靈感。盡管簡單的模型可能看起來非?；A，但實際上，它們通常捕獲了許多現實世界網絡的主要特征，即程度異質性。當嘗試解決與復雜網絡有關的復雜優(yōu)化問題時，此功能可能具有巨大的價值。

“我的實驗室現在沿著相同的研究方向尋求多個研究方向，包括：(1)設計更好的圖表示學習體系結構;(2)探索如何在不同圖甚至不同領域的圖之間傳遞知識;(3)研究圖上的其他NP難題，并從學習的角度解決它們。”

當Sun和她在UCLA的團隊計劃研究網絡科學研究的新技術時，Liu及其在HMS的團隊希望開始在真實生物網絡上測試FINDER。更具體地說，他們希望使用該框架來識別可能在人類健康和疾病中發(fā)揮關鍵作用的蛋白質-蛋白質相互作用網絡和基因調控網絡中的關鍵參與者。