麻省理工學(xué)院和IBM的一個(gè)小組開(kāi)發(fā)了一種算法，該算法能夠準(zhǔn)確地識(shí)別視頻中的動(dòng)作，同時(shí)消耗以前所需的一小部分處理能力，從而有可能改變將AI應(yīng)用于大量視頻的經(jīng)濟(jì)性。該方法改編了用于處理靜態(tài)圖像的AI方法，從而為它提供了經(jīng)過(guò)時(shí)間的粗略概念。

這項(xiàng)工作是朝著讓AI識(shí)別視頻中正在發(fā)生的事情邁出的一步，也許有助于馴服現(xiàn)在正在產(chǎn)生的大量信息。僅在YouTube上，2019年5月每分鐘上傳的視頻超過(guò)500小時(shí)。

公司希望使用AI自動(dòng)生成視頻的詳細(xì)描述，從而使用戶可以發(fā)現(xiàn)未注釋的剪輯。而且，當(dāng)然，他們會(huì)希望根據(jù)視頻中的內(nèi)容來(lái)出售廣告，也許當(dāng)有人開(kāi)始直播比賽時(shí)，他們就會(huì)立即展示網(wǎng)球課程的球場(chǎng)。Facebook和Google也希望使用AI來(lái)自動(dòng)發(fā)現(xiàn)和過(guò)濾非法或惡意內(nèi)容，盡管這可能證明貓和老鼠正在進(jìn)行游戲。在不顯著增加AI的碳足跡的情況下完成所有這一切將是一個(gè)挑戰(zhàn)。

科技公司喜歡炫耀自己對(duì)AI的使用，但仍然沒(méi)有太多用于分析視頻。YouTube，F(xiàn)acebook和TikTok使用機(jī)器學(xué)習(xí)算法對(duì)片段進(jìn)行分類和推薦，但它們似乎主要依賴于與視頻相關(guān)的元數(shù)據(jù)，例如描述，標(biāo)簽以及上載時(shí)間和位置。所有人都在研究分析視頻內(nèi)容的方法，但是這些方法需要更多的計(jì)算機(jī)功能。

麻省理工學(xué)院的助理教授宋漢(Song Han)說(shuō)：“視頻的理解是如此重要。”“但是計(jì)算量太高了。”

AI算法消耗的能量也在以驚人的速度增長(zhǎng)。據(jù)一些估計(jì)，用于尖端AI實(shí)驗(yàn)的計(jì)算機(jī)能力大約每三個(gè)半月翻一番。7月，艾倫人工智能研究所的研究人員呼吁研究人員發(fā)布其算法能效的詳細(xì)信息，以幫助解決這一迫在眉睫的環(huán)境問(wèn)題。

隨著公司利用AI分析視頻，這一點(diǎn)尤其重要。近年來(lái)，圖像識(shí)別取得了巨大進(jìn)步，這在很大程度上要?dú)w功于深度學(xué)習(xí)(一種從復(fù)雜數(shù)據(jù)中提取含義的統(tǒng)計(jì)技術(shù))。深度學(xué)習(xí)算法可以基于圖像中顯示的像素檢測(cè)對(duì)象。

但是深度學(xué)習(xí)不善于解釋視頻。除非將視頻幀與前后的視頻幀進(jìn)行比較，否則分析視頻幀不會(huì)顯示正在發(fā)生的事情，例如，拿著門(mén)的人可能正在打開(kāi)或關(guān)閉門(mén)。盡管Facebook研究人員在2015年開(kāi)發(fā)了一種包含時(shí)變的深度學(xué)習(xí)版本，但這種方法相對(duì)笨拙。

根據(jù)Han的估計(jì)，訓(xùn)練深度學(xué)習(xí)算法將視頻解釋為靜止圖像可能需要50倍的數(shù)據(jù)和8倍的處理能力。

韓與兩位同事共同開(kāi)發(fā)了一種稱為“時(shí)間轉(zhuǎn)換模塊”的解決方案。用于視頻識(shí)別的常規(guī)深度學(xué)習(xí)算法可一次對(duì)多個(gè)視頻幀執(zhí)行3D操作(稱為卷積)。Han的方法使用更有效的2D算法，這種算法更常用于靜止圖像。時(shí)間移位模塊提供了一種方法，可以捕獲一幀中的像素與下一幀中的像素之間的關(guān)系，而無(wú)需執(zhí)行完整的3D操作。當(dāng)2D算法依次處理每個(gè)幀時(shí)，同時(shí)合并來(lái)自相鄰幀的信息，它可以隨著時(shí)間的推移實(shí)現(xiàn)事物展開(kāi)的感覺(jué)，從而可以檢測(cè)到所顯示的動(dòng)作。