蘋(píng)果公司的Siri等個(gè)人助理通過(guò)自然語(yǔ)言命令來(lái)完成任務(wù)。但是，它們的基礎(chǔ)組件通常依賴(lài)于監(jiān)督的機(jī)器學(xué)習(xí)算法，這些算法需要大量的手工注釋訓(xùn)練數(shù)據(jù)。為了減少收集數(shù)據(jù)的時(shí)間和精力，Apple的研究人員開(kāi)發(fā)了一個(gè)框架，該框架利用用戶(hù)參與信號(hào)自動(dòng)創(chuàng)建數(shù)據(jù)增強(qiáng)標(biāo)簽。他們報(bào)告說(shuō)，當(dāng)使用諸如多任務(wù)學(xué)習(xí)和外部知識(shí)庫(kù)驗(yàn)證之類(lèi)的策略進(jìn)行合并時(shí)，帶注釋的數(shù)據(jù)將大大提高生產(chǎn)深度學(xué)習(xí)系統(tǒng)的準(zhǔn)確性。

“我們相信這是首次使用用戶(hù)參與信號(hào)來(lái)幫助大規(guī)模生成序列標(biāo)記任務(wù)的訓(xùn)練數(shù)據(jù)，并且可以在實(shí)際設(shè)置中應(yīng)用，以在幾乎沒(méi)有人工注釋數(shù)據(jù)的情況下加快新功能的部署，”研究人員在預(yù)印本上寫(xiě)道。“此外...用戶(hù)參與信號(hào)可以通過(guò)從自身的錯(cuò)誤中學(xué)習(xí)來(lái)幫助我們確定數(shù)字助理需要改進(jìn)的地方。”

研究人員使用了一系列啟發(fā)式方法來(lái)識(shí)別表明積極參與或消極參與的行為。其中一些功能包括輕按內(nèi)容以使其進(jìn)一步參與(肯定響應(yīng))，長(zhǎng)時(shí)間聽(tīng)歌(另一個(gè)肯定響應(yīng))或打斷智能助手提供的內(nèi)容并手動(dòng)選擇其他內(nèi)容(否定響應(yīng))。這些信號(hào)以“保留隱私的方式”被有選擇地收集，以自動(dòng)產(chǎn)生地面真相注釋?zhuān)S后將它們與人類(lèi)注釋者提供的粗粒度標(biāo)簽組合在一起。

為了將粗粒度標(biāo)簽和推斷的細(xì)粒度標(biāo)簽合并到AI模型中，論文的合著者設(shè)計(jì)了一個(gè)多任務(wù)學(xué)習(xí)框架，該框架將粗粒度和細(xì)粒度實(shí)體標(biāo)簽視為兩個(gè)任務(wù)。此外，他們并入了一個(gè)由實(shí)體及其關(guān)系組成的外部知識(shí)庫(kù)驗(yàn)證器。給定“某事”作為音樂(lè)標(biāo)題，并將“甲殼蟲(chóng)”作為音樂(lè)藝術(shù)家，對(duì)查詢(xún)“由披頭士演奏某事”進(jìn)行查詢(xún)，驗(yàn)證器將查找頂部標(biāo)簽替代項(xiàng)并將其發(fā)送到一個(gè)組件，該組件將對(duì)預(yù)測(cè)進(jìn)行排名，并返回最佳選擇。