麻省理工學(xué)院和MIT-IBM沃森人工智能實(shí)驗(yàn)室開發(fā)新技術(shù)可在部署基礎(chǔ)模型

蓋世汽車訊 基礎(chǔ)模型是大規(guī)模深度學(xué)習(xí)模型，已在大量通用、未標(biāo)記的數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練，可應(yīng)用于各種任務(wù)，例如生成圖像或回答客戶問題。這些模型是ChatGPT和DALL-E等人工智能工具的支柱，但它們可能會(huì)提供錯(cuò)誤或誤導(dǎo)性的信息，在安全攸關(guān)的情況下這些錯(cuò)誤信息可能造成嚴(yán)重后果。

據(jù)外媒報(bào)道，為了幫助防止出現(xiàn)此類錯(cuò)誤，麻省理工學(xué)院和MIT-IBM沃森人工智能實(shí)驗(yàn)室(MIT-IBM Watson AI Lab)的研究人員開發(fā)出一種技術(shù)，可以在將基礎(chǔ)模型部署到特定任務(wù)之前評(píng)估其可靠性。

研究人員考慮通過一組彼此略有不同的基礎(chǔ)模型來實(shí)現(xiàn)這一目標(biāo)，然后利用其算法來評(píng)估每個(gè)模型學(xué)習(xí)到的關(guān)于同一測(cè)試數(shù)據(jù)點(diǎn)的表示的一致性。如果這些表示一致，則意味著模型可靠。

與最先進(jìn)的基線方法相比，這種技術(shù)能夠更好地體現(xiàn)在各種下游分類任務(wù)中基礎(chǔ)模型的可靠性。人們可以利用這種技術(shù)來決定是否可以在特定環(huán)境中應(yīng)用模型，而無需在真實(shí)數(shù)據(jù)集上進(jìn)行測(cè)試。當(dāng)數(shù)據(jù)集可能因隱私問題而無法訪問時(shí)，這可能特別有用。此外，該技術(shù)還可用于根據(jù)可靠性評(píng)分對(duì)模型進(jìn)行排名，從而使用戶能夠?yàn)槠淙蝿?wù)選擇最佳模型。

研究人員Navid Azizan表示:“所有模型都可能出錯(cuò)，但知道自己什么時(shí)候出錯(cuò)的模型更有用。對(duì)于這些基礎(chǔ)模型來說，量化不確定性或可靠性的問題更具挑戰(zhàn)性，因?yàn)樗鼈兊某橄蟊硎倦y以進(jìn)行比較。這種方法允許人們量化表示模型對(duì)于各種給定輸入數(shù)據(jù)的可靠性。”