隨手涂鴉，一鍵秒變動畫，Meta整活「火柴人」宇宙，能跑能跳還能加背景，

小時候，小編最喜歡上的就是美術(shù)課。

給我一盒 24 色的水彩筆，我能坐一下午不帶起來的。

因?yàn)椋瑢τ诿總€人來說，從小到大，在白紙上肆意涂抹、創(chuàng)造、發(fā)揮的感覺都是非常美妙的。

可以理解為情緒的宣泄口，也可以飽含對未來的暢想。

今天，Meta 推出了一個全新的 AI 系統(tǒng)，可以把我們隨手在紙上畫的涂鴉變成活靈活現(xiàn)的動漫。

小時候就幻想過自己筆下的人物能跳出紙張動起來，而 Meta 幫我們實(shí)現(xiàn)了這個美好幻想。

而實(shí)現(xiàn)的過程也沒那么復(fù)雜。

Meta 有一個包含 18 萬張的日常隨手繪畫的數(shù)據(jù)集，還有一整套動畫的代碼。而該數(shù)據(jù)集也是全球首個以涂鴉這種藝術(shù)品為特征的帶注釋數(shù)據(jù)集。

這里有一個概念要搞明白。

人們通過繪畫來表達(dá)自己這點(diǎn)不假，但是繪畫和繪畫也是有不同的。對于 AI 來說，重要的是學(xué)習(xí)。如果沒有含義明確的表達(dá)，那么對 AI 來說學(xué)習(xí)起來就會比較困難。

所以才有了這么一個 18 萬張涂鴉的大數(shù)據(jù)集。有了這么一個數(shù)據(jù)集，研究人員就可以開發(fā)出相應(yīng)的工具，更容易、準(zhǔn)確地分析不同涂鴉中的內(nèi)容。

然后，用戶就會收到一小段由自己上傳的繪畫中人物的動畫。

當(dāng)時，Meta 只能做到讓涂鴉中的人物做一組簡單的動作，用戶們反饋說希望能上線更多功能。比如能讓包含多個人物的涂鴉作品也動起來，又比如讓涂鴉人物做一些更高難度的動作，或者眨眨眼什么的。

有了這些資源，研究人員也就可以進(jìn)一步補(bǔ)充分析這些涂鴉的方法，以此來擴(kuò)展原有的功能。

甚至還可以給小人添加背景，讓涂鴉在環(huán)境中舞蹈。

能跑能跳，活靈活現(xiàn)

上面提到過，涂鴉這種形式涉及的內(nèi)容過于千奇百怪，每個人筆下的涂鴉都是獨(dú)一無二的。

那么在這種情況下，如何訓(xùn)練模型就是問題的關(guān)鍵所在。

Meta 表示，常見的兩種方法，第一種是使用帶注釋的畫作來訓(xùn)練新模型。但這種辦法的問題在于，帶注釋的畫作太少了，人們上傳的可能僅僅是一張涂鴉而已，并不帶有注釋。這樣一來，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的素材就沒有那么多。

第二種方式則是通過合成的方式作畫，比如說把照片用素描的形式重做。但這種方式也存在問題。

生成法進(jìn)行訓(xùn)練需要大量的樣本數(shù)據(jù)來學(xué)習(xí)，上述的辦法也許做不到捕捉繪畫與照片之間所有的差別。此外，用這種方法來生成供學(xué)習(xí)的數(shù)據(jù)，可能無法捕捉到一些繪畫才有的細(xì)節(jié)，比如紙張折痕、用橡皮擦去的線條、陰影等等。

最終，Meta 選擇的辦法是把整個任務(wù)進(jìn)行拆分，包括一系列子任務(wù)，人物檢測、涂鴉分割、姿勢預(yù)測，以及生成動畫。

在用戶選擇上傳涂鴉到系統(tǒng)上以后，他們可以自行選擇邊框位置，確定人物關(guān)節(jié)的位置等等，最后可以選擇一個動作來生成動畫。

甚至，可供選擇的動作還有很多，這就看用戶個人了。

Meta 的系統(tǒng)結(jié)合了用拍攝的照片上訓(xùn)練的計算機(jī)視覺模型，同時由于涂鴉和照片之間的差別，Meta 進(jìn)一步使用 18 萬張的數(shù)據(jù)集微調(diào)模型。

而有了這個數(shù)據(jù)集和生成動畫的代碼以后，Meta 相信隨手創(chuàng)作的繪畫領(lǐng)域未來會激發(fā)更多的創(chuàng)作者加入。

那么這個數(shù)據(jù)集是怎么建立的呢？

和 21 年的項(xiàng)目差不多，Meta 建立數(shù)據(jù)集的方式還是靠用戶上傳。

Meta 在隱私這方面做得不錯，人們可以選擇上傳圖像 + 注釋用于 Meta 的研究，同時 Meta 對這些上傳的信息持有非常謹(jǐn)慎的態(tài)度，盡可能減少了數(shù)據(jù)被濫用的可能。

此外，對上傳數(shù)據(jù)的篩選工作也十分重要。因?yàn)檫@一次的項(xiàng)目主打的就是把涂鴉變成動畫，所以非涂鴉的圖像要被 Meta 的審查員篩掉。

包含泄密、粗俗文字的內(nèi)容更不用說，必須篩掉。

人人都是創(chuàng)作家

有了這么個好用的工具，人人都可以成為一名藝術(shù)創(chuàng)作家。

畢竟，能看到自己筆下的人物栩栩如生的動起來，能當(dāng)一回神筆馬良，想必也是一件很酷的事情吧！

參考資料: