StableDiffusion嵌入現(xiàn)實世界，能在墻上直接長出小貓咪，手機(jī)

你看，你面前有一面平平無奇的墻。

現(xiàn)在，你可以根據(jù)自己的意愿，讓它憑空長出東西來。

喜歡...一只小貓。

沒錯，穩(wěn)定擴(kuò)散又能開新花！

這一次，重點是穩(wěn)定擴(kuò)散的觸角伸向了現(xiàn)實世界——結(jié)合WebAR。

目前這個憑空長出一只貓的視頻還是挺火的。

伴隨著新世界的開啟，部分網(wǎng)友對AR+SD更感興趣:

還有人說:

這簡直就是很酷的新版《反恐精英》！

來看看這個很酷的新東西吧~

玩SD AR

首先拿起手機(jī)，然后隨機(jī)選擇一面墻，通過屏幕界面鎖定:

選擇一個喜歡的區(qū)域，圈出并全部涂黑。

輸入提示詞:

可愛的小貓，涂鴉風(fēng)格，數(shù)字藝術(shù)。

然后點擊輸入框底部的擴(kuò)散按鈕，快進(jìn)到見證奇跡的時刻。

此時，無論從哪個角度看，墻上都有一張妙娜麗莎微笑著看著你的照片。

這個視頻是我小哥哥第一個用無盡火低門檻的穩(wěn)定擴(kuò)散，結(jié)合WebAR做出來的實驗產(chǎn)品。

他在評論區(qū)和圍觀者討論具體的工作流程。

第一步是定格，用它作為生成圖像的表面紋理，讓它有一個世界定位和設(shè)備跟蹤攝像頭。

第二步，向服務(wù)器發(fā)送API請求，并附上凍結(jié)幀和穩(wěn)定擴(kuò)散。

在整個工作中，將穩(wěn)定擴(kuò)散嵌入到現(xiàn)實世界是由AR完成的。

對于繪制紋理，哥哥用的是Raycast。

整個過程簡潔利落，引發(fā)了網(wǎng)友的新思考。

目前有很多有趣的NPU硬件，手機(jī)共享內(nèi)存超過12GB。

在這個前提下，如果Stable Diffusion和AR可以一起玩這個作業(yè)，并在本地運行，它可以在類似的請求時間內(nèi)完成整個512x512圖像生成，并在更快的AI上運行升級，這將是非常有趣的。

小哥自己也說了，這份工作只是第一次嘗試，一切都只是穩(wěn)定擴(kuò)散和AR結(jié)合的開始。

但大部分網(wǎng)友認(rèn)為這已經(jīng)是很有趣的工作了，甚至想在上面涂鴉幾個小時。

AIGC打破了次生壁

穩(wěn)定擴(kuò)散之風(fēng)吹向現(xiàn)實世界，絕不是哥哥一個人的想法。

具體操作過程基本在原有基礎(chǔ)上加持了AR。

就在前幾天，另一個小哥用穩(wěn)定擴(kuò)散做了一個視頻透視光學(xué)透視眼鏡。

具體來說就是小哥哥做了一個擴(kuò)散穩(wěn)定的虛擬AR眼鏡，然后通過手機(jī)屏幕上的眼鏡鏡片實現(xiàn)AR效果。

生成的虛擬AR眼睛不僅有力量提示，還能展現(xiàn)出westworld，叢林，外星人等多種畫面風(fēng)格。

此外，還有人結(jié)合Meta旗下的AR創(chuàng)作工具Spark AR，利用穩(wěn)定擴(kuò)散來假裝自己拿著一個小方塊牌。

你知道，上面有動畫的那種。

但是這種穩(wěn)定擴(kuò)散產(chǎn)生的圖像并不是實時生成的，而是提前錄制的，因為目前的Spark AR版本還不支持AI和ML。

非常好，通過穩(wěn)定的擴(kuò)散，AI和AR又一次緊密相連。

反正穩(wěn)定擴(kuò)散這么火，不僅僅是因為效果驚人，還因為它觸及到文本生成圖像以外的領(lǐng)域時非常厲害~

參考鏈接: