ControlNet僅靠一張照片完成「舊房改造」 | GitHub熱榜第一

這是 同一個房間改裝前后的樣子:

一下子質感Up,從凌亂過時變成了有腔有調的現代風。
至于設計費嘛,其實是…一分錢都沒花!
因為這并不是專業設計師做的方案,而全靠一只AI完成。
—— 只用給AI一張照片,它就能搞定的那種。
還可以選擇不同風格。

如此實用的「舊房改造」AI,很快引來大波網友駐足圍觀;原帖登上了GitHub熱榜 第一,目前已收獲2700+顆星。

還在HackerNews上引起熱議。
有網友稱,這個應用讓他覺得很驚喜,并表示:
如果這種AI還能添加一些功能就更好了,比如給生成圖片中各設施進行估價,這樣就有機會落地商用了。

還有網友指出:
這實際上就是一種生成式預訓練Transformer,和其他Transformer本質是一樣的。

一張圖就能搞定房間設計不管怎麼說,這個AI確實在現有技術上整出了實用且新穎的用法。量子位沒忍住也 親自上手試了試。
我先找來幾張破舊房間的照片,然后開始和AI共同設計改造。
說是共同改造,但其實我要做的,就只用給AI一張圖,然后點擊兩個選項:風格和房間用途。
比如,這里選擇現代風的客廳:

幾秒鐘后,我眼前一亮。不仔細對比左右兩張圖的格局,真的很難相信這是同一個房間。

除了現代風,還有其他選擇,于是我又試了試極簡風:

雖然這似乎不太「簡」,但很精美,甚至比上面的現代風更勝一籌。(給我看得都心動了…)。
不過需要說明的是,目前此AI一個IP每天最多只能用3次——實在想多弄幾張的話,可以換台電腦。

看到這里,話說一只小小的AI,為何短短幾秒就能設計好一整個房間?
其實,這主要得益于它背后一種強大的新晉 機器學習模型:ControlNet。
ControlNet,由斯坦福大學研發,是一種通過添加額外條件,來控制擴散模型的神經網絡。
這個模型,可以將神經網絡塊的不同權重,分別復制到「鎖定」副本(locked copy)和「可訓練」副本(trainable copy)中。
鎖定副本,會保留輸入信息的一些關鍵特征;可訓練副本,則會通過訓練、學習來調節其他特征。然后,這兩部分還會連接起來協同工作。

對于可訓練副本而言,其訓練的方向包括:物體的準確邊緣、語義分割、人體姿勢等等。
簡單來說,就是AI能夠判定,一張圖中各個要素是否可以改變;然后會在原圖某些核心要素不變的前提下生成新的內容,不會導致生成圖和原圖看起來毫無聯系。
另外,這個模型搭配文字「食用」效果更佳——比如剛才我選擇的房間用途和裝修風格,其實就是在給AI添加一點文字提示。
總而言之,基于這樣的原理,ControlNet不僅可以勝任室內設計,還有可以玩出別的花樣。
比如,一鍵涂色:

還有「一鍵換貓」(貓換了,但可愛的歪頭殺不變):

「一鍵換牛」:

Emmm,那某些游戲皮膚是不是……?
值得一提的是,如果你嫌專門登陸官網(見傳送門)比較麻煩,可以通過API將這個AI應用連到你的本地應用上。
按這種用法,首先需要下載數據庫。
git clone https://github.com/Nutlope/roomGPT
接著去Replicate網站上創建一個賬戶,并獲取 API 密鑰。注意,然后需要把將API 密鑰存儲在 .env 文件中,如 .example.env。
再安裝依賴項:
npm install
然后你就能在命令行中運行該AI了:
npm run dev
開發者簡介最后,來認識一下此AI的幕后開發者:其實一共就3個人。

其中,最主要的貢獻者Hassan El Mghari,本科畢業于德雷塞爾大學計算機工程系,現在是一名全棧軟件工程師。

除了開發各種應用,這哥們兒還曾創立了一家游戲營銷公司,在Steam上擁有500,000+名用戶。


[圖擷取自網路,如有疑問請私訊]

本篇
不想錯過? 請追蹤FB專頁!    
前一頁 後一頁