圖片來源@視覺中國
文 | 雷科技Ieitech
生成式AI的上限在哪里？這個問題的答案或許在短時間內(nèi)都不會有答案，至少現(xiàn)在生成式AI似乎又征服了一個新的領(lǐng)域。此前，生成式AI的工作范湊主要集中在文字處理、繪畫、聲音處理等方面，但是生成式AI的能力顯然遠不止于此。
近日，開源生成式AI公司Stability AI正式發(fā)布了Stable Animation SDK，以及備受關(guān)注的Stable Diffusion 模型（以下簡稱Stable）也正式公布新版本，現(xiàn)在用戶可以更好的控制AI生成的3D模型，并且對特定參數(shù)進行修改。
或許很多人看到這個消息的想法是：“3D模型？是指方塊、長條之類的東西？”，畢竟在多數(shù)人看來，真正的3D建模復雜性恐怕是普通AI難以處理的。不過，生成式AI的魅力就在這里，通過對數(shù)據(jù)的處理與分析，配合對自然語言的理解，如今的AI可以根據(jù)描述生成更加復雜、完善的模型，并不僅限于簡單的方塊模型。
在此之前，Stable就因為可以將2D畫面、描述直接轉(zhuǎn)換成3D模型而引起了許多關(guān)注，Stable生成的3D模型在精細度上雖然比不上專業(yè)人員花長時間搭建的模型，但是考慮到生成所需的時間，也足以帶給大家不小的震撼。
而在Stability AI公布的最新演示視頻中，Stable的3D模型已經(jīng)不僅限于靜物，即使是一直在運動的人物形象，也可以輕松轉(zhuǎn)變?yōu)?D模型，并且運動的幅度、姿勢都與原版十分接近。類似的技術(shù)在動畫制作中其實經(jīng)常被用到，一些動畫為了讓畫面、物體顯得更具有立體感時，就會通過2D轉(zhuǎn)3D的方式來制作這段畫面，凸顯畫面的張力
圖源：Stability AI
而在傳統(tǒng)的動畫行業(yè)里，想要將2D畫面轉(zhuǎn)為3D，需要不少工作人員忙碌一段時間，而在Stable的幫助下，只需要將2D畫面輸入模型中，即可獲得高質(zhì)量的起始3D模型，大幅度降低建模所需的時間與成本。
當然，如果只是這樣，或許也就從業(yè)者會高興，對于廣大網(wǎng)友來說，Stable又有什么用呢？關(guān)鍵就在于Stable的3D模型生成并不需要精細的引導，即使只是簡筆畫，Stable也可以生成出大差不差的3D模型，比如這幅如圖幼兒園小孩般的涂鴉，經(jīng)過Stable的“潤色”后就變成了一個還算能看的3D畫面。
圖源：YouTube
讓你的一切繪畫作品，甚至文字動起來，這就是Stable的期盼與目標。所以，Stability AI的所有成果都是直接公開，以開源的方式提供給網(wǎng)友使用，對于廣大二次元愛好者來說，或許這是讓他們的“紙片老婆”們動起來的最簡單方法。
而且從Stable的3D動態(tài)模型生成能力中，我們也可以看到一些未來的應用場景，比如更低廉、便利的動作捕捉系統(tǒng)，理論上只要算力足夠，就可以通過攝像頭捕捉的畫面實時生成對應的3D模型動作。
除此之外還有什么妙用呢？不知道大家是否有看過近日的一個熱聞，海外網(wǎng)紅Caryn Marjorie通過與AI團隊合作，用GPT-4復制了一個數(shù)字版的自己，然后將數(shù)字版的使用權(quán)以每分鐘一美元的價格出售給自己的粉絲。
在短短的一周里，Caryn Marjorie就以此獲得了7.1萬美元的收入，而她提供的僅僅是語音對話閑聊服務。作為視覺生物，我們對于聲音的敏感度其實要低于畫面，如果Stable也被應用到相關(guān)領(lǐng)域，是否可能打造出真正意義上的AI女友呢？可動、可聊，足以撫慰你空虛的內(nèi)心。
咳咳，好吧，這個話題先打住，至少在目前的模型效率和算力規(guī)模下，個人想要實現(xiàn)實時且高規(guī)格的3D動態(tài)模型生成，恐怕還十分困難，但是考慮到半導體行業(yè)的進步速度，或許這一天離我們并不遙遠。
Stable此前最大的問題在于只能根據(jù)描述或圖像來生成3D模型，如果生成的效果不好，只能重新調(diào)整圖像或文字信息來重新生成，根據(jù)顯卡的性能不同，3D模型的生成時間也會有所區(qū)別，相較于ChatGPT等傳統(tǒng)問答式AI，Stable的時間成本高很多。
所以，雖然Stable的3D模型生成效果遠優(yōu)于以往的類似應用，使用場景卻十分受限，僅僅是能夠給社區(qū)愛好者提供一個簡單便利的3D模型生成工具。一直以來，社區(qū)用戶都希望Stability AI就可以給Stabel增加參數(shù)調(diào)整功能，這樣就可以對不滿意的模型細節(jié)進行修改。
Stability AI給出的回應就是Stable Animation SDK，該接口可以被加載到Stabel的模型中，用戶在使用Stabel生成3D模型后，可以通過接口直接輸入對應的參數(shù)，調(diào)整或增加模型的細節(jié)，讓模型更符合用戶的要求。
圖源：Stability AI
從接口的描述文件來看，支持修改的參數(shù)非常多，從基礎的顏色、形狀、大小、紋理到動作姿勢等都可以進行調(diào)節(jié)，而且調(diào)節(jié)過程并不需要輸入專業(yè)數(shù)據(jù)或是名詞，只需要如圖生成3D模型時一樣輸入文字信息即可。
比如你生成了一只小狗的3D模型，然后覺得小狗身上的花紋不太滿意，只需要從接口輸入你想要的花紋描述，Stabel就會根據(jù)描述對模型進行修改并重新渲染相關(guān)圖層。
除此之外，Stable Animation SDK還支持動作命令的輸入，可以讓靜態(tài)的3D模型直接執(zhí)行你的動作指令，比如你渲染了一只飛龍，然后輸入指令“讓龍飛起來噴火”，Stable就會開始對3D模型進行動作渲染。
而且Stable還提供攝影功能，用戶可以調(diào)整拍攝機位、照明效果、背景等一系列的參數(shù)，對3D模型進行靜態(tài)和動態(tài)的錄像。是的，大家估計都猜到了，3D建模、3D動畫等與3D建模有關(guān)的行業(yè)，都將會感受到來自AI的“溫暖”。
另外，部分網(wǎng)友認為Stable與虛擬現(xiàn)實設備結(jié)合，或許會讓虛擬現(xiàn)實設備的生產(chǎn)力表現(xiàn)得到飛躍式提升。大家應該都看過漫威電影《鋼鐵俠》，電影主角史塔克就擁有一個高級人工智能程序“賈維斯”，在史塔克制造鋼鐵俠鎧甲時給予了許多幫助。
其中一個片段就是史塔克通過對話直接生成了一個零件的3D模型，然后對其進行調(diào)整并應用到鎧甲上，這套流程聽起來是不是有點耳熟？沒錯，某種意義上這就是Stable+ChatGPT的未來版本，通過對話直接創(chuàng)造出3D模型，讓設計師可以在虛擬現(xiàn)實設備中直接檢視物品的外觀、使用效果等。
將這個過程放到現(xiàn)實生活照，就相當于將產(chǎn)品設計中最耗時的打樣、調(diào)整過程簡化，實質(zhì)性的提高產(chǎn)品從設計到落地的整個流程效率。而且，結(jié)合虛擬現(xiàn)實設備的功能，甚至可以讓設計師提前在虛擬現(xiàn)實中使用和體驗自己的產(chǎn)品。
當然，現(xiàn)在的產(chǎn)品設計流程中，其實就已經(jīng)廣泛利用類似的3D模型軟件來渲染場景，但是Stable的優(yōu)勢在于生成的速度，本來需要數(shù)小時甚至數(shù)天進行調(diào)整渲染的模型，如今只需要十分之一或更短的時間即可生成，背后所帶來的效率提升不言而喻。
隨著生成式AI的遍地開花，可以看到AI對我們的社會、生產(chǎn)等方面會造成十分深遠的影響，今天是3D模型，明天又會是什么？我非常期待。
快報
根據(jù)《網(wǎng)絡安全法》實名制要求，請綁定手機號后發(fā)表評論