在人工智能的浪潮中，生成式AI（AIGC）正成為研究的熱點(diǎn)，尤其在3D動(dòng)態(tài)內(nèi)容生成和視頻生成領(lǐng)域。戴勃老師，作為這一領(lǐng)域的資深研究者，他的工作不僅推動(dòng)了技術(shù)的發(fā)展，也為我們打開了新的視野。本文通過專訪戴勃老師，深入探討了Real to Sim、3D動(dòng)態(tài)內(nèi)容生成以及視頻生成的未來，揭示了這些技術(shù)背后的科學(xué)規(guī)律和潛在的商業(yè)價(jià)值。

今天我們邀請(qǐng)到的嘉賓是上海人工智能實(shí)驗(yàn)室的科學(xué)家戴勃老師。戴老師目前在上海人工智能實(shí)驗(yàn)室領(lǐng)導(dǎo)內(nèi)容生成和數(shù)字化研究小組。2023年，戴老師參與發(fā)布的 AnimateDiff 在學(xué)術(shù)和產(chǎn)業(yè)應(yīng)用領(lǐng)域都取得了廣泛關(guān)注，國內(nèi)大廠基于此發(fā)布了多項(xiàng)落地應(yīng)用，目前 AnimateDiff 獲得萬枚 Github Star，Civitai 下載量破 8 萬次。

在訪談中，戴老師為我們分享了他是如何思考視頻生成技術(shù)和應(yīng)用，以及生成式AI的研究邏輯和路線。戴老師還分享了他對(duì)于 Real to Sim to Real 閉環(huán)的看法，以及對(duì)構(gòu)建真實(shí)世界模擬器（World Simulator）的設(shè)想。Enjoy！

01. AI視頻“開源先鋒”，從 AnimateDiff 開始

SENSEAI: 請(qǐng)戴老師介紹一下自己和主要的研究方向吧！

戴老師：我 2014 年從上海交大 ACM 班畢業(yè)后去了香港中文大學(xué) MMLab，學(xué)習(xí)和研究的方向一直是 AIGC 相關(guān)，今年正好是我在 AIGC 這個(gè)研究領(lǐng)域的第十年。

在這一波生成式AI火爆之前，好幾年前就開始研究多模態(tài)圖像到語言描述的生成、場(chǎng)景圖像的生成，接著往高質(zhì)量動(dòng)作的視頻理解探索，2020 年首次將生成式先驗(yàn)引入了圖像修復(fù)和編輯領(lǐng)域，再到 2022 年我們首次把神經(jīng)輻射場(chǎng)（NeRF）做到了城市級(jí)別的重建和渲染。

去年我們的工作在文生動(dòng)畫、3D、動(dòng)作等方向也都取得了比較全面的進(jìn)展，其中 AnimateDiff 大家可能更熟悉一些。AIGC的研究方向一部分是要盡可能的把三維動(dòng)態(tài)內(nèi)容的重建和生成做好，在我看來 Build World Simulator 當(dāng)前的關(guān)鍵是也是Real To Sim。

SENSEAI: 為什么 Animatediff 可以廣泛應(yīng)用，您是怎么思考技術(shù)和應(yīng)用的結(jié)合？

戴老師：AnimateDiff 算是已經(jīng)被證明的一次往產(chǎn)品應(yīng)用上的嘗試，幾家頭部大廠也在用它的權(quán)重去微調(diào)。最近在 GitHub 上應(yīng)該接近上萬 star 數(shù)，Civitai 上的下載量也有近 8 萬次了。

AnimateDiff 更像是一個(gè)插件，可以與工作流中不同的部分比較好的耦合，所以它是源源不斷的在創(chuàng)造新的形態(tài)。一年多前文生圖社區(qū)火爆起來，從文生圖到把圖片動(dòng)起來的用戶需求也就呼之欲出了。所以我們開源了 AnimateDiff，用戶無需特定調(diào)整就可以完成個(gè)性化文本到視頻動(dòng)畫的制作。

從去年 7 月到 12 月發(fā)了三個(gè)版本，在 Fidelity （保真度）和 Controllability（可控性）上對(duì)模型進(jìn)行了迭代。其實(shí)相關(guān)的工作還在繼續(xù)，但得到更多的行業(yè)真實(shí)需求反饋后，對(duì)單純文生視頻的局限性有了比較清醒的認(rèn)識(shí)，所以是一直在嘗試其他的一些辦法。

SENSEAI: 視頻生成是非常火熱的主題，您認(rèn)為技術(shù)路徑收斂還要解決哪些問題，如何理解視頻生成的技術(shù)路線和技術(shù)局限？

戴老師：首先，我相信文生視頻、包括最近也比較火的文生3D在巨大的關(guān)注下一定還會(huì)取得不錯(cuò)的進(jìn)展，但是在多長(zhǎng)時(shí)間內(nèi)、多大程度上能滿足用戶或者行業(yè)的需求，我覺得還是要理性看待。

“可控性”是當(dāng)前受到關(guān)注的焦點(diǎn)。語言文本的表達(dá)力是很有限的，設(shè)計(jì)更好的多模態(tài)人機(jī)交互的方式就很關(guān)鍵。

通過無比詳細(xì)的文本提示詞和不斷 scale up 的視頻模型，把原本視頻里的各種細(xì)節(jié)都囫圇個(gè)生成出來應(yīng)該不是一個(gè)好方式。我會(huì)認(rèn)為這個(gè)世界上的場(chǎng)景、人、物本就不是粘連在一起的，有相對(duì)獨(dú)立的結(jié)構(gòu)和特性，更何況還要這一切符合物理規(guī)律。

OpenAI在報(bào)告里稱“Scaling video generation models is a promising path towards building general purpose simulators of the physical world.” 其實(shí) World Simulator 才是需要深入思考和提前布局的事情。

SENSEAI：后續(xù)在視頻生成上，您有怎樣的期待和研究興趣，視頻生成的交互和應(yīng)用您如何暢想，您怎么理解視頻生成對(duì)自動(dòng)駕駛和具身機(jī)器人的價(jià)值？

戴老師：雖然現(xiàn)在文生視頻很火，也沒必要去按照簡(jiǎn)單粗暴的方式去follow。AnimateDiff 只是我們工作的一部分。

從世界模擬的層面來說，環(huán)境、人和物理規(guī)律是缺一不可的，所以在過去的幾年我們一直在做相應(yīng)的工作。比如在場(chǎng)景環(huán)境方向，我們通過NeRF和Scaffold-GS把城市級(jí)實(shí)景三維重建做到了極高的訓(xùn)練和渲染效率（書生·天際 LandMark），在人物和物理規(guī)律結(jié)合方向上，我們做了Controllable Motion Diffusion Model、Pedestrian Animation Controller in Driving Scenarios等物理感知交互（Physics-aware Interaction）相關(guān)的工作，同時(shí)通過與LLM結(jié)合等方式向更復(fù)雜的自然動(dòng)態(tài)與仿真去做研究和工程嘗試。我們跟CMU、Nvidia、Stanford等一些頂尖的團(tuán)隊(duì)，包括一些做自動(dòng)駕駛、機(jī)器人相關(guān)的團(tuán)隊(duì)在研究上也一直有深入的探索。但我們自己暫時(shí)還不想一步踏到具身智能中去。

SENSEAI: 您的研究里，有視頻生成，有3D生成，有世界模擬，能講講這背后的思路和終極目標(biāo)嗎？

戴老師：其實(shí)我做研究的底層邏輯上，一直非常注重科學(xué)規(guī)律的指導(dǎo)，我們認(rèn)為生成式AI的技術(shù)迭代與突破實(shí)際上是遵循 Fidelity-Scalability-Controllability-Accessibility （真實(shí)度-可擴(kuò)展性-可控性-可用性）這樣的一個(gè)循環(huán)。

所以近一年的時(shí)間一直在想辦法解決“可控”和“可用”的問題，無論是用戶操作上的還是成本層面的。無論是視頻和3D生成，還是通過 Build World Simulator，都是為了更好的進(jìn)行理解和仿真，利用 Real To Sim 與 Sim To Real 共同構(gòu)建整個(gè)虛實(shí)結(jié)合的閉環(huán)。

Fidelity-Scalability-Controllability-Accessibility

SENSEAI: 在您眼中，生成式AI有怎樣的特性和模式，transformer 和 scaling 是不是這一代技術(shù)的終極解法？

戴老師：就像我前邊講的，F(xiàn)idelity-Scalability-Controllability-Accessibility這樣的一個(gè)循環(huán)的科學(xué)規(guī)律，和我們?cè)趯?shí)際研究和應(yīng)用中需要攻克的問題，構(gòu)成了一個(gè)螺旋上升的形態(tài)，會(huì)經(jīng)歷多次的循環(huán)和迭代。

文本和語言只是多種模態(tài)中基礎(chǔ)的一部份，很難說因?yàn)榻裉煳谋鞠嚓P(guān)的 Chat 解決的不錯(cuò)了，就意味著生成式 AI 的技術(shù)路徑和需要解決的問題就大致如此了。我們所看到的問題也許只是冰山一角，所以還是可以多一些耐心。Transformer當(dāng)然是非常棒的突破，充分的利用好一定是可以加速很多的工作。

至于Scaling Law，如果我現(xiàn)在有十萬張卡我愿意試一試，但我們經(jīng)常會(huì)說“沒有也行”，辦法總比困難多嘛。在一部分恰當(dāng)?shù)牟襟E中利用好 Scaling Law 是比較理性的做法。

02.Real to Sim可能被低估了

SENSEAI：在具身智能領(lǐng)域，Sim to Real 是非常常見的，但您同時(shí)強(qiáng)調(diào)了 Real to Sim 的重要性，這套循環(huán)是怎么相互作用的？

戴老師：很顯然只關(guān)注Sim To Real還不夠。最近隨著具身智能的火熱，越來越多的人在討論仿真，仿真使得我們可以在虛擬環(huán)境中模擬人類期望在現(xiàn)實(shí)環(huán)境中進(jìn)行的動(dòng)作和行為，并將這個(gè)過程中獲取的數(shù)據(jù)、知識(shí)或者模型直接部署或使用到現(xiàn)實(shí)的應(yīng)用和設(shè)備上，從而擺脫現(xiàn)實(shí)環(huán)境的種種限制，如安全性、隱私、事件發(fā)生頻率、成本、時(shí)間周期等問題。

那么實(shí)現(xiàn)仿真的關(guān)鍵，是先將虛擬環(huán)境和現(xiàn)實(shí)環(huán)境從形象、結(jié)構(gòu)和功能上完成對(duì)齊，這幾乎是一個(gè)當(dāng)前很難回避的問題。更為強(qiáng)大的Real To Sim能力，能從根源上解決 Sim To Real Gap 和諸多由此而來的瓶頸。但反過來講，目前所能實(shí)現(xiàn)的 Real To Sim 也還沒有那么理想，在有 Gap 的前提下如何更好的將在虛擬環(huán)境中獲取的數(shù)據(jù)、知識(shí)或者模型利用起來就很關(guān)鍵。

Real To Sim 與 Sim To Real 共同構(gòu)建了整個(gè)虛實(shí)結(jié)合的閉環(huán)，所以我們希望可以真正做到 Real to Sim to Real。由于虛擬環(huán)境和現(xiàn)實(shí)環(huán)境一樣，是三維和動(dòng)態(tài)的，Real To Sim的能力，對(duì)應(yīng)的正是生成式AI中的三維及動(dòng)態(tài)內(nèi)容的重建及生成技術(shù)。

SENSEAI：Simulator上，英偉達(dá)有著非常大的生態(tài)優(yōu)勢(shì)，在您看來這個(gè)環(huán)節(jié)的重要性有多大，未來的發(fā)展趨勢(shì)如何，有哪些技術(shù)可以更好的推進(jìn) simulator 的進(jìn)展？

戴老師：這個(gè)問題非常好，英偉達(dá)擁有的更多是生態(tài)優(yōu)勢(shì)，同時(shí) Omniverse 配備了非常強(qiáng)大的研究力量。在核心技術(shù)層面，我們也有一些我們的優(yōu)勢(shì)和側(cè)重點(diǎn)，比如在 Real To Sim 和人物自然動(dòng)態(tài)的仿真上。

英偉達(dá)希望通過豐富的算力資源+仿真平臺(tái)的組合把大家都先集聚起來，但是最后一公里的問題依舊需要投入開發(fā)者，所以某種意義上大家應(yīng)該是可以利用好Omniverse 和 Isaac 等平臺(tái)去做出更加 Native 的應(yīng)用。

此外，我們還可以反向思考一下，是不是如果用更優(yōu)的模型+更少的算力消耗可以改變這一局面。我們近期有成果表明，的確是有辦法在一些工作上實(shí)現(xiàn)計(jì)算資源指數(shù)級(jí)的調(diào)整。

03.有關(guān)世界模擬和3D內(nèi)容生成的未來

SENSEAI：Sora 團(tuán)隊(duì)認(rèn)為視頻模型就是 world simulator 了，從笛卡爾的認(rèn)知論角度，世界其實(shí)是我們感應(yīng)器官映射后的解釋，無法真的代表真實(shí)世界；那么視頻模型是否可以超越我們感官顆粒度，眼見為真即為真呢？和數(shù)學(xué)驅(qū)動(dòng)的世界模型，未來是取代還是共存呢？

戴老師：OpenAI 在報(bào)告里稱 “Scaling video generation models is a promising path towards building general purpose simulators of the physical world.”這當(dāng)中有幾個(gè)問題，首先 Scaling 視頻生成模型要 Scaling 到什么程度，其次這里的 視頻生成模型是不是等同于今天我們看到的產(chǎn)品Sora。

我還是認(rèn)為視頻生成只是構(gòu)建世界模擬的一種路徑，可以看成是有益的一部份，但很難說他就是 World Simulator 或者 World Model。

SENSEAI：世界模型的意義是什么，都有哪些關(guān)鍵的要素，LeCun說的世界模型，李飛飛創(chuàng)業(yè)的空間智能，有怎樣的異同？

戴老師：我們前邊所說的 Real To Sim 的技術(shù)和其構(gòu)建的數(shù)字世界，其實(shí)跟這些概念都有本質(zhì)的聯(lián)系。世界模型（World Model），幾乎是一個(gè)非常大而全的概念。雖然大家對(duì)這個(gè)概念的定義不同，但大部分人描述的，正是Real To Sim所構(gòu)建的虛擬世界。

世界仿真器（World Simulator），與世界模型相比，更強(qiáng)調(diào)仿真的結(jié)果，而非仿真的路徑。所以大家也會(huì)認(rèn)為視頻生成可以作為世界仿真器，或者換句話說仿真不一定需要通過與現(xiàn)實(shí)對(duì)齊的三維、動(dòng)態(tài)虛擬環(huán)境。但不同的仿真路徑，在效率、效果、魯棒性等方面可能存在天壤之別。

空間智能（Spatial Intelligence），更強(qiáng)調(diào)在 Real To Sim 構(gòu)建的虛擬環(huán)境中通過仿真獲取到的知識(shí)，實(shí)現(xiàn)感知、理解和交互能力。其實(shí)概念沒那么重要，我們提前布局的和想做的方向現(xiàn)在逐步已經(jīng)成為共識(shí)了，但在沒有這個(gè)概念之前也并沒有影響我們一直在做。

SENSEAI：我們看到 Luma、Viggle 都有基于 3D guidance 的視頻生成，怎么看待3D和視頻生成的關(guān)系？

戴老師：目前大家看到的一些所謂基于3D Guidance的視頻生成，我不太好做過多的評(píng)判，還是以真實(shí)的效果為準(zhǔn)。

Luma、Sora等視頻生成的思路還是視頻為主3D為輔，我個(gè)人覺得應(yīng)該是3D為主視頻為輔，更符合真正可控可用的Real To Sim的邏輯。

真實(shí)世界本來就是三維的，其實(shí)大家想在 Simulator 里完成的操作也都是3D的，比如視頻的鏡頭轉(zhuǎn)個(gè)角度、視頻里移動(dòng)一些元素等等操作其實(shí)細(xì)想都依賴背后的3D，Real To Sim 通過2D的視頻來橋接，是不是真的必要，還是說只是因?yàn)楫?dāng)前階段急需用視頻來證明潛力，都值得深思。

SENSEAI：您的研究 3D 粒子系統(tǒng)能否講一講，未來可能對(duì)哪些領(lǐng)域有幫助，微觀向宏觀的指導(dǎo)和映射能有怎樣的延展？

戴老師：您前期準(zhǔn)備工作還挺細(xì)致的哈哈。前年的時(shí)候我們發(fā)過一篇Transformer with Implicit Edges for Particle-based Physics Simulation 的工作，最近我們也跟一些產(chǎn)業(yè)界的朋友在聊，發(fā)現(xiàn)大家都覺得這個(gè)非常重要。

這個(gè)工作的核心是探索AI在微觀層面細(xì)致、復(fù)雜的物理模擬上的潛力。因?yàn)橐粋€(gè)是因?yàn)檫@種微觀的物理模擬背后涉及的流體力學(xué)、空氣動(dòng)力學(xué)本來就是物理學(xué)的重要內(nèi)容，另外它也和我們的日常生活息息相關(guān)，無論是自然界中的風(fēng)霜雨雪還是水，還是我們穿的衣服的柔性材料，物體爆炸產(chǎn)生的粒子反應(yīng)等等。

從宏觀的三維幾何深入到微觀的粒子間相互作用，AI就有機(jī)會(huì)幫助解決更多科學(xué)問題，因?yàn)楹芏嗪暧^上看起來完全不相關(guān)的現(xiàn)象，在微觀上是相似的。

SENSEAI：在您看來，3D生成的應(yīng)用，需要像 visionpro 這樣的空間計(jì)算和交互硬件的普及嗎？或者還可能有怎樣的應(yīng)用？

戴老師：當(dāng)然需要，未來空間計(jì)算和交互硬件的普及也許會(huì)創(chuàng)造全新的真實(shí)世界與數(shù)字世界的交互方式。VisionPro 發(fā)售后我第一時(shí)間買了一個(gè)，我們把自己重建和生成的一些內(nèi)容已經(jīng)在往這些設(shè)備上去做適配和交互。

對(duì)于終端設(shè)備大家可以有更多的耐心，同時(shí)終端的加速迭代離不開內(nèi)容生態(tài)的繁榮，所以利用 AIGC 的能力把 3D 動(dòng)態(tài)內(nèi)容做到更高質(zhì)量、更可控、更低成本是眼前更需要踏實(shí)去做的事情。

SENSEAI：可以再和大家分享一下三維動(dòng)態(tài)內(nèi)容的重建的研究進(jìn)展嗎，這部分對(duì)哪些領(lǐng)域的學(xué)術(shù)或者產(chǎn)業(yè)推動(dòng)具有重要意義？我們的創(chuàng)新/領(lǐng)先之處在哪？

戴老師：三維和動(dòng)態(tài)內(nèi)容的重建與生成，這里邊有三個(gè)關(guān)鍵詞，三維、動(dòng)態(tài)和重建與生成。三維應(yīng)該比較好理解，只有在三維空間中的信息理解才能實(shí)現(xiàn)空間和物理的統(tǒng)一；強(qiáng)調(diào)動(dòng)態(tài)，是因?yàn)橹挥袆?dòng)態(tài)的人與環(huán)境、人與物、人與人的交互被更好的呈現(xiàn)才能還原真實(shí)世界中的感知理解和行動(dòng)規(guī)劃；重建和生成，如果我們有辦法無差別地將各種要素重建出來，那么生成的效果也就更有參考和依據(jù)，這也是為什么即便生成賽道這么火的同時(shí)， NeRF和高斯等相關(guān)的研究依舊被學(xué)術(shù)界和工業(yè)界十分重視。

我們算是有一些不錯(cuò)的進(jìn)展，基本的思路還是把Real to Sim to Real中的難點(diǎn)解耦，場(chǎng)景、人、物理，把每一個(gè)部分都爭(zhēng)取做到比較好或者說是可控和可用的水平，接下來我們就有機(jī)會(huì)再把這些部分耦合起來。

所以遵循這樣的思路，首先是兩年前就開始做場(chǎng)景的重建。通過大規(guī)模場(chǎng)景重建技術(shù)，為虛擬環(huán)境提供逼真的場(chǎng)景，比如采用全新的 Scaffold-GS 算法，可以達(dá)到既具備 3D Gaussian Splatting 的高性能渲染效率，也融合了多種經(jīng)典 NeRF 表征的靈活性和高質(zhì)量。這部分應(yīng)該是在全球處于非常領(lǐng)先的水平了。在更高質(zhì)量的同時(shí)，我們還往前多做了一些工作，通過對(duì)模型、系統(tǒng)、算子的升級(jí)，把所需的計(jì)算資源從原先的GPU降到了單張消費(fèi)級(jí)顯卡。

重建達(dá)到比較高的水平的同時(shí)，我們把生成的水平也提上來，所以也花了一點(diǎn)時(shí)間做了一些可交互的場(chǎng)景空間生成，從結(jié)構(gòu)上向現(xiàn)實(shí)靠攏。幾何和材質(zhì)、光線等又是需要花精力認(rèn)真攻克的部分，完全 Realistic 的生成還有更多研究需要做。

可控、物理可信的人體自然動(dòng)態(tài)生成也是非常重要的一部分，可以為引入到虛擬環(huán)境中的真人，提供自然、實(shí)時(shí)的人體動(dòng)態(tài)仿真、環(huán)境與人的交互仿真，以及多人交互仿真等能力。

當(dāng)我們將這些技術(shù)組合到一起，環(huán)境、人和物理仿真，我們其實(shí)就具備了 Rea l to Sim 的可行性，并在此基礎(chǔ)之上完成 Real to Sim to Real 的閉環(huán)。正如我前邊說的，實(shí)現(xiàn)高保真的 Real to Sim to Real 要比我們理論推演的或者想象的難的多。

我們最近做了一個(gè)嘗試，遇到了很多具體的具有挑戰(zhàn)性的問題，包括研究和工程上的。大概目標(biāo)是在一個(gè)逼真的虛擬戶外場(chǎng)景中，嘗試把人物角色耦合進(jìn)去，并希望實(shí)現(xiàn)人物角色自發(fā)的、或通過各項(xiàng)指令，完成自然、多樣的行為?，F(xiàn)在做出來的 Demo 我們覺得只有二三十分的狀態(tài)，但是定位到了很多值得攻克的問題，對(duì)我們來說很有意義。

SENSEAI：您想象中的終極模型是怎樣的，會(huì)有怎樣的性能和可能的商業(yè)價(jià)值，現(xiàn)有研究中有哪些已經(jīng)可以進(jìn)行商業(yè)應(yīng)用

戴老師：想象中的終極模型未必是一個(gè)大模型，無論是一個(gè)模型還是一套系統(tǒng)，本質(zhì)目標(biāo)是要成本和可用性上都達(dá)到可控，這就需要在設(shè)計(jì)模型和考慮工程可行性的時(shí)候充分考慮產(chǎn)業(yè)的真實(shí)需求和想法。

結(jié)合 Nvidia 和 Meta 等在做的事情，把數(shù)字化內(nèi)容做好是當(dāng)前比較清晰的一個(gè)方向，真正的將3D、物理、動(dòng)態(tài)通過多模態(tài)控制的方式設(shè)計(jì)好，這當(dāng)中可能會(huì)涉及比較多的工程問題要解決。數(shù)字內(nèi)容的生成能做好，我們就有機(jī)會(huì)向數(shù)字世界的模擬去靠近，從而實(shí)現(xiàn)數(shù)字世界向真實(shí)世界的映射，更好的與真實(shí)世界產(chǎn)生互動(dòng)。無論是機(jī)器人、自動(dòng)駕駛，還是更加偏向工業(yè)領(lǐng)域的產(chǎn)業(yè)落地都會(huì)被加速。

轉(zhuǎn)載請(qǐng)聯(lián)系公眾號(hào)后臺(tái)

https://daibo.info/

https://scholar.google.com/citations?hl=en&user=KNWTvgEAAAAJ&view_op=list_works&sortby=pubdate

http://arxiv.org/abs/1703.06029

https://openaccess.thecvf.com/content_cvpr_2017/papers/Dai_Detecting_Visual_Relationships_CVPR_2017_paper.pdf

https://sdolivia.github.io/FineGym/

https://arxiv.org/abs/2003.13659

https://controllablemdm.github.io/

https://arxiv.org/abs/2404.19722

https://arxiv.org/abs/2207.10860