2024年2月發(fā)布的文生視頻模型Sora引起關(guān)注。這一技術(shù)的問世被認(rèn)為是視頻生成領(lǐng)域的重大突破。對比同樣引起轟動的ChatGPT，二者在技術(shù)路線和產(chǎn)品定位上有所聯(lián)系，又有所區(qū)別。一方面Sora結(jié)合了ChatGPT所采用的模型架構(gòu)，能夠結(jié)合數(shù)個靜止畫面生成連續(xù)的視頻，也可以自動修補殘缺的視頻段。另一方面Sora和ChatGPT都有良好的自然語言理解能力，可以根據(jù)用戶的描述生成與調(diào)整視頻內(nèi)容，也可以對用戶提供的素材進行總結(jié)歸納和補充。Sora的問世是OpenAI在模型架構(gòu)、數(shù)據(jù)管理等方向積累創(chuàng)新的結(jié)果，其背后是GPT系列的技術(shù)轉(zhuǎn)化和新技術(shù)創(chuàng)新的融合。ChatGPT側(cè)重于對文本內(nèi)容的理解和生成，用戶可以與之進行對話問答，也可以指令其撰寫文章、編寫代碼等，其基礎(chǔ)功能主要由文字交互實現(xiàn)。最常見的應(yīng)用場景主要是文本內(nèi)容的處理，包括對文字的解讀、重組、拓展、排序等。Sora則側(cè)重于視頻內(nèi)容的創(chuàng)造，其核心功能是根據(jù)文本提示生成視頻內(nèi)容，在理解和模擬物理世界的前提下，構(gòu)造出虛擬的世界并展現(xiàn)這個世界的交互規(guī)律。
文生視頻模型都在多個方面表現(xiàn)出強大的能力，但其本身并不完美。類似的生成式模型仍然存在一些問題，如不能完全反映所有的物理規(guī)律，主要表現(xiàn)為一些違背生活常識和科學(xué)認(rèn)識的情況仍然會發(fā)生。上述文生視頻模型缺陷由來已久，并且在短期內(nèi)難以得到很好的解決，在維持、擴大模型優(yōu)勢的同時克服這些缺陷將成為人工智能產(chǎn)業(yè)下一階段的重點。
首先文生視頻模型的首要缺陷是其巨量的算力資源消耗。相較于主流的大語言模型算力，圖像參數(shù)要占用更多的算力資源。為了追求更好的模型性能，全球人工智能產(chǎn)業(yè)的算力需求還會進一步提高，算力匱乏的國家和地區(qū)將處于技術(shù)不利地位。
其次是模型幻覺現(xiàn)象依然嚴(yán)重。與文本生成模型類似，視頻生成模型也受幻覺效應(yīng)影響。訓(xùn)練數(shù)據(jù)在壓縮等處理環(huán)節(jié)中失真、用戶提示詞過于模糊或者根據(jù)安全策略不能響應(yīng)時，模型會被迫填補空缺內(nèi)容。這種填補有可能使模型陷入幻覺認(rèn)識，輸出與事實不符或者用戶未要求的內(nèi)容。
最后是生成視頻細(xì)節(jié)上存在常識性錯誤。文生視頻模型對物理法則的認(rèn)識還停留在初級階段，它能夠正確反映人和物體宏觀上的互動關(guān)系，但還不能準(zhǔn)確把握涉及物體形狀改變的物理規(guī)律。生成式人工智能既可能因為缺乏認(rèn)知而生成錯誤內(nèi)容，也可能因為被不當(dāng)灌輸認(rèn)知而生成錯誤內(nèi)容。比如，當(dāng)人物咬下一口餅干后，餅干卻依舊保持完整。雖然這類常識性錯誤通常被控制在很小的規(guī)模，但依舊說明模型對真實物理規(guī)律的理解還停留在較淺層次。
Sora的技術(shù)路線和性能表現(xiàn)依托于大語言模型基座提供的強大的自然語言理解能力。未來用戶與生成式人工智能的交互會越來越輕松，模型也會因為被大量用戶使用而得到進一步的反饋訓(xùn)練。研發(fā)能夠理解、再現(xiàn)甚至模擬物理交互的生成式人工智能將成為新的產(chǎn)業(yè)發(fā)展方向。
一是媒體行業(yè)能夠借助此類工具提高內(nèi)容生產(chǎn)效率，包括電視劇、電影、自媒體等行業(yè)在內(nèi)。隨著生成時長、場景準(zhǔn)確度、提示詞遵循度等性能指標(biāo)的不斷提升，生成式人工智能將有效降低媒體行業(yè)的制作成本和從業(yè)門檻，改變媒體行業(yè)的內(nèi)容生態(tài)。融合各種模型架構(gòu)的生成式人工智能還將在未來勝任不同內(nèi)容的具體任務(wù)，例如可以同時參與電影的腳本編寫、選角協(xié)助、鏡頭規(guī)劃和剪輯輔助等。在完整意義上的通用人工智能出現(xiàn)以前，可以并行承擔(dān)某個領(lǐng)域或行業(yè)內(nèi)所有工作的準(zhǔn)通用人工智能可能會先一步進入社會生產(chǎn)當(dāng)中。
二是創(chuàng)意產(chǎn)業(yè)生態(tài)會因生成式人工智能的不斷發(fā)展而變化。文生視頻模型所生成的虛擬視頻具備想象力和設(shè)計感，能根據(jù)關(guān)鍵詞、圖片或視頻生成相關(guān)內(nèi)容，創(chuàng)作者可以將自己的設(shè)計、思路和半成品交給人工智能，讓其生成完整的創(chuàng)意作品；或者找尋已有作品中的可改進之處?，F(xiàn)階段的生成式人工智能多搭載連接多個不同媒體形式的功能，可以融合文字、聲音、圖像、視頻等各形式素材，創(chuàng)造極其豐富的內(nèi)容。生成式人工智能產(chǎn)業(yè)會不斷強化模型對人思想的呈現(xiàn)能力，大幅降低內(nèi)容創(chuàng)作者的門檻。普通人也將有機會描繪自己心中的藝術(shù)世界，創(chuàng)意作品的內(nèi)容和形式將變得更加豐富，創(chuàng)意產(chǎn)業(yè)有望迎來新的發(fā)展。
三是游戲與仿真產(chǎn)業(yè)將借助生成式人工智能獲得新的發(fā)展方向。新一代生成式人工智能展現(xiàn)出的數(shù)字模擬能力無疑會進一步降低游戲的制作門檻，使小團隊也能獨立完成大制作的開發(fā)；這項突破還給數(shù)字仿真帶來了新的技術(shù)路線——如果生成式人工智能能夠正確且精準(zhǔn)地認(rèn)識物理規(guī)律，那么利用模型演算、預(yù)測復(fù)雜事件走向?qū)⒊蔀榭赡?。未來，生成式人工智能會越來越接近一個完整的虛擬世界引擎。
四是生成式人工智能有望成為元宇宙世界的基點，它們的表現(xiàn)在一定程度上融合了虛擬與現(xiàn)實，一旦與物聯(lián)網(wǎng)、腦機接口等前端技術(shù)結(jié)合，將會給社會帶來全新的信息交互方式。在大規(guī)模的訓(xùn)練后，不僅可以通過圖像理解視覺世界，還可以對現(xiàn)實世界進行模擬。雖然相關(guān)技術(shù)還有很大的進步空間，但是最先進的生成式人工智能已經(jīng)能夠模擬部分的物理交互。文生視頻只是新一代生成式人工智能的表現(xiàn)形式。物理模擬模型的本質(zhì)作用是進一步融合虛擬與現(xiàn)實，從虛擬中創(chuàng)造出無限接近現(xiàn)實的內(nèi)容。由此可見，生成式人工智能有望成為元宇宙建構(gòu)的另一個基點。
正如嬰兒無數(shù)次看到母親從一個地方消失又出現(xiàn)，他才能漸漸理解這個世界的物理法則，生成式人工智能已經(jīng)開始通過觀察動態(tài)的視頻學(xué)習(xí)3D一致性、物體連貫性等物理常識。算法從理解這個世界的真實物理關(guān)系到模擬出逼真的物理世界，或許只需要短短的數(shù)年時間。在這期間，先進的生成式人工智能可以賦能專用工業(yè)軟件，拓展其功能邊界、提升解決問題的效率。更多以模擬世界為目標(biāo)的模型將會問世，精準(zhǔn)地模擬過去難以實現(xiàn)的場景，在自動駕駛研發(fā)、產(chǎn)品設(shè)計、電影制作等業(yè)務(wù)中發(fā)揮作用。在人工智能的輔助下，更多的人能夠在更短的學(xué)習(xí)周期內(nèi)就掌握完成多數(shù)工作任務(wù)的能力，社會勞動力將會得到進一步的解放，出現(xiàn)在我們眼前的生成式人工智能絕不只是單純的視頻生成模型，而是AI與真實世界互動的開始。
