深圳市奧拓電子股份有限公司常務副院長 王勇
摘要:2020年,XR延展技術的興起使影視行業出現了全新的變革,基于LED背景墻的LED虛擬制作成為了行業內人士一直討論的熱門話題。XR(Extend Reality)技術與LED顯示屏結合,搭建了一座貫通虛擬與現實的橋梁,在影視虛擬制作領域大放異彩。本文基于奧拓電子在為客戶提供數十個LED攝影棚方案的研發與測試工作中,對LED虛擬制作技術與方案進行分析總結。本文將重點從整體制作流程、集成設備應用、核心優勢等方面深入剖析,為更多影視虛擬化制作項目的成功落地提供參考。什么是LED影棚虛擬制作?
LED影棚虛擬制作是一種綜合的解決方案,工具和途徑。我們將LED虛擬制作定義為“實時的數字化制作”。在實際使用中,LED虛擬制作可以分為“VP攝影棚”和“XR延展影棚”兩種類型應用。
VP攝影棚
VP攝影棚是一種新型的影視拍攝方式,更多用于電影、電視劇的拍攝,可以使影視制作人用LED屏取代綠幕,直接在片場顯示實時背景和視覺特效。VP攝影棚拍攝的優勢可以體現在多個方面:1、攝影空間自由化,可在室內影棚內完成各種場景的拍攝,無論是森林草原雪山,都可以使用渲染引擎實時創建,大幅度減少取景和拍攝成本。2、制片全流程簡單化,“所見即所得”,在拍攝過程中制作人可以在屏幕上及時查看想要的拍攝畫面,場景內容和敘事空間皆可實時修改、調整,大幅度提高換景、改景的效率。3、表演空間沉浸化,在片場的演員站在實時生成場景的XR舞臺上,可以在沉浸式空間內進行表演,直接體驗,演員表演更真實、更自然。同時,LED顯示屏的光源為現場提供真實光影效果與細膩色彩表現打光,拍攝出的效果更加逼真、完美,極大提升影片整體質量。4、縮短投資回報周期,相比起傳統的耗時耗力的電影拍攝流程,虛擬拍攝制作因為效率高、周期大幅度降低,可更快實現影片的上映,節省演員的片酬以及工作人員的支出費用,大幅度降低拍攝成本。這種基于LED背景墻的電影虛擬制作被認為是電影制作方面的巨大發展,為影視行業的未來提供了全新的動力。
XR延展影棚
XR延展拍攝,是指使用視覺交互技術,通過制作服務器將真實與虛擬相結合,利用LED顯示屏打造一個可人機交互的虛擬環境,為觀眾帶來虛擬世界與現實世界之間無縫轉換的“沉浸感”。XR延展影棚可用于網絡直播、電視臺直播、虛擬音樂會、虛擬晚會和廣告拍攝等場景。XR延展影棚拍攝可以將虛擬內容擴展到LED舞臺之外,使虛擬和現實實時疊加,增強觀眾的視覺沖擊感和藝術創意感,讓內容創作者在有限的空間創造出無限可能,盡情追求無盡的視覺體驗。
LED影棚虛擬制作的工作流程
在LED影棚虛擬制作中,“VP攝影棚”與“XR延展影棚”的整個拍攝流程大致相同,分為前期籌備、前期制作、現場制作、后期制作四個部分。
VP攝影棚拍攝流程:
VP影視制作與傳統電影制作方法最大的不同在于流程上的變化,最重要的特征是“后期前置化”。VP影視制作將傳統視效影片中的三維資產制作等環節移至影片實際拍攝之前,前期制作的虛擬內容可直接用于現場攝影機內視效拍攝,而渲染、合成等后期環節移至拍攝現場,合成畫面的實時完成,大大減少了后期制作的工作量,提高了制作效率。在視頻拍攝前期,視覺特效師需使用實時渲染引擎以及虛擬制作系統,創建3D數字資產。接下來,利用高顯示性能的無縫拼接LED顯示屏作為背景墻(通常呈現為環幕或球幕)在工作室中搭建一個LED舞臺,通過XR虛擬服務器將前期制作的三維渲染場景載入到LED背景墻上,打造出高畫面質量的沉浸式虛擬場景。再采用精確的攝影機追蹤系統,采用物體位置追蹤與定位技術對物體進行跟蹤拍攝,最終拍攝完成后,將拍攝到的素材通過特定協議(Free-D)傳回到XR虛擬服務器進行查看剪輯。
XR延展影棚拍攝流程:
XR延展拍攝的步驟與VP影棚拍攝大致相同,但通常在VP攝影棚拍攝中整個拍攝畫面都是在相機中捕獲的,而不需要擴展。而在XR延展影棚中,因為其畫面延展的特殊性,在后期制作時多了對“背景”畫面進行擴展的環節。在拍攝好的素材回傳至XR虛擬服務器后,需要再通過畫面疊加的方法,將場景延展顯示到外錐無屏區域,將現實場景與虛擬位置進行融合。實現更真實、更加沉浸式的后臺效果。然后通過顏色校準、定位校正、色彩匹配及邊緣過度等畫面處理技術,實現屏內外畫面的和諧統一,最終輸出擴展后的整體畫面。在導播系統后臺,就可以看到并輸出完成的虛擬場景。在擴展現實的基礎上,XR延展拍攝還可以加入動態捕捉傳感器,實現AR追蹤的互動效果,表演者可以在舞臺上即時、無限制地與三維空間內的虛擬元素進行交互。
LED虛擬制作用到的設備有哪些?
LED影棚虛擬制作是技術的融合,所需要的軟硬件設備有LED顯示屏、虛擬引擎、攝像機追蹤系統以及虛擬制作系統等。只有通過這些軟硬件系統的完美集成配合,才可以拍攝出奇幻炫酷的視覺效果,獲得最終的效果。XR延展攝影棚的LED顯示屏雖然建設面積較小,但是在直播中需要低時延特性提供支持,需要更大的數據傳輸與實時互動,需要性能更強的系統支持即時的影像處理。VP攝影棚LED建設面積較大,但因不需畫面擴展,對系統的要求相對較低,但是需要高質量畫面拍攝,對虛擬引擎、攝像機等其他設備配置較高,須達到專業級別。
虛擬制作服務器:
將物理舞臺與虛擬場景連接起來的基礎設施。高度集成LED顯示屏硬件、控制系統、內容渲染引擎和攝像頭跟蹤。XR虛擬制作服務器是虛擬拍攝工作流的核心,負責接入攝像機跟蹤系統+虛擬生產內容+攝像機拍攝的實時畫面,輸出虛擬內容到LED墻,輸出合成的XR視頻畫面給導播臺,用于直播及存儲。最常見的虛擬制作系統有:Disguise、Hecoos。
渲染引擎:
視頻制作的渲染引擎是各種最新圖形技術的表現者,渲染引擎應用于視頻制作就猶如汽車的引擎,決定著節目畫面的真實感、流暢度、吸引力。觀眾所看到的畫面、場景、色彩效果等內容都是由引擎直接控制的,這些效果的實現包含了許多渲染技術:光線追蹤-圖像像素以光的粒子計算;路徑追蹤-光線反射回視口計算;光子映射-光源發射“光子”計算;光能傳遞-散射表面反射到攝影機中的照明路徑。
最常見的渲染引擎有:Unreal Engine、Unity3D、Notch、Maya、3D MAX 。
攝像機追蹤系統:
攝影機定位跟蹤指的是對真實空間中攝影機的位置和姿勢進行跟蹤的過程。由定位機、搖臂、攝像機穩定器、云臺、編碼器、雙目立體視覺機器等一整套設備組成。拍攝的空間信息被實時傳送至渲染引擎,為引擎中的虛擬攝影機提供真實攝影機在三維空間中的位置信息,以及鏡頭參數信息,包括焦距、焦點和光圈等。依靠實時渲染和實時摳像與合成技術,實現虛擬攝影機與真實攝影機的運動及構圖的同步,使得實拍畫面與虛擬元素得以實時合成。攝像機實時動態跟蹤技術分為三種:網格識別–基于攝影機在二維X、Y軸平面的輕微移動進行實時的運算的跟蹤方式,無需改裝攝像機的跟蹤方式;機械傳感跟蹤-裝在基座上或三腳架上,提供非常精確的高分辨率的解決方案;紅外跟蹤-通過紅外和發射器計算攝像機位置。
最常見的攝像機追蹤系統有:Mosys、Redspy。
燈光系統:
在場景已有的自然光源照明不足的前提下,有必要人為地增強場景中的照明,以增強膠片的感光,提高畫面的亮度,對于空間的建立、氛圍的營造有著重要的作用;A燈光-在LED背景墻提供基礎光照的情況下,仍需要利用燈光設備補充光照,以彌補背景墻照明窄光譜低顯色、無方向性、無硬光的問題;補充燈光-LED燈光矩陣+柔光燈彌補背景墻照明窄光譜、低顯色、無方向性、無硬光的問題;特效燈光-在特定的拍攝場景,根據場景+劇情需要而臨時布置的燈光;燈光控制系統-數控燈光可以通過DMX/Artnet等協議被虛擬引擎和XR融合系統直接驅動控制。
常用的燈光系統有:ARRI。
LED顯示屏:
LED影棚虛擬制作是大屏顯示應用的新場景,是LED小間距市場不斷發展,LED顯示設備的技術水平不斷提高而衍生出的新市場。與傳統的LED屏幕應用相比,虛擬制作的LED顯示屏對準確色彩還原,動態高刷新,動態高亮度,動態高對比度,無色彩偏移的廣視角、高質量畫面顯示等等都有更為嚴苛的要求。經過多次測試,奧拓電子的Mini LED技術在虛擬拍攝應用有明顯領先的優勢。
抑制摩爾紋:摩爾紋是LED屏幕在拍照設備的感光元件上成像時形成的高頻干擾,會使圖片出現彩色的條紋。Mini 4合1技術可以使LED顯示屏達到80%以上的發光開口率。Mini LED搭配特殊型號的鏡頭、景深和光圈,可以獲得更廣的調節自由度,虛焦程度更低,巧妙避開顯示屏在成片中產生摩爾紋的情況,最終實現拍攝角度逼真的沉浸式效果。
低反射:越小的光反射率對屏幕表面的影響越小,可以實現更真實的背景畫面。在Mini小間距屏體表面,燈組之間有獨特的吸光槽設計,以減少光的影響;并且表面采用磨砂啞光工藝,將光線反射率控制在5%以下,拍攝角度可接近180度。輕松應對拍攝現場的各種光線環境,畫面更干凈,拍攝不易穿幫。
寬色域高顯指:色域匹配及轉換技術應用,可以真實、準確地還原自然界色彩,奧拓LED顯示屏色域校正后可達110% NTSC色域。高顯指CRI,保證色彩均勻性好,可以優化各色各波段的連續光譜,提升顯色指數。同時,提高光效,在保證發光效率前提下,抑制部分藍光能量,補償紅色(R9)光譜。
廣視角無色偏:Mini LED產品能夠提供近180°更廣闊的拍攝視角,保證不偏色;24bit處理深度,更好地呈現圖像的層次、細節,從任何角度觀察或拍攝,都能呈現到良好的視覺效果。
低掃描高刷新:1/6掃描率和7680Hz的刷新率,Mini LED小間距屏在高刷新下,拍攝畫面穩定,無波紋黑屏,圖像邊緣清晰,準確還原圖像真實信息。
奧拓電子LED顯示產品
LED背景墻推薦產品:奧拓RM系列
RM系列是奧拓專為“真場景”打造的一款高匹配度的產品。有1.5mm、1.9mm、2.3mm三個點間距可選,制作人可以根據拍攝場景距離選擇合適的點間距。這三款點間距產品都適用于XR延展影棚,而在VP攝影棚中,1.5mm和2.3mm用到的更多。
特點:采用IMD封裝技術,Mini4合1燈珠,表面具有更小的反射和超黑的墨色大大提升對比度;HDR技術及26bits的顏色控制;1500nits(Boost 2000nits)高亮顯示;重量輕巧安裝快捷便利,快速實現內外弧無縫拼接,節省安裝成本和周期;采用支持前后維護的結構設計,方便現場便捷維護,降低維護成本;邊緣保護設計;支持前后維護。
LED天幕屏推薦產品:奧拓MXH系列
MXH系列具備高亮、高安全、寬色溫等特點,通常應用于VP攝影棚,為拍攝現場營造幾乎任何場景的光照及實景(反射)環境。
特點:獨特的天幕設計結構,能實現快速安裝;支持吊裝、座裝,以及內外弧拼接,一屏多用;鋁鎂合金,重量輕,小于20kg/㎡;快鎖裝置、480*960大箱體拼裝快;高亮度,最高可達6000 nit;無極色溫調節;模組可更換、前后維護。
LED地磚屏推薦產品:奧拓AE2.3系列
通常適用于大多數情況下VP攝影棚不會采用地磚屏,地面一般用于擺放拍攝道具,XR延展影棚更傾向于將LED背景墻與LED地板的結合使用。
特點:采用500mm*500mm壓鑄鋁框架,高精度CNC加工完成,可實現箱體間無縫拼接;底殼采用點對面承受柱,承載重量達2Tons/平方米,可靠性高;模組前維護,3秒實現模組更換,顯著提高維護效率;面罩采用進口高透耐磨材料,防刮防磨顏色均勻無色差。高透耐磨PC材料,防刮防磨顏色均勻,防滑級別>=R9;前后IP65防水設計;人屏互動、多點觸控。
VP攝影棚項目應用案例
騰訊影棚
上海影棚
Vossler影棚
Dexter影棚
XR延展影棚項目應用案例
CES演播廳
阿拉伯電視臺
土耳其電視臺
結語:
LED虛擬制作的美好未來已大踏步向我們走來。如何用更先進的顯示技術和XR解決方案來推動虛擬制作行業的進步,為人們更好的視聽生活貢獻力量,將是眾多LED屏企業在該領域占據一席之地的重要條件,也是LED屏企業提升核心競爭力的重要舉措之一。