柚子快報激活碼778899分享：3D高斯?jié)姙R的崛起【三維重建】

http://yzkb.51969.com/

沉浸式媒體領(lǐng)域正在以前所未有的速度發(fā)展，其中 3D 高斯濺射成為一項關(guān)鍵突破。 這項技術(shù)在廣泛的應(yīng)用中看起來非常有前景，并且可能會徹底改變我們未來創(chuàng)建數(shù)字環(huán)境以及與數(shù)字環(huán)境交互的方式。

在本文中，我們將通過與攝影測量和 NeRF 等前輩進(jìn)行比較，探索 3D 高斯濺射的深度和潛力，并探索當(dāng)今市場上可用的一些工具。

NSDT工具推薦：?Three.js AI紋理開發(fā)包?-?YOLO合成數(shù)據(jù)生成器?-?GLTF/GLB在線編輯?-?3D模型格式在線轉(zhuǎn)換?-?可編程3D場景編輯器?-?REVIT導(dǎo)出3D模型插件?-?3D模型語義搜索引擎?-?Three.js虛擬軸心開發(fā)包?-?3D模型在線減面?-?STL模型在線切割

1、什么是 3D 高斯?jié)姙R？

3D 高斯分布是計算機(jī)圖形學(xué)中的一項復(fù)雜技術(shù)，它通過將點或“splats”從點云投影到 3D 空間，并為每個 splat 使用高斯函數(shù)來創(chuàng)建高保真、逼真的 3D 場景。 該技術(shù)支持復(fù)雜的依賴于視圖的視覺效果，并通過產(chǎn)生動態(tài)且逼真的可視化效果超越了傳統(tǒng)的點云渲染。

今年在 SIGGRAPH 2023 上發(fā)表了一篇最受歡迎的研究論文，詳細(xì)解釋了用于實時輻射場渲染的 3D 高斯分布的技術(shù)細(xì)節(jié)（全文和 git 存儲庫可在線公開獲?。?，引發(fā)了人們對這一主題的新興。

2、了解基礎(chǔ)知識：適合所有人的指南

為了更好地了解 3D 高斯噴射與可視化點云的傳統(tǒng)方法的比較，讓我們進(jìn)行實驗。 將自己視為一名藝術(shù)家，但你不是在普通畫布上繪畫，而是在你周圍的空間中進(jìn)行創(chuàng)作。 你為場景中的每個對象繪制彩色點，生成點的集合，我們將其稱為“點云”：

喬治·皮埃爾·修拉 (Georges Pierre Seurat) 的點畫派繪畫《大賈特的塞納河》

當(dāng)我們在傳統(tǒng)觀看器上可視化普通點云時，場景是由微小的點組成的，形成一幅圖片，類似于藝術(shù)中的點畫法。 點畫派藝術(shù)家使用小的、獨立的點來創(chuàng)作圖像。 雖然這些圖片從遠(yuǎn)處看起來不錯，但近距離觀察時，它們只是單獨的點。 大多數(shù)傳統(tǒng)點云可視化技術(shù)也會出現(xiàn)同樣的問題。

克勞德·莫奈的印象派繪畫《撐陽傘的女人——莫奈夫人和她的兒子》

現(xiàn)在，想象一下像印象派藝術(shù)家一樣繪畫。 他們不只是使用點，他們在畫布上混合顏色，使畫面更平滑、更真實。 這就是 3D 高斯?jié)姙R背后的想法：它不只使用點，而是使用柔和地混合在一起的“潑濺”。 每個splat就像一個溫柔的點，有自己的顏色并且可以是透明的。

摘自 Tilt Brush：從新角度繪畫

為了更好地理解這一點，請考慮一下霧。 使用傳統(tǒng)的點云可視化方法，就像看到每個微小的霧滴一樣。 相反，使用高斯濺射就像觀察霧的平滑、整體效果 - 每個部分都融入到下一個部分中。

為此，3D 高斯分布使用一種稱為高斯的數(shù)學(xué)函數(shù)，這使得空間中的“連續(xù)可視化”成為可能。 由于這個公式，場景看起來更加真實，賦予其深度和自然的外觀，而不是看起來離散和像素化。

3、高斯函數(shù)是什么樣的？

高斯函數(shù)是 3D 高斯分布的基礎(chǔ)，類似于鐘形曲線，對于將單個點轉(zhuǎn)換為生動、連續(xù)的場景至關(guān)重要。

3D 高斯圖使用它來表示以下信息：

位置 (XYZ)：確定每個點在 3D 空間中的位置。協(xié)方差（3x3 矩陣）：規(guī)定每個點如何拉伸或縮放，從而影響其形狀和大小。顏色 (RGB)：決定每個點的色調(diào)，增加視覺豐富度。Alpha（α）：控制透明度，使場景更加逼真。

4、3D 高斯濺射與攝影測量與 NeRF

將 3D 高斯濺射與攝影測量和 NeRF（將真實地點或物體數(shù)字化為數(shù)字孿生的其他成熟技術(shù)）進(jìn)行比較時，了解它們的差異非常重要。

他們的工作流程都有一個共同的起點：從不同角度拍攝物體或環(huán)境的多張重疊照片。 然后通過每種技術(shù)對它們進(jìn)行不同的處理，以生成捕獲環(huán)境的數(shù)字版本。

4.1 攝影測量

這些圖像用于根據(jù)每張圖片上檢測到的相機(jī)位置構(gòu)建 3D 網(wǎng)格。

優(yōu)點：攝影測量以其相對較低的計算占用量和 3D 網(wǎng)格的直接輸出而聞名。 該網(wǎng)格很容易在傳統(tǒng)游戲引擎渲染管道中使用。 此外，這些網(wǎng)格可以為動畫蒙皮，使其成為游戲開發(fā)和動畫模擬應(yīng)用的理想選擇。

缺點：該技術(shù)在處理閃亮或透明表面時存在局限性，可能會導(dǎo)致生成的 3D 模型出現(xiàn)孔洞和形狀錯誤。

使用案例：攝影測量適用于資源效率至關(guān)重要且最終產(chǎn)品需要以 3D 網(wǎng)格模型的形式與標(biāo)準(zhǔn)游戲引擎或動畫工具無縫集成的情況。

以下是我使用攝影測量和現(xiàn)實捕捉根據(jù)照片重建的?3D 模型示例：

4.2 神經(jīng)輻射場 (NeRF)

使用人工智能和神經(jīng)網(wǎng)絡(luò)處理圖像，生成場景的任何視角，通過混合現(xiàn)有信息來填充任何間隙或丟失的照片。

優(yōu)點：NeRF 的優(yōu)勢在于其人工智能驅(qū)動的能力，可以生成場景的任何視角，通過混合現(xiàn)有圖像來填充間隙或丟失的照片。 這使得它對于攝影測量可能遇到困難的復(fù)雜場景特別有效。 此外，由于 NeRF 具有學(xué)習(xí)智能，因此不需要像攝影測量那樣多的各個角度的圖像。

缺點：雖然 NeRF 擅長處理攝影測量的缺點，但與攝影測量和 3D 高斯濺射相比，它的計算要求更高且渲染速度更慢。

使用案例：它非常適合在視點生成方面需要高度靈活性的應(yīng)用程序以及處理不完整數(shù)據(jù)具有挑戰(zhàn)性的場景。

以下是我使用 Nerfstudio 制作的 NeRF 捕獲的示例視頻：

4.3 3D 高斯?jié)姙R

使用光柵化技術(shù)，允許從小圖像樣本實時渲染照片級真實感場景。 首先使用“運動結(jié)構(gòu)”方法根據(jù)初始圖像集估計點云。 然后將每個點轉(zhuǎn)換為高斯分布，由位置、協(xié)方差、顏色和透明度等參數(shù)描述。

優(yōu)點：與 NeRF（截至目前）相比，該技術(shù)以其快速、實時光柵化以及創(chuàng)建高質(zhì)量、逼真場景的能力而聞名。 該技術(shù)還特別擅長令人信服地渲染頭發(fā)等薄表面，提供高質(zhì)量的實時可視化效果。

缺點：高斯?jié)姙R（截至目前）以其高 VRAM 使用率而聞名，并且尚未與現(xiàn)有渲染管道完全兼容。

使用案例：高斯?jié)姙R在實時渲染和復(fù)雜細(xì)節(jié)（如頭發(fā)或薄結(jié)構(gòu)）可視化至關(guān)重要的場景中非常有用，例如在虛擬現(xiàn)實應(yīng)用程序或高端可視化中。

值得注意的是，由于所有三種技術(shù)在工作流程開始時都使用輸入照片的數(shù)據(jù)集，因此在使用相同的圖像數(shù)據(jù)集時交換它們相對容易，以根據(jù)所需的用例生成不同的可視化效果。

以下視頻比較了所有三種技術(shù)，從相同的輸入圖像數(shù)據(jù)集開始：

這是一個重點介紹 NeRF 和高斯 Splatting 捕獲之間差異的視頻：

5、實際應(yīng)用和行業(yè)影響

3D 高斯分布不僅僅是一個理論奇跡，它的實際應(yīng)用也非常廣泛。 其中包括：

房地產(chǎn)：增強(qiáng)虛擬房地產(chǎn)之旅，為潛在買家提供真實的體驗。 這可以徹底改變遠(yuǎn)程展示和探索房產(chǎn)的方式。城市規(guī)劃：協(xié)助創(chuàng)建城市的數(shù)字孿生，幫助更好的規(guī)劃和管理。 通過提供高保真、實時的城市空間渲染，它為更有效的城市發(fā)展戰(zhàn)略做出了重大貢獻(xiàn)。虛擬現(xiàn)實 (VR) 和增強(qiáng)現(xiàn)實 (AR)：高斯?jié)姙R在創(chuàng)建高度逼真的 VR 背景（為各種應(yīng)用程序創(chuàng)建作為背景設(shè)置的虛擬環(huán)境或場景）方面特別有效，可將虛擬環(huán)境的沉浸感提升到新的水平。電子商務(wù)和平面設(shè)計：它可以通過實現(xiàn)高質(zhì)量、實時的產(chǎn)品 3D 渲染來徹底改變在線購物體驗，從而帶來更具互動性和身臨其境的購物體驗。 在圖形設(shè)計中，它可以幫助創(chuàng)建更逼真的 3D 模型和動畫，從而提高設(shè)計過程的質(zhì)量和速度。遠(yuǎn)程呈現(xiàn)中的真實感虛擬人物：Meta 對編解碼器虛擬人物的高斯?jié)姙R實驗展示了其在 VR 環(huán)境中實現(xiàn)真實感遠(yuǎn)程呈現(xiàn)的潛力。 該應(yīng)用程序增強(qiáng)了虛擬人物的真實感和照明效果，這是沉浸式虛擬通信的關(guān)鍵要素

相機(jī)跟蹤和 3D 重建：SplaTAM 是密集 RGB-D SLAM 中的高級應(yīng)用程序，它使用高斯 Splatting 在現(xiàn)實場景中進(jìn)行精確的相機(jī)跟蹤和高保真重建，展示了其在復(fù)雜空間映射和 3D 重建中的實用性。

游戲：通過更加身臨其境和真實的環(huán)境提升游戲體驗。 Gaussian Splatting 插件已可用于 Unity 和 Unreal Engine 等主要游戲引擎，從而增強(qiáng)游戲世界的視覺質(zhì)量

它處理大型數(shù)據(jù)集的能力及其多功能性吸引了各個領(lǐng)域的目光，標(biāo)志著我們與虛擬世界交互方式的潛在革命。

6、游戲引擎和協(xié)作 3D 平臺的集成

將 3D 高斯?jié)姙R納入 Unity 和 Unreal Engine 等游戲引擎中標(biāo)志著游戲開發(fā)的重大進(jìn)步。 插件和軟件包現(xiàn)已推出，將這項技術(shù)帶給更廣泛的受眾，并釋放互動游戲和模擬的新可能性。

對于 Unity，GaussianSplatting 包（Unity Asset Store）和對于 Unreal Engine，UEGaussianSplatting 插件（Unreal Engine Marketplace）就是此類開發(fā)的示例。

最近，協(xié)作 3D 平臺?Spline?實施了另一個解決方案，該解決方案通過一個非常令人興奮的演示展示了對 3D 高斯?jié)姙R的支持，此處是進(jìn)一步討論。

我們預(yù)計未來將會發(fā)布更多插件和工具，進(jìn)一步改善數(shù)字產(chǎn)品中對高斯分布的支持。

8、Android 上的高斯?jié)姙R

雖然?Luma AI?和?Polycam?等公司的高斯?jié)姙R管道瞄準(zhǔn)了 iOS 和 Web，但最近 Kiri Innovations 團(tuán)隊在其新的?Kiri Engine 3.0?中宣布支持 Android，這是一款適用于 Android 和 iOS 設(shè)備的 3D 掃描應(yīng)用程序。

Kiri Engine 最初于 2022 年作為攝影測量工具發(fā)布，可根據(jù)源照片重建 3D 模型。 3D 高斯濺射的加入代表了一項重大進(jìn)步，允許創(chuàng)建和查看高質(zhì)量、可能快速渲染的對象或場景的 3D 表示。

9、3D 高斯斑點查看器示例

Luma AI 和其他平臺提供了高斯?jié)姙R的交互式示例，將日常場景變成身臨其境的體驗。

此處托管一些基于 WebGL 的 3D 高斯?jié)姙R捕獲示例。

令人難以置信的是，這些工具還可以與舊圖像一起使用，生成過去事件的吸引人的高斯圖。 2009 年的“MTV 電影獎”就是這樣，紅地毯上設(shè)有“時尚 360 度旋轉(zhuǎn)”舞臺，最近被用來拍攝幾位知名藝術(shù)家的照片。

例如，查看這個栩栩如生的 Miley Cyrus 的高斯 Splats 捕獲：

10、挑戰(zhàn)和未來方向

盡管 3D 高斯?jié)姙R具有令人鼓舞的優(yōu)勢，但它仍面臨計算強(qiáng)度和實現(xiàn)復(fù)雜性等挑戰(zhàn)。 然而，隨著研究深入克服這些障礙，以及 SIGGRAPH 等論壇和會議上的討論推動進(jìn)一步創(chuàng)新，未來看起來是光明的。 在最近的解決方案中，有人嘗試減小 Gaussian Splats 文件的大小，例如程序員 Aras Pranckevi?ius 的解決方案

我個人和專業(yè)都對 3D 高斯?jié)姙R及其提供的機(jī)會感到非常興奮。 隨著技術(shù)的成熟和社區(qū)的發(fā)展，其應(yīng)用只會不斷擴(kuò)大，有望重新定義沉浸式媒體。

原文鏈接：3D高斯?jié)姙R的崛起 - BimAnt

柚子快報激活碼778899分享：3D高斯?jié)姙R的崛起【三維重建】

http://yzkb.51969.com/

好文推薦