Teknik rendering yang sedikit dikenal yang dapat menciptakan grafik foto-nyata berbiaya rendah mungkin akan memiliki momen besarnya dalam pengembangan game

Gaya seni foto-nyata jarang menjual saya pada permainan. Konon, selama beberapa bulan terakhir, teknologi yang menghadirkan grafis fotorealistik berbiaya rendah telah menjadi obsesi tunggal saya: splatting Gaussian.

Sebelumnya, saya tersesat dalam FPS yang sangat mendasar ini meletakkan adegannya di dalam percikan Gaussian dari ruang terbengkalai dunia nyata. Saya bertemu dengan artis demo berbasis browser, Christoph Schindelar, untuk pengenalan tentang apa itu Gaussian Splatting dan cara kerjanya. Tapi hari ini, saya ingin menyelam lebih dalam tentang bagaimana hal itu dilakukan dan untuk apa itu dapat digunakan—jadi saya mengganggu Christoph Schindelar untuk wawasannya sekali lagi.

Schindelar adalah seniman pemindaian yang sebelumnya bekerja untuk Quixel, sebuah perusahaan milik Epic dengan perpustakaan aset pemindaian 3D yang terkenal di dunia. Dia telah menjadi splatting Gaussian (atau GS) setidaknya sejak 2024. Sebagai rekap singkat, Schindelar menggambarkan Gaussian Splatting sebagai "metode pengambilan dan rendering modern yang mengubah foto atau video menjadi representasi 3D real-time." Ini sangat mirip dengan fotogrametri tetapi bisa dibilang jauh lebih sedikit sumber daya.

"Cara sederhana untuk membayangkannya seperti sistem rendering berbasis point-cloud atau partikel / sprite yang sangat canggih," kata Schindelar, "Adegan ini tidak dibangun dari poligon, tetapi dari jutaan Gaussian 3D semitransparan kecil, sering disebut 'splats'. Setiap splat memiliki posisi, ukuran, orientasi dan opasitas 3D, [ditambah] perilaku yang bergantung pada tampilan yang disebut 'harmonik bulat'. Saat ditampilkan, pendekatan memproyeksikan jejak elips di layar."

Di masa lalu, saya memecah penjelasan teknis tentang apa itu GS dengan menyamakan setiap 'splat' dengan biji dandelion. Satu puffball kecil tidak terlihat banyak, tetapi Anda mengumpulkan segenggam besar dan bentuk lembut mulai terbentuk. Nah, bayangkan pembenaran yang saya rasakan ketika Schindelar menunjukkan kepada saya close-up di bawah ini dari patung sefalopoda—lihat saja semua Gaussian 3D kecil yang bertiup angin.

Splatting Gaussian menarik sebagian karena jauh lebih sedikit sumber daya daripada teknik rendering lain yang digunakan untuk membuat grafik fotorealistik. Alih-alih streaming, katakanlah, tekstur berkualitas tinggi, Schindelar menjelaskan, "GPU sebagian besar hanya perlu memproyeksikan dan memadukan splat ini, [jadi] pemutaran bisa sangat cepat."

Lebih baik lagi, ini bisa menjadi rute yang dapat diakses untuk presentasi fotorealistik untuk proyek yang lebih kecil. Ketika saya bertanya kepada Schindelar apa satu hal yang dia ingin lebih banyak orang ketahui tentang splatting Gaussian, dia menjawab bahwa teknologi tersebut "diimplementasikan di hampir setiap mesin utama (mandiri atau melalui plugin)."

"Apa yang sangat menarik bagi saya saat ini adalah bahwa GS membuka pintu bagi pembuat konten independen," Dia melanjutkan dengan mengatakan, "Sementara industri game beranggaran besar tampaknya cukup lambat dengan penerapan teknologi baru, studio kecil tidak! Eksperimen praktis yang paling menarik saat ini sedang terjadi dengan pengembang indie dan pembuat konten independen. Kami adalah orang-orang yang mendorong maju sekarang."

Lantas, bagaimana splat sausage dibuat? Pertama datang pemindaian. Untuk "pekerjaan kelas atas, [di mana] kesetiaan warna, rentang dinamis, dan kualitas gambar secara keseluruhan sangat penting," Schindelar menghabiskan beberapa jam untuk mengambil gambar menggunakan kamera DSLR atau solusi kamera-RIG.

Schindelar menguraikan, "Misalnya, saya memindai dan memproses bekas pabrik timah dan barang yang ditinggalkan ini, termasuk [seluruh] interior dan eksterior dalam waktu dua minggu [menggunakan] satu Sony A7R4."

Adapun resolusi yang diperlukan dari gambar-gambar ini, ini dapat bervariasi tergantung pada "ukuran lingkungan, jarak tangkapan, bidang pandang, tingkat detail yang diinginkan, dan kasus penggunaan." Sementara bekerja dengan kamera resolusi yang lebih rendah umumnya akan membutuhkan lebih banyak gambar untuk menangkap semua detail, Schindelar juga mengatakan itu tidak selalu kasus "lebih banyak megapiksel selalu lebih baik."

"Ini tentang memiliki informasi visual yang cukup dari sudut pandang yang tepat," katanya.

Dengan kata lain, Anda mungkin bisa lolos dengan kumpulan data resolusi lebih rendah untuk patung cumi-cumi di atas, atau ruang fisik yang sempit, selama Anda mengambil liputan close-up untuk menangkap detailnya. Adegan yang lebih besar, di sisi lain, biasanya akan membutuhkan lebih banyak cakupan resolusi tinggi.

Schindelar menjelaskan, "Misalnya, di lingkungan hutan, saya biasanya bekerja dengan kamera beresolusi tinggi, karena saya tidak ingin visualnya pecah di baris pertama pohon—jika tidak, saya perlu berjalan jauh-jauh untuk mendapatkan setiap pohon dengan tangkapan close-up."

Dengan demikian, kumpulan data yang dihasilkan dari sesi pengambilan ini dapat sangat bervariasi dalam ukuran. "Dalam beberapa proyek kelas atas, saya telah mencapai kumpulan data penangkapan mentah mendekati 1,5 TB. Tapi itu jelas bukan apa yang diharapkan oleh sebagian besar pengembang indie dalam produksi sehari-hari. Dalam banyak kasus praktis, data mentah lebih banyak dalam kisaran gigabyte dua digit," kata Schindelar.

Pasca-pemrosesan kemudian dapat memakan waktu antara satu dan tiga hari. "Bagian yang benar-benar menarik yang bersinar di sini adalah pipa rekonstruksi," Schindelar memulai. "Mulai dari gambar referensi yang diambil, biasanya dengan posisi kamera yang telah disejajarkan sebelumnya dan awan titik jarang yang diperkirakan melalui [struktur dari gerakan, yaitu fotogrametri], proses pengoptimalan Gaussian Splatting menyesuaikan splat hingga tampilan yang dirender cocok dengan foto asli sedekat mungkin. Inilah yang kami sebut 'pelatihan splat.'"

Dia kemudian menambahkan, "Di awal pelatihan, Anda melihat awan percikan yang kacau, tersebar di seluruh tempat kejadian dan belum sejajar dengan benar. Selama pengoptimalan, awan ini secara bertahap menyatu menjadi representasi yang koheren, hingga hasil yang dirender sangat cocok dengan gambar sumber asli. Itu kemudian hasil AKHIR kami."

Dalam hal perangkat keras, rupanya GPU Nvidia lebih disukai untuk bagian proses ini. Schindelar menggunakan RTX 5090 untuk pelatihan splat di sebagian besar proyek, tetapi juga menekankan bahwa workstation monster jauh dari diperlukan, setelah melihat beberapa seniman splat mencapai hasil yang baik dengan laptop yang relatif ringan.

"Faktor perangkat keras yang paling penting adalah VRAM karena semua data harus di-cache pada kartu," jelasnya, "Kekuatan GPU itu penting, tentu saja, tetapi dalam produksi saya akan mengatakan VRAM adalah hal yang selalu Anda inginkan."

Konon, ada opsi berbasis cloud untuk pemrosesan juga. "Varjo Teleport, misalnya, diposisikan sebagai platform cloud untuk 3D dunia nyata dan secara eksplisit menyebutkan kluster GPU elastis untuk menskalakan alur kerja Gaussian Splatting," kata Schindelar kepada saya, "KIRI Engine juga menawarkan pemrosesan Gaussian Splatting bergaya aplikasi/cloud dan juga XGRIDS memiliki layanan pemrosesan berbasis cloud mereka sendiri."

Schindelar menjelaskan bahwa "setelah rekonstruksi, pelatihan, dan ekspor," sebagian besar adegan GS memiliki ukuran file yang jauh lebih kecil daripada kumpulan data yang digunakan untuk membuatnya. Dia berkata, "Untuk banyak lingkungan saya, data yang diekspor mungkin berakhir dalam kisaran beberapa gigabyte—seringkali sekitar 2 hingga 4 GB—dan ini masih bukan versi yang dioptimalkan/terkompresi. Adegan kontinu terbesar saya saat ini adalah sekitar 130 juta splat dengan sekitar 16 GB tidak terkompresi, dan itu bahkan bukan [ruang besar], tetapi kompleks dan sangat detail."

Splat terbesar yang dimaksud adalah demo Urbex: Greenhouse Schindelar, di mana saya terkejut menemukan diri saya menghabiskan begitu banyak waktu untuk mengagumi pot tanaman yang terbalik. Beralih dari yang terbesar ke yang terkecil, Shindelar menyoroti demo PlayCanvas menggunakan kompresi 'Self-Organizing Gaussians'; "Kami mendorong adegan gereja dari sekitar 1 GB menjadi hanya 55 MB tanpa kerugian yang terlihat secara signifikan," katanya.

Interior Gereja Kefermarkt adalah hal yang harus dilihat dari meja Anda. 'Berdiri' di antara bangku, altar kayu berukir abad ke-15 akan membuat Anda takjub... meskipun bergerak dekat mengkhianati banyak Gaussian yang membentuk representasi ini. Schindelar mencatat bahwa melihat splats dari dekat bisa terlihat aneh karena orang tidak terbiasa melihatnya seperti, katakanlah, piksel yang mendominasi layar kita.

"Tapi sejujurnya, apakah ini masalah nyata? Idk," dia merenung.

Adegan 'Pfarrkirche Kefermarkt' memenangkan 'Splat of the Year' di Polys Immersive Awards 2025. Schindelar merefleksikan, "Ada sangat sedikit konten Gaussian Splatting yang sebanding di luar sana [pada saat itu], dan saya pikir hasilnya membuka mata banyak orang tentang apa yang dapat dilakukan teknologi ini, tidak hanya untuk warisan budaya, tetapi juga untuk lingkungan dunia nyata yang digamifikasi dan pengalaman interaktif."

Selain aksesibilitas teknologi ini, atau fakta bahwa—jika Anda memainkan kartu kompresi dengan benar—adegan dunia nyata yang besar dapat sepenuhnya dieksplorasi di perangkat seluler atau genggam, splatting Gaussian memiliki sejumlah kekuatan lainnya.

Teknologi ini sangat cocok untuk "struktur tipis seperti rambut, kabel, dan dedaunan yang hampir tidak dapat direkonstruksi melalui solusi berbasis jaring tradisional saat dipindai." Saya tahu rambut Faye terlihat luar biasa dalam pengungkapan God of War: Laufey itu, tetapi saya berkeringat dingin memikirkan apa yang dilakukan departemen seni teknis dengan teknik berbasis mesh yang berpotensi untuk membuat kunci indah itu terlihat begitu realistis.

Schindelar melanjutkan, mengatakan bahwa "melalui harmonik bulat [Gaussian splatting], ia bahkan dapat menangkap dan membuat pantulan, tembus cahaya, semi-transparansi, dan efek visual lainnya." Tapi sebelum kita mulai memecahkan 'DLSS 5, siapa?' lelucon, penting untuk diingat bahwa percikan Gaussian memiliki keterbatasan yang adil. Misalnya, karena adegan splat didasarkan pada gambar diam, pencahayaan sering kali dipanggang dan tidak dinamis.

Schindelar berpendapat keterbatasan pencahayaan ini dapat diatasi dengan "lapisan produksi praktis" seperti menggunakan "jaring tersembunyi untuk sumber cahaya dinamis" atau penangkap bayangan "untuk tabrakan dan elemen interaktif." Dia menambahkan, "Stiker dan hal-hal seperti lubang peluru juga dapat ditangani dengan solusi seperti pembuatan splat parametrik dan pelukis splat."

Seniman pemindaian telah bereksperimen dengan pencahayaan dinamis dalam adegan splat Gaussian, menggunakan Octane oleh Otoy. "Saya pikir menggabungkan teknologi itu bagus. Namun, saya tidak akan selalu menggunakan GS untuk objek dinamis [seperti alat peraga animasi atau aset yang perlu diedit di dalam alur tradisional], tetapi itu sudah bekerja dengan cukup baik dengan lingkungan statis."

Meskipun dia mengakui splatting Gaussian masih membutuhkan banyak pekerjaan sebelum benar-benar dapat menjadi alat lain dalam toolkit pengembang game, Schindelar tetap bersemangat dengan potensi teknologi tersebut.

"Ketika saya menguji beberapa eksperimen game berbasis splat saya di Steam Deck saya, ini membuat saya tersenyum lebar, dan saya dapat dengan jelas melihat potensinya," katanya kepada saya. "Tingkat kualitas visual pada perangkat kecil ini benar-benar menakjubkan. Kami tidak cukup di sana dari segi kinerja, tetapi sangat, sangat dekat—beberapa pengoptimalan lagi di kemudian hari dan ini adalah pengubah permainan!!"