9월이 지나고 10월이 찾아왔습니다. 아침과 밤으로는 차가운 공기를 마주할 수 있게 되었네요. 환절기에 모두 건강 유의하시길 바라겠습니다!
아, 참고로 캐럿펀트의 근황은 새로운 사옥에서 끝 없는 정리와 함께 적응을 마치고 여러 가지 프로젝트 준비하고 있습니다. 꽤 재미있는 프로젝트들을 추진하고 있으니 기대해주시길 바랄게요!😁
이번 뉴스레터에서는 문화유산 분야에 적용될 수 있는 3D 기술인 "Gaussian splatting" 대해서 가볍게 공유해 볼까 합니다. 편하게 봐주시면 감사하겠습니다.
LABS
"A new frontier in rendering, NeRF and Gaussian splatting"
사진 몇 장만으로 3차원 공간을 구현할 수 있는 기술들이 등장하면서 3D 제작 방식이 크게 바뀌고 있습니다. 최근 그 중심에는 인공지능 기술을 활용한 NeRF(2D 이미지 모음을 통한 3D 시각화 기술)이 있지만 학습과 렌더링 속도가 제한되어 실시간 응용에 한계를 마주하고 있었죠.
Photogrammetry / NERF / Gaussian Splattering from Matthew Brennan
NeRF ? Gaussian Splatting?
기존의 객체를 360도 모든 방향을 돌려가며 다양한 뷰에서 관찰하려면 2D 이미지가 아닌 3D 렌더링이 필요하며, point cloud 형태나 mesh 형태로 나타나게 됩니다. 하지만 Nerf의 기술은 사뭇 다른 부분이 있죠.
객체의 3D 모델을 생성하는 기술이 아닌 바라보는 뷰, 즉 모든 시점을 생성하고 표현하는 기술입니다.
NeRF의 작업 흐름
효율적인 3D 세상의 구현 : Gaussian Splatting
그렇다면 Gaussian Splatting은 무엇일까요, 90년대에 처음 나온 렌더링 기술이지만, 최근에 다시 주목받기 시작했습니다.
전통적인 포인트 클라우드는 단순히 점(point) 하나로 대상을 표현했기 때문에 매끄럽지 못한 경우가 많았습니다.이런 한계로 등장하게 된 기술이 "가우시안 스플래팅"입니다. 현재 3D 연구자와 업계에서 가장 빠르게 관심받고 있는 3D 렌더링 방식입니다. 특히 Point Cloud를 렌더링 하기 위한 기존의 방법과는 다른 매커니즘을 사용합니다. 3D 를 구성하는 수많은 점들인 Point Cloud를 종 모양의 가우시안 분포를 통한 렌더링을 하여 이미지로 변환합니다.
www.medium.com
가우시안 스플래팅은 점을 뭉그러트린 형태로 표현하여, 색상/크기/방향까지 정보를 담습니다. 이렇게 형태의 클라우드들은 겹겹히 쌓이고 투영되어 현실에 가까운 3D 장면을 만들어 내죠. 점의 형태의 3D 표현방식이 아닌 흩 뿌려진 넓은 형태를 사용하여 좀 더 효율적이고 자연스러운 방식으로 3D를 구현시키는 방법입니다.
Gaussian splatting workflow
간단히 가우시안 스플래팅의 장점만 말하자면 아래와 같다고 할 수 있습니다.
1. 빠른 학습속도
NeRF와 비교했을 때 시간 단위로 학습시간이 필요한 NeRF와 비교하면 몇 분 단위로 학습이 끝납니다. 물론 GPU 성능에 따라 학습시간의 차이가 발생합니다.
2. 디테일의 퀄리티
점의 크기와 형태를 자유롭게 조절할 수 있어, 빛반사나 미세한 표면 질감 등도 섬세하게 표현됩니다.
3. 우수한 활용도
해외의 다양한 IT 기업들(Meta, Niantic, Google등)이 공간 스캔, 디지털 트윈, AR 콘텐츠 제작 등에 도입 중입니다. 특별한 장비가 필요없이 휴대폰 사진으로만 고품질 3D 장면을 만들 수 있다는 점에서 더욱 더 각광받고 있는 기술입니다.
Image using Gaussian Splatting,Credit : Tomislav Bezmalinovic
Gaussian Splatting는 어디에 사용이 가능할까?
Gaussian Splatting은 현재 여러방면에서 연구와 적용이 되고 있는데요, 대표적으로 아래와 같습니다.
1. VR(Virtual Reality), AR(Augmented Reality)
VR과 AR에는 실사와 같은 진보적인 3D 렌더링 기술이 필요합니다. 가우시안 스플래팅은 현실과 가장 비슷한, 아니 어쩌면 현실보다 더 현실같은 세계를 구축하는데 가장 효과적인 방법일 수 도 있습니다.
2. VFX
현재 촬영 현장에서 또한 Gaussian Splatting를 적절히 사용하여 현실적인 장면을 구축하고 있습니다.
3. Digital twin
객체뿐 아니라 공간의 표현도 우수하기 때문에 다양한 객체에 대한 Digital twin에 유리한 기술로 알려져 있습니다.
이번 뉴스레터는 가볍게 3D 관련 기술에 대해 이야기 해봤습니다. 특히 8월에 진행된 CIPA 심포지엄에서 해당 기술과 관련된 세션에 관한 내용들을 들으며 기술의 발전이 문화유산 분야의 보존과 활용에 좋은 영향을 미치고 있다는 것을 확인할 수 있었습니다. 😀
그럼, 또 다음 뉴스레터에서 흥미로운 내용과 함께 돌아오도록 하겠습니다. 모두 즐거운 추석 보내시길 바랍니다!
