Efficiently Reconstructing Dynamic Scenes One 🎯 D4RT at a Time

• CVPR 2026 Best Paper
• 구글 딥마인드 등

배경

• 3d 재구성 연구의 발전
  • 주로 정적인 장면을 대상으로 발전해옴, 최근에는 vggt와 같은 트랜스포머 기반의 feed-forward 방식 등장
• 하지만 실제 세계는 동적인 환경으로 구성되어 있음
  • 기존 방법들은 동적 객체를 일관되게 복원 x, 깊이, 카메라 포즈, 트래킹 등을 각각 다른 모듈로 처리
• 본 연구는 **동적 장면에 대한 4d 이해를 하나의 통합된 프레임워크에서 수행하면서도 높은 효율성을 유지할 수 있는 새로운 접근법인 D4RT를 제안**함

방법

• 입력 비디오 → Transformer encoder → global scene representation 생성
• Decoder는 이 global 표현을 사용해서 원하는 위치와 시점에 대한 정보를 query하는 방식으로 동작
• 기존 방법 - 모든 프레임의 모든 픽셀을 일관적으로 복원하는 dense decoding 사용
• D4RT는 필요한 위치만 선택적으로 질의하는 query-based decoding을 도입해서 계산량을 크게 줄임
  • query - 소스 프레임의 2d 위치, 소스 시점, 목표 시점, 기준 카메라 좌표계
  • 디코더는 해당 쿼리에 해당하는 3d 위치를 예측함
• 이 방식을 기준으로 설정하고, 여러 다양한 task를 수행가능함
  • 목표 시점 변화 → 3d point track
  • 모든 픽셀에 대해서 query → 3d point cloud
  • 동일 시점에 대해서 query → depth map을 복원 가능
  • 예측된 3d 점들 간의 기하학적 관계를 이용 → 카메라 외/내부 파라미터 추정 가능
• decoder 입력에 query 위치 주변의 9x9 rgb 패치를 추가해서 지역적인 외형 정보를 제공하였음
• 추론 단계 - 모든 픽셀을 추적하기 위한 “효율적인” dense tracking 알고리즘도 함께 제안
  • 이미 방문한 시공간 위치를 occupancy grid로 관리해서 불필요한 query를 줄임

기여점

• 핵심 기여는 동적 장면의 4d 재구성 문제를 하나의 query 기반 인터페이스로 통합했다는 것
• 기존 방법들이 깊이 추정, 카메라 포즈 추정, 동적 대응 관계 추적을 별도 모듈로 처리했던 것과 달리, D4RT는 하나의 프레임워크로 수행
• Query를 독립적으로 처리하는 구조를 통해 매우 높은 추론 효율성을 확보, 실제 실험에서 기존 최신 기법 대비 최대 수백배 빠른 속도를 보이면서도 다양한 벤치마크에서 새로운 sota 성능을 달성함
• d4rt는 정적 장면 중심의 기존 3d recon을 넘어서, 실제 세계의 동적 환경을 통합적으로 이해할 수 있는 효율적이고 확장성 높은 4d scene recon 프레임워크를 제시하였음

→ VGGT를 동적 장면 + correspondence까지 확장한 버전

• 월드모델이나 4d 생성형 모델 < vggt의 연장선에 잇는 feed-forward 4d recon 모