本研究では，カメラを用いた実世界物体の忠実な三次元ディジタル化を目的とし，「データ駆動型アプローチと撮像系の協調設計による革新的なフォトグラメトリ」の確立と体系化に取り組み，誰もが手軽に高品質な三次元ディジタルコンテンツを作成することができる世界の実現を目指す．この中で，物体の大まかな形状（マクロ形状）のみでなく，忠実なディジタル再現に必須である物体表面の可視な微細形状（メゾ形状）及び，反射率を表現するさらに細かな形状（マイクロ形状）を獲得する技術を開発する．また，本研究ではデータ駆動型＋撮像系の協調設計により簡便な撮影機材によって手軽に実世界物体を三次元ディジタル化する技術を確立する．

関連研究費

• 2023年4月～2028年3月　科学研究費助成事業 基盤研究(S)
  「データ駆動型アプローチと撮像系の協調設計による革新的なフォトグラメトリ」
  研究代表者：松下康之，研究分担者：大倉史生， 山藤浩明　配分総額 157,200千円

主要な発表文献

• Xinpeng Liu, Zeyi Huang, Fumio Okura, Yasuyuki Matsushita. HoGS: Unified near and far object reconstruction via homogeneous gaussian splatting. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025.
• Heng Guo, Jieji Ren, Feishi Wang, Boxin Shi, Mingjun Ren, Yasuyuki Matsushita. DiLiGenRT: A Photometric Stereo Dataset with Quantified Roughness and Translucency. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. [Paper] [Project page]
• Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia. NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. [arXiv]
• Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita. MVCPS-NeuS: Multi-view Constrained Photometric Stereo for Neural Surface Reconstruction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. [Paper]
• Siwei Zhou, Youngha Chang, Nobuhiko Mukai, Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita, Shuang Zhao. Path-Space Differentiable Rendering of Implicit Surfaces. Proceedings of ACM SIGGRAPH 2024 Conference, 2024. [Paper] [Project page]
• Takuto Narumoto, Hiroaki Santo, Fumio Okura. Synthesizing time-varying BRDFs via latent space.
  Proceedings of European Conference on Computer Vision (ECCV), 2024. [Paper]
• Kohei Ashida; Hiroaki Santo; Fumio Okura; Yasuyuki Matsushita. Resolving scale ambiguity in multi-view 3D reconstruction using dual-pixel sensors. Proceedings of European Conference on Computer Vision (ECCV), 2024. [Paper]
• Xu Cao, Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita. . Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. [arXiv]
• Kensuke Uchida, Hajime Nagahara, Yasuyuki Matsushita. A Compact BRDF Scanner with Multi-conjugate Optics. Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2023.
• Lilika Makabe, Heng Guo, Hiroaki Santo, Fumio Okura, Yasuyuki Matsushita. Near-light Photometric Stereo with Symmetric Lights Proceedings of the IEEE International Conference on Computational Photography (ICCP), 2023.