本プロジェクトでは，深層学習を用いた新たな照度差ステレオ法の実現を目指す．照度差ステレオ法では，同一視点下で光源環境を変化させながら撮影した複数枚の画像を用いて対象物体表面の傾き（法線ベクトル）を推定する．照度差ステレオ法の利点として，物体表面の微細な形状推定が可能，カメラと光源のみを用いるため安価に実現可能，といった点が挙げられる．
照度差ステレオ法において最も重要な課題のひとつは，物体表面での反射特性を表す反射モデルの設計である．従来研究では反射現象をパラメトリックな関数で表現する様々な反射モデルが提案されてきたが，これらの単純化された反射モデルは実世界の反射現象を十分に表現できないために推定精度低下の原因となってきた．そこで本研究では深層学習を用いて，観測輝度から法線ベクトルを直接推定する新たな照度差ステレオ法を提案した．複雑な射影関係を柔軟に表現することのできる深層学習 (Deep neural network; DNN)は，近年様々なタスクに応用され，高い性能を示すことが報告されている．本研究では，様々な材質の反射特性を実測したMERL BRDF Databaseを用いてDNNを学習することで，様々な材質の物体に対して高精度に推定可能な手法を提案した．

発表文献

• • Hiroaki Santo, Masaki Samejima, Yusuke Sugano, Boxin Shi, and Yasuyuki Matsushita : Deep photometric stereo network, International Workshop on Physics Based Vision meets Deep Learning (PBDL) in Conjunction with IEEE International Conference on Computer Vision (ICCV), Venice, Italy (Oct. 2017). <Best Paper Award> [プロジェクトページはこちら]