Dense Reconstruction and Localization in Glass Scenes / ガラスシーンでの点群地図作成と位置推定

In recent years, Visual Simultaneous Localization and Mapping (SLAM) research has made significant strides, particularly in the domain of RGB-D SLAM. However, the prevalent presence of glass surfaces poses a substantial challenge, impeding the effective performance of RGB-D SLAM in modern indoor environments. This challenge stems from the transparent, refractive, and reflective properties of glass surfaces, causing RGB-D cameras to struggle to obtain accurate depth information, consequently negatively impacting on the estimation of camera trajectories and the reconstruction of glass surfaces. In this paper, we propose a new network designed for simultaneous glass surface segmentation and depth estimation called CGSDNet-Depth. Employing a novel Context Guided Depth Decoder (CGDD), CGSDNet-Depth generates depth information guided by the contextual information of glass surfaces. Subsequently, based on ORB-SLAM2, we introduce a new method named ORB-SLAM2-GSD (Glass Surface Detection) that utilizes the segmentation and depth estimation results from CGSDNet-Depth to alleviate the adverse effects of glass surfaces on camera trajectory estimation and dense reconstruction. Additionally, we construct the first RGB-D dataset for glass surface scenes, comprising 8 image sequences, called GS RGB-D. Extensive experiments demonstrate that our method outperforms other State-of-the-Art (SOTA) methods in glass surface segmentation and improves ORB-SLAM2 performance in glass surface scenes.

最近、視覚的同時位置推定と地図作成（VSLAM）の研究は、特にRGB-D SLAMの分野で大きな進展を遂げておる。しかし、ガラス表面の広範な存在は、現代の屋内環境におけるRGB-D SLAMの効果的な性能を妨げる大きな課題となっている。この課題は、ガラス表面の透明、屈折、反射特性から生じており、RGB-Dカメラが正確な深度情報を取得するのに苦労し、その結果、カメラの位置推定やガラス表面の再構築に悪影響を及ぼしている。本研究では、ガラス表面のセグメンテーションと深度推定を同時に行う新しいネットワーク「CGSDNet-Depth」を提案する。新しい「コンテキストガイド深度デコーダ（CGDD）」を採用し、CGSDNet-Depthはガラス表面のコンテキスト情報に基づいて深度情報を生成する。その後、ORB-SLAM2を基に、CGSDNet-Depthからのセグメンテーションおよび深度推定結果を利用して、ガラス表面がカメラ位置推定と点群地図作成に与える悪影響を軽減する新しい方法「ORB-SLAM2-GSD（Glass Surface Detection）」を導入する。さらに、ガラス表面シーンのための最初の8つの画像シーケンスを含んでいるRGB-Dデータセット「GS RGB-D」を構築する。広範な実験により、提案する方法がガラス表面のセグメンテーションにおいて他の最先端（SOTA）手法を上回り、ガラス表面シーンでのORB-SLAM2の性能を改善することが示された。