研究概要
顔は集団ごとに固有の特徴や傾向を持つことが知られています．特定の職業によく見られる顔の特徴を理解するために，本研究では顔の特徴の分布化を行います．顔の分布化を行うために，本研究では深層生成モデルの潜在変数空間を活用しています．顔分布を計算することで，顔集団ごとに顔の特徴の傾向が異なることが視覚的にも理解しやすくなります．顔分布間にどのような違いがあるのか，またどのような共通点があるのかを考察することが可能です．
この研究では，顔サンプル生成の品質向上を目指しながら，人々の顔の違いや顔集団ごとの特徴を正しく理解していくことを目的としています．顔の学問には，ナチス・ドイツによる顔面角を用いた優生思想などの差別の歴史があり，タブーとされやすい側面があります．しかし，臭い物に蓋をする態度のままでは俗説が蔓延るばかりでよりよい相互理解には繋がりません．この研究テーマは工学的側面だけでなく文化的側面を持ち合わせているため，これら両側面に関心のある方におすすめしたいと思っています．
顔サンプル生成
サンプリングと呼ばれる技術を用いることで，分布に従うサンプルの生成も可能ですから集団の顔特徴を捉えた未知の顔画像を生成することもできます．
顔分布の分析
顔分布のばらつきを利用して，その集団内にどのようなバリエーションを持っているのかを視覚的に理解できます．
生成画像の集団らしさと多様性に対する評価
生成システム中で用いられる累積寄与率というパラメータを変化させることで，生成画像の多様性が変化します．
また，累積寄与率の上昇とともに元の集団の特徴を失ってしまっている画像も生成されていることがわかっています．
これらから，元の集団の特徴を捉えているか・多様性があるかという二点について指標を用いた評価を行い，これらの妥協点となるような累積寄与率を推定します．
以降，B4向けにテーマに関する情報を記載します．
この研究で学べること
基本的には下記に示すような技術・知識が必要になるので，自然と身に付きます．深層学習や統計処理に興味があれば工学的側面（品質向上やサンプリング手法の改善），顔の特性に興味があれば文化的側面（顔分布の分析など）でのテーマを自分で考えてみると良いです．
- 深層学習を用いた画像生成技術
- 機械学習分野で用いられる統計処理（MCMCなど）
- Pythonを用いたプログラミング
- 機械学習フレームワークの利用方法（TensorFlow・Kerasなど）
- 顔学の歴史と問題意識
考えられる研究テーマの例
- 顔分布からのサンプリング手法の改善（高次元分布からのサンプリング手法の提案．）
- 人間以外の分布の作成（猫分布や馬分布，教会分布，ラーメン分布などもおそらく可能．StyleGAN2の学習済みモデルを探してみてください．）
- 特殊な条件での顔分布の作成（舞妓さんや絵画でも現状のモデルで対応できる？現状のモデルの限界は？）
- 縄文顔と弥生顔などの文化的関心の強い顔分布の作成と分析（ソース顔・塩顔・醤油顔みたいな調味料顔も面白いかも）
- 現状利用しているモデルよりも高品質なモデルを用いた追実装（StyleGAN2というモデルを使っています．これより良さそうなモデルを探してください．）
困った時に読む文献
- GANの歴史: https://akichan-f.medium.com/gan%E3%81%AE%E5%9F%BA%E7%A4%8E%E3%81%8B%E3%82%89stylegan2%E3%81%BE%E3%81%A7-dfd2608410b3
- StyleGAN2: https://arxiv.org/abs/1912.04958
- 潜在変数空間: https://qiita.com/triwave33/items/a5b3007d31d28bc445c2
- 筆者のQiita: https://qiita.com/Takuya-Shuto-engineer
- InterFaceGAN: https://arxiv.org/abs/2005.09635
- Image2StyleGAN: https://arxiv.org/abs/1904.03189
- StyleGAN2のサンプルコードと記事: https://colab.research.google.com/drive/1QubaQO-zbgjsXlxFdaqimXNO2OSbvrmv?usp=sharing#scrollTo=KIjqxbFhsrnj
- ↑の記事: https://qiita.com/Takuya-Shuto-engineer/items/fd407bb0d7b8f78219ec
執筆
2020年度 三河研究室 M2 周東拓哉
2020年度 三河研究室 B4 加藤優一