CVPR2020_日本唯一の単独著者って何者？
Unpaired Image Super-Resolution using Pseudo-Supervision
written by Shunta Maeda
(Submitted on 26 Feb 2020)
Comments: Published by CVPR2020
Subjects: Image and Video Processing (eess.IV); Computer Vision and Pattern Recognition (cs.CV)
高解像度化をはじめとしたディープラーニングを用いた画像処理技術を研究開発するNavier（ナビエ）株式会社は、2020年6月14日から19日まで開催されたComputer vision系トップカンファレンスの国際学会であるCVPR 2020 (IEEE/CVF International Conference on Computer Vision and Pattern Recognition)にて、論文が採択され、日本企業として唯一*、口頭発表をしております。
*口頭発表（Oral Presentation）に採択された論文のうち、日本人を著者に含み、著者が大学・研究機関に属していないもののうちで唯一。
今回採択された論文1467本を我々もチェックしている時にすぐに”日本人”で、"単独”で、”口頭発表”で、"唯一"ということに気付き、すぐに今回の論文著者である前田 舜太(Maeda Shunta)様にインタビューをさせていただき、どんな風に研究をしたのか？テーマの決め方などをお聞きしました。
Q1.今回の超解像度化技術の研究テーマはどうやって決まったんですか？
様々な画像処理の案件に触れる中で、多くの現場では学習に必要なペアの画像データが得られないため、現場サイドのニーズをもとに今回の研究テーマに至りました。高解像度の画像から人工的に低解像度の画像を作成し、ペアで学習することはできるのですが、実際の低解像度画像はパターンも多く、人工的にそれらのパターンを全て再現することは難しいという課題がありまです。なので、実社会で用意できるデータを使って超解像を実現するためにはペアではない画像から学習する技術の開発が必要になり、今回の技術の開発を始めたという経緯ですね。
ー今回の論文はかなり実社会での活用が考えられたのですが、それは現場サイドからの要望だからこそ、研究テーマが必然的に実社会での価値が高いんですね。
Q2.今までにどう言った機械学習系の研究を行っていたんですか？
まず、私はこの分野に入るまではComputer Vision(CV)ではなく、物理学の研究をしていました。会社を立ち上げた2018年から機械学習の技術に本格的にキャッチアップを始めて、1年経った頃にICCVに投稿したのがこの分野では初めての論文です。残念ながらこのときはrejectされてしまいましたが(笑)
ー機械学習を勉強し始めて、2年でトップカンファレンスに採択されたってことですか！？
そうですね。今回のCVPR2020に通ったのが、初めて採択まで行った機械学習系の研究ですね。昨年ICCV2019に投稿してrejectされた論文は、修正してCVPR2020のWorkshopに改めて投稿して、こちらも無事に採択されました。Navierでは研究が重要な活動として認識されていて注力できたことが大きいと思います。
Q3.CVPR2020に通すまでに機械学習はどうやって勉強したんですか？
3つのことを始めました。
1つ目は、機械学習を使った様々な画像処理系の実装コードを実際に動かすことから始めました。このときはとにかく色々なコードを動かしたり再実装したりということをやっていました。
2つ目は理論を知らなかったので機械学習の専門書を読むことから始めました。瀧 雅人さんが書かれた”機械学習スタートアップシリーズ これならわかる深層学習入門 ”から機械学習の理論の勉強を始めました。著者の瀧 雅人さんも物理系の方なので自分にはわかりやすかったです。
ー本当にそのレベル感から始まったんですね。
はい。そして3つ目は、大量の論文を読みました。CV系は数式が少ないので比較的すぐに読み始められましたね。読んでいる論文の参考文献などから次に読む論文を選んで読み進めていくと、CVPRという国際学会の論文の質が高いことに気づきました。そこで、CV系ではCVPRという学会が有名なんだと知ったレベルです。
Q4.どうやって研究をしていったんですか？
まず、今回の研究を始めた時点で論文化したいと思っていたので初めに論文のプロットを考えました。だいたい構成まで描いてから研究を始めました。
ー論文のプロットをスタートで書いたんですね。その通りに行かないことも多いのではないですか？
これはケースバイケースですが、プロットの質が重要だと思っています。実現困難な要素や不確定因子を多く含むプロットを描いてしまうと、変更が多くなってしまうと思うんですね。なのでプロットの際に、どこまで実現できるのかを見極める必要があります。
ーそのために論文を読んでいることが効いてきたんですか？
そうですね。多くの論文を読むことで少しずつ見極められるようになってくるのだと思います。
もちろん、どこまで予想通りにいくのかはやってみないと分からない部分もありますし、その不確定な部分に研究の面白さがあるのかもしれません。私の場合は、実験が上手くいかなかったときにどのような解決方法がとれるかを事前に複数通り考えておくことが多いです。それらの解決方法を試しても上手くいかなかった場合にどのようにプロットを修正するかまで考えておけば、よほど運が悪くない限り論文が書けるような結果が得られると思います。
しかし、ここまで最初から多くを考えすぎない方がいいとも思ってはいます。想定外の結果をきっかけにして技術が大きく進展することもあるので。この考え方は私の欠点でもあると思っているのですが、手を動かさずになるべく頭の中でやりたいんですね。私自身より良い研究の仕方を模索し続けています。
Q5.CVPR2020査読ってどうでした？
コメントは比較的positiveなものが多くて、研究のモチベーションへの賛同が多かったですね。実社会に根ざした課題を解決している点が評価されたのかもしれません。ここ1、2年くらいで超解像の研究は少しモチベーションが変わってきていて、それ以前はペアの画像を使ってネットワーク構造や損失関数を改善するような研究が多かったです。しかし、ここ1、2年の研究は、実社会ではペア画像がまず手に入らないよねってモチベーションから社会での応用をより意識した方向にシフトしてきましたね。
ーその中で新規性はどうやって出して行こうと考えたんですか？
ペアでない画像を使った超解像の研究は今までにもあって、それらの研究ではGANがよく使用されています。しかし、既存の技術には私としては欠点があるなと感じていて、今回の論文ではその欠点を克服するような手法を提案しました。GANは学習が不安定なので、実社会への応用に向けてまだまだやれることはあると思っています。
ー査読結果ってチームで共有したんですか？
今回は私一人で研究を進めていたので、チームの皆が読んでるかはわかりませんが、査読結果をSlackで共有はしました。今回は査読結果が比較的positiveだったのであまりコメントもありませんでしたが、前回のICCVの時は一人の査読者が強く反対してaccept/rejectのギリギリのラインだったので、どうしたら理解してもらえるかrebuttalの方針をチームで考えたりはしましたね。
Q6.実装のコーディング力はどうやって鍛えたんですか？
論文とそのコードを見て勉強しました。完全にフルスクラッチで書くことはあまり多くありません。実際に必要となるレベル感の技術やコードに触れることが大切だと思います。
ーある意味これも現場との違いがあると思います。実際コーディング力を鍛えたい人などは、何か最終目標(論文投稿したい。何かこんなモデルを書きたい。)がある中で世の中の機械学習系の勉強をすると思うんですが、一般的なプログラミング学習のカリキュラムなどが提供するテンプレのコードを書くことが多くて、それ自体では書ける様にはならないですよね。簡単にできる分析のコードや簡単に実装できるモデルのコードを勉強しても最終目標との解離が大きい分生かせないって感じがありますからね。でもスタートからレベルの高いコードを動かす方法も最初は大変そうですね。
Q7.機械学習の再現性とかはどう考えていますか？
ここはまだ不十分なところがまだあると思っています。私自身、今回の研究のコードは技術秘匿の観点から公開していませんが、再現性は重要な問題と受け止めているのでハイパーパラメーターを詳しく記載するなど、論文中で極力公開するようにしました。研究コミュニティでもそういった再現性の問題を解決しようという動きが活発になってきていると感じます。
Q8.CVPRにどうやったら通りますか？
CVPRに限らず、通したい学会の論文を読むのがオススメですね。明確な方法はありませんが、論文を読むことでその学会に相応しい内容や研究の水準が分かってきて、より良い論文を書けるようになると思います。ただ、どうしても査読者の当たり外れはあるので、運の要素も大きいと思います。
ーそうですね。通したい学会はある意味、ライバル視察ともいえますよね。先行研究や似た研究、課題感が全部集まっているわけですから、それを読まないのはもったいないですね。
Q9.論文を読むことはどう思いますか？
論文を読むこと自体は素晴らしいと思います。できれば原著を読んだ方がいいですが、実際に論文を読むのはなかなか大変ですので、研究者でなければ論文のまとめでも十分だと思います。論文で示された結果は何らかの前提条件の下で成り立っていて、必ずしも制約無しに実社会にすぐ応用できるわけではないと理解できることも、実際に論文を読んで得られるメリットの一つだと思います。
前田 舜太様、本日は貴重なお時間頂きありがとうございました。
今後もAI研究でまたインタビューできるのを楽しみにしています。
この記事に関するカテゴリー
