「NeurIPS」ResearchPortトップカンファレンス定点観測 vol.2

本記事3行要約：

●深層学習のベースであるニューラルネットワークの研究が1980年頃に盛んになった
●その過程でNeurIPSが生まれたが必ずしもニューラルネットワークに特化することなく進化してきた
●現在でもトップ国際会議の一つであり続けておりその重要性は増大するばかり

近年のAI進化を牽引している技術が、機械学習、中でも深層学習であることは明らかです。
深層学習は、ご存知のとおり脳内の神経細胞ニューロンをモデル化したニューラルネットワークを基礎に、それを多層に重ねることで驚異的な汎化性を獲得させる手法です。ニューラルネットに対する執念とも言うべき根気強い研究が実を結んで、深層学習の安定的な学習レシピを生み出し、近年のAIブームにつながったという経緯です。

学会分析の前に、まずニューラルネットワークの歴史を少し振り返りましょう。
生物の脳や中枢神経の構造に関する研究が進み、その働きをモデル化しようとする研究がなされ、ニューロンのモデルとして形式ニューロンがマカロックとピッツにより1943年に発表されました。その後、当初は神経科学的側面から、続いてアルゴリズム化という意味で計算機科学的な側面からも研究が続けられてきました。
以下に、重要な発見や歴史的な研究をまとめてみました。

• 1943: マカロック／ピッツの形式ニューロンモデル
• 1958: ローゼンブラットのパーセプトロン（人工ニューロン）
• 1960: ウィドロー・ホフによる確率的勾配降下法
• 1969: ミンスキーらによるパーセプトロンの限界指摘
• 1980: 福島邦彦らによるネオコグニトロン（多層化の構想、深層学習の基本であると考えられている）
• 1982: ホップフィールドによる再帰型ニューラルネットワーク
• 1986: ラメルハートによる誤差逆伝搬法（バックプロパゲーション、基本的なアルゴリズムの確立）
• 1998: ルカンらによる畳み込みニューラルネットワーク（多層化の成功）
• 2006: ヒントンらによる制約ボルツマンマシン（多層化の成功、ディープラーニングの元祖）
• 2012: ヒントンらがILSVRC (ImageNet Large Scale Visual Recognition Challenge) において驚異的な汎化精度を見せつけ、以降、機械学習のデファクトスタンダードとなる

なかなか歴史が古いですね（形式ニューロン発表から80年！）。
前述の通り、神経科学で始まった研究に計算機的側面の要素を加え、1986年に誤差逆伝播法と呼ばれるニューラルネットワークの計算アルゴリズムが確立されました。

このような研究が盛んになされていた最中、米国で産声を上げた小さな学会があります。それが、現在【NeurIPS（Conference on Neural Information Processing Systems）】と呼ばれる機械学習分野で最難関国際会議の一つです（参考：カンファレンスランク 2021年版）。

この会議は、カリフォルニア工科大学（通称 Caltech）とベル研究所が、1986年に「NIPS at the annual invitation-only Snowbird Meeting」として冬に開催したのが始まりです。初回はユタ州スノーバードで開催され、1987年以降はNIPSとして組織化されました。2013年まで毎年スキーリゾートで開催していたため、多くの参加者がスキーとセットで楽しんでいたとのことです。今年のNeurIPS2022の論文投稿期限は、5月19日でした。

ちなみに……この会議の略称は2018年までNIPS（ニップス）でしたが、性的なイメージや日本人に対する蔑称を想起させるとの批判から、NeurIPS（ニューリップス）に変更されました。過去の文献を調査するときなどには、NIPSと呼ばれていた歴史があることを知っておいた方が良いかもしれません。

NeurIPSの黎明期は、第二次AIブームの終焉時期とも重なります。知識表現とその記述的限界（つまり人の決めたルールベース）から、データに基づく統計的機械学習に移行していく中で、ニューラルネットワークそのものよりも統計的機械学習の成長そのものを支える道を選んできたと言えます。後述しますが、近年のNeurIPSでは第三次AIブームの中心として非常に多数の参加者を集めています。ベイズ統計、統計的機械学習、強化学習などアルゴリズム的側面に重きが置かれ、非常に理論的な論述が求められます。

さて、前回はCVPRの成長を見ることで応用分野における波及効果を見ましたが（参考：「CVPR」ResearchPortトップカンファレンス定点観測 vol.1）、NeurIPSがどのように成長して来たかを見ると、この分野の本丸がどのように成長していったかがわかります。
早速見てみましょう。表1に調べられる限りの情報を集めてみました^＊1。

表1　NeurIPS論文投稿数および採択率
注）赤背景箇所は採択率30％と仮定した上で投稿数を推定

まず注目すべきは、投稿件数（Submissions）の急増です。会議の告知やその後の統計情報がデジタル化される以前のものは、様々な情報が欠落しており、特に採択率・投稿件数が分からない年が多くありました。そこで、情報がはっきりとしなかった1987-1997年までの採択率を30%と仮定して投稿件数を推定してみました。（これがある程度正しいとすると）1987年に300件程度であった投稿件数が、最新2021年においては9,122件と、僅か30年強で30倍近くの凄まじい成長を遂げたことがわかります。もし立ち上げ当初、より高い採択率があったと想定すれば（=投稿件数が少ない）ので、実際の成長はさらに大きいものになるはずです。

そしてもう一つ特筆すべきは、採択率（Acceptance rate）25%で、4本に1本しか採択されないという難易度の高さです。さらに凄まじいのは、（表には明記していませんが）2021年口頭発表では55件のみ採用されました。投稿件数が9,122件ですから、なんと口頭発表としての採択率はたったの0.6%となります。ちなみにポスターのスポットライト発表は、近年3%程度です。

これがどれくらいスゴイのか、分かりやすく比較してみると……
　司法試験予備試験　4.2%
　司法書士試験　5.1%
　弁理士試験　6.1%
　国家公務員総合職試験　8.1%
　公認会計士試験　9.6%
このように並べるとスポットライト発表や口頭発表に採択されるのがどれほど難しいかということがわかりますね。コンスタントに採択されるということは、司法試験並みの難関試験に何度も合格するようなものと同様の難易度とも言えます。

前回のCVPRを見ても分かる通りAI関連研究の急増は誰が見ても明らかですが、コンピュータビジョンやロボティクス、自然言語処理など様々なAI応用分野を支える理論的なアルゴリズム研究の最先端をキャッチするには、NeurIPSは押さえるべき重要カンファレンスであるということが分かります。

＊1
論文集・その他を、プログラムを書きながら解析した部分もあるので、一部別のウェブサイトで報告されている件数などと多少の差がある可能性があります。

参考資料・ウェブサイト：
https://papers.nips.cc/
https://proceedings.neurips.cc/
https://www.openresearch.org/wiki/NIPS
https://github.com/lixin4ever/Conference-Acceptance-Rate
https://research-p.com/column/246

編集：ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/