「NeurIPS」ResearchPortトップカンファレンス定点観測 vol.2

2022年6月24日 15時07分 公開

本記事3行要約:

●深層学習のベースであるニューラルネットワークの研究が1980年頃に盛んになった
●その過程でNeurIPSが生まれたが必ずしもニューラルネットワークに特化することなく進化してきた
●現在でもトップ国際会議の一つであり続けておりその重要性は増大するばかり


近年のAI進化を牽引している技術が、機械学習、中でも深層学習であることは明らかです。
深層学習は、ご存知のとおり脳内の神経細胞ニューロンをモデル化したニューラルネットワークを基礎に、それを多層に重ねることで驚異的な汎化性を獲得させる手法です。ニューラルネットに対する執念とも言うべき根気強い研究が実を結んで、深層学習の安定的な学習レシピを生み出し、近年のAIブームにつながったという経緯です。

学会分析の前に、まずニューラルネットワークの歴史を少し振り返りましょう。
生物の脳や中枢神経の構造に関する研究が進み、その働きをモデル化しようとする研究がなされ、ニューロンのモデルとして形式ニューロンがマカロックとピッツにより1943年に発表されました。その後、当初は神経科学的側面から、続いてアルゴリズム化という意味で計算機科学的な側面からも研究が続けられてきました。
以下に、重要な発見や歴史的な研究をまとめてみました。

  • 1943: マカロック/ピッツの形式ニューロンモデル
  • 1958: ローゼンブラットのパーセプトロン(人工ニューロン)
  • 1960: ウィドロー・ホフによる確率的勾配降下法
  • 1969: ミンスキーらによるパーセプトロンの限界指摘
  • 1980: 福島邦彦らによるネオコグニトロン(多層化の構想、深層学習の基本であると考えられている)
  • 1982: ホップフィールドによる再帰型ニューラルネットワーク
  • 1986: ラメルハートによる誤差逆伝搬法(バックプロパゲーション、基本的なアルゴリズムの確立)
  • 1998: ルカンらによる畳み込みニューラルネットワーク(多層化の成功)
  • 2006: ヒントンらによる制約ボルツマンマシン(多層化の成功、ディープラーニングの元祖)
  • 2012: ヒントンらがILSVRC (ImageNet Large Scale Visual Recognition Challenge) において驚異的な汎化精度を見せつけ、以降、機械学習のデファクトスタンダードとなる

なかなか歴史が古いですね(形式ニューロン発表から80年!)。
前述の通り、神経科学で始まった研究に計算機的側面の要素を加え、1986年に誤差逆伝播法と呼ばれるニューラルネットワークの計算アルゴリズムが確立されました。

このような研究が盛んになされていた最中、米国で産声を上げた小さな学会があります。それが、現在【NeurIPS(Conference on Neural Information Processing Systems)】と呼ばれる機械学習分野で最難関国際会議の一つです(参考:カンファレンスランク 2021年版)。

この会議は、カリフォルニア工科大学(通称 Caltech)とベル研究所が、1986年に「NIPS at the annual invitation-only Snowbird Meeting」として冬に開催したのが始まりです。初回はユタ州スノーバードで開催され、1987年以降はNIPSとして組織化されました。2013年まで毎年スキーリゾートで開催していたため、多くの参加者がスキーとセットで楽しんでいたとのことです。今年のNeurIPS2022の論文投稿期限は、5月19日でした。

ちなみに……この会議の略称は2018年までNIPS(ニップス)でしたが、性的なイメージや日本人に対する蔑称を想起させるとの批判から、NeurIPS(ニューリップス)に変更されました。過去の文献を調査するときなどには、NIPSと呼ばれていた歴史があることを知っておいた方が良いかもしれません。

NeurIPSの黎明期は、第二次AIブームの終焉時期とも重なります。知識表現とその記述的限界(つまり人の決めたルールベース)から、データに基づく統計的機械学習に移行していく中で、ニューラルネットワークそのものよりも統計的機械学習の成長そのものを支える道を選んできたと言えます。後述しますが、近年のNeurIPSでは第三次AIブームの中心として非常に多数の参加者を集めています。ベイズ統計、統計的機械学習、強化学習などアルゴリズム的側面に重きが置かれ、非常に理論的な論述が求められます。

さて、前回はCVPRの成長を見ることで応用分野における波及効果を見ましたが(参考:「CVPR」ResearchPortトップカンファレンス定点観測 vol.1)、NeurIPSがどのように成長して来たかを見ると、この分野の本丸がどのように成長していったかがわかります。
早速見てみましょう。表1に調べられる限りの情報を集めてみました*1

Year Country Venue #submissions Acceptance rate [%] #Accepted papers
NIPS 1987 USA Denver 300 30.0 90
NIPS 1988 USA Denver 313 30.0 94
NIPS 1989 USA Denver 337 30.0 101
NIPS 1990 USA Denver 477 30.0 143
NIPS 1991 USA Denver 480 30.0 144
NIPS 1992 USA Denver 423 30.0 127
NIPS 1993 USA Denver 527 30.0 158
NIPS 1994 USA Denver 467 30.0 140
NIPS 1995 USA Denver 507 30.0 152
NIPS 1996 USA Denver 507 30.0 152
NIPS 1997 USA Denver 500 30.0 150
NIPS 1998 USA Denver 487 31.0 151
NIPS 1999 USA Denver 467 32.1 150
NIPS 2000 USA Denver 507 30.0 152
NIPS 2001 Canada Vancouver 650 30.3 197
NIPS 2002 Canada Vancouver 710 29.2 207
NIPS 2003 Canada Vancouver 717 27.6 198
NIPS 2004 Canada Vancouver 822 25.2 207
NIPS 2005 Canada Vancouver 822 25.2 207
NIPS 2006 Canada Vancouver 833 24.5 204
NIPS 2007 Canada Vancouver 975 22.3 217
NIPS 2008 Canada Vancouver 1022 24.5 250
NIPS 2009 Canada Vancouver 1105 23.7 262
NIPS 2010 Canada Vancouver 1219 24.0 292
NIPS 2011 Spain Granada 1400 21.9 306
NIPS 2012 USA Lake Tahoe 1467 25.2 370
NIPS 2013 USA Lake Tahoe 1420 25.4 360
NIPS 2014 Canada Montreal 1678 24.5 411
NIPS 2015 Canada Montreal 1838 21.9 403
NIPS 2016 Spain Barcelona 2403 23.7 569
NIPS 2017 USA Longbeach 3240 21.0 679
NeurIPS 2018 Canada Montréal 4856 20.8 1009
NeurIPS 2019 USA Vancouver 6743 21.2 1428
NeurIPS 2020 Canada Vancouver 9454 20.0 1893
NeurIPS 2021 Online 9122 25.5 2327
NeurIPS 2022 USA New Orleans

表1 NeurIPS論文投稿数および採択率
注)赤背景箇所は採択率30%と仮定した上で投稿数を推定

まず注目すべきは、投稿件数(Submissions)の急増です。会議の告知やその後の統計情報がデジタル化される以前のものは、様々な情報が欠落しており、特に採択率・投稿件数が分からない年が多くありました。そこで、情報がはっきりとしなかった1987-1997年までの採択率を30%と仮定して投稿件数を推定してみました。(これがある程度正しいとすると)1987年に300件程度であった投稿件数が、最新2021年においては9,122件と、僅か30年強で30倍近くの凄まじい成長を遂げたことがわかります。もし立ち上げ当初、より高い採択率があったと想定すれば(=投稿件数が少ない)ので、実際の成長はさらに大きいものになるはずです。

そしてもう一つ特筆すべきは、採択率(Acceptance rate)25%で、4本に1本しか採択されないという難易度の高さです。さらに凄まじいのは、(表には明記していませんが)2021年口頭発表では55件のみ採用されました。投稿件数が9,122件ですから、なんと口頭発表としての採択率はたったの0.6%となります。ちなみにポスターのスポットライト発表は、近年3%程度です。

これがどれくらいスゴイのか、分かりやすく比較してみると……
 司法試験予備試験 4.2%
 司法書士試験 5.1%
 弁理士試験 6.1%
 国家公務員総合職試験 8.1%
 公認会計士試験 9.6%
このように並べるとスポットライト発表や口頭発表に採択されるのがどれほど難しいかということがわかりますね。コンスタントに採択されるということは、司法試験並みの難関試験に何度も合格するようなものと同様の難易度とも言えます。

図1 NeurIPS投稿数・採択率の推移

前回のCVPRを見ても分かる通りAI関連研究の急増は誰が見ても明らかですが、コンピュータビジョンやロボティクス、自然言語処理など様々なAI応用分野を支える理論的なアルゴリズム研究の最先端をキャッチするには、NeurIPSは押さえるべき重要カンファレンスであるということが分かります。

*1
論文集・その他を、プログラムを書きながら解析した部分もあるので、一部別のウェブサイトで報告されている件数などと多少の差がある可能性があります。

参考資料・ウェブサイト:
https://papers.nips.cc/
https://proceedings.neurips.cc/
https://www.openresearch.org/wiki/NIPS
https://github.com/lixin4ever/Conference-Acceptance-Rate
https://research-p.com/column/246

編集:ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/

関連記事
メンバーシップ登録

Membership Registration

博士課程在籍中の方 ポスドクの方 大学教員の方 企業研究者/技術者

研究者/技術者向けに、ResearchPortスタッフが個別に、一人ひとりのニーズに合わせた新たな転職先探し、副業案件や顧問依頼のご紹介をしております。その他にも、皆様の研究成果PRや研究パートナーを探すサポートなどを行っております。ご相談ご興味がある方はResearchPortメンバーシップへのご登録をお願いいたします。