TOP COLUMN 「NeurIPS2022」ResearchPortトップカンファレンス定点観測 vol.8

「NeurIPS2022」ResearchPortトップカンファレンス定点観測 vol.8

Diffusion model Machine Learning NeurIPS Statistical Learning トップカンファレンス定点観測
2023年4月17日 10時00分 公開
NeurIPS2022

本記事3行要約：

● 日本人からの研究は2,672件中79本。
● 近年の発表件数のランキングを国内所属別に見ると、東大・理研AIP・NTTが圧倒的多数。
● 「Diffusion model」がトレンドに上がってきた。


2022年11月末－12月上旬にかけてNeurIPS2022が開催されました。
前回の記事（参照：「NeurIPS」ResearchPortトップカンファレンス定点観測 vol.2）では、“NeurIPS”というカンファレンスの歴史などを、ニューラルネットワークの歴史も含めてかなり長々と書き連ねました。
今回は、数値データを中心にコンパクトに統計などをまとめてまいります。

NeurIPS 2022　開催概要
▶ 開催期間：　28 Nov. – 9 Dec., 2022
▶ 開催都市：　New Orleans, US
▶ 公式HP：　 https://nips.cc/Conferences/2022

■NeurIPS2022総括

早速結論ですが、ついに投稿件数（submissions）が10,000件を超えました。この数値からも、まだまだAI応用分野を支える理論的なアルゴリズム研究が活発であることが見て取れます。

表1と図１に投稿数・採択率の推移を示しました。
前回記事で詳細を述べておりますので、細かい点は割愛しますが、やはり投稿件数の急増・採択率（Acceptance rate）25％程の高難易度であることは改めて驚かされます。

conferences Year # submission # accepted papers acceptance rate Country Venue
NeurIPS 1987 300 90 30.00% USA Denver
NeurIPS 1988 313 94 30.03% USA Denver
NeurIPS 1989 337 101 29.97% USA Denver
NeurIPS 1990 477 143 29.98% USA Denver
NeurIPS 1991 480 144 30.00% USA Denver
NeurIPS 1992 423 127 30.02% USA Denver
NeurIPS 1993 527 158 29.98% USA Denver
NeurIPS 1994 467 140 29.98% USA Denver
NeurIPS 1995 507 152 29.98% USA Denver
NeurIPS 1996 507 152 29.98% USA Denver
NeurIPS 1997 500 150 30.00% USA Denver
NeurIPS 1998 487 151 31.01% USA Denver
NeurIPS 1999 467 150 32.12% USA Denver
NeurIPS 2000 507 152 29.98% USA Denver
NeurIPS 2001 650 197 30.31% Canada Vancouver
NeurIPS 2002 710 207 29.15% Canada Vancouver
NeurIPS 2003 717 198 27.62% Canada Vancouver
NeurIPS 2004 822 207 25.18% Canada Vancouver
NeurIPS 2005 822 207 25.18% Canada Vancouver
NeurIPS 2006 833 204 24.49% Canada Vancouver
NeurIPS 2007 975 217 22.26% Canada Vancouver
NeurIPS 2008 1,022 250 24.46% Canada Vancouver
NeurIPS 2009 1,105 262 23.71% Canada Vancouver
NeurIPS 2010 1,219 292 23.95% Canada Vancouver
NeurIPS 2011 1,400 306 21.86% Spain Granada
NeurIPS 2012 1,467 370 25.22% USA Lake Tahoe
NeurIPS 2013 1,420 360 25.35% USA Lake Tahoe
NeurIPS 2014 1,678 411 24.49% Canada Montreal
NeurIPS 2015 1,838 403 21.93% Canada Montreal
NeurIPS 2016 2,403 569 23.68% Spain Barcelona
NeurIPS 2017 3,240 679 20.96% USA Longbeach
NeurIPS 2018 4,856 1,009 20.78% Canada Montréal
NeurIPS 2019 6,743 1,428 21.18% USA Vancouver
NeurIPS 2020 9,454 1,893 20.02% Canada Vancouver
NeurIPS 2021 9,122 2,327 25.51% – Online
NeurIPS 2022 10,411 2,672 25.67% USA New Orleans
NeurIPS 2023 USA New Orleans

表1　NeurIPS投稿数・採択率の推移

＊補足＊
赤地の部分は採択率を類推しています。黄地の部分は統計に情報にばらつきあり信頼性が低い可能性があります。論文集・その他を、プログラムを書きながら解析した部分もあるので、一部別のウェブサイトで報告されている件数などと多少の差がある可能性があります。

＊補足2＊
2021 の数値については、公式には2,327件および2,344件との報告がありますが、proceedingsのサイトおよびOpenReviewのサイトに収録されている件数に違いがあり、いずれが正しいのか分かりません。このため以降の記述においてはOpenReviewサイトを基準といたします。2022も同様です。
　

図 1　投稿数・採択率の推移

■日本人研究者別-論文採択数

次に、2022年の論文内で日本人らしい著者（海外で活躍する研究者も含む）をフィルタリングした結果をご覧ください（図2）。前述の通り、OpenReview、Proceedingsで掲載されている論文数に違いがありますので、ここではOpenReviewに掲載されている論文を基に集計しています。

その結果によれば、2021年は“のべ”122名*1だったものが、2022年にはのべ129名と微増しておりますが、全体論文に占める割合はともに1.08％と横ばいでありました。

2021-2022の累積ランキングを調べたものが図3です。詳細には表２で所属も併せてまとめましたが、圧倒的に東大、理研AIP、NTTからの投稿 が多い*2ことがわかります。日本を代表する研究機関と言えますね。また、海外の大学・研究機関で活躍される研究者も多いことがわかります。

*1：本記事内で122名の詳細（研究者名・投稿論文数）は掲載しておりません。
*2：各所属組織から投稿された論文数の合計数値。
　

NeurIPS 2022
著者 採択数
Masashi Sugiyama
5
Taiji Suzuki
4
Tatsunori Hashimoto
4
Atsutoshi Kumagai
3
Kenji Kawaguchi
3
Shinji Ito
3
Shinsaku Sakaue
3
Taihei Oki
3
Tomoharu Iwata
3
Junya Honda
2
Kenji Fukumizu
2
Satoshi Hayakawa
2
Seijin Kobayashi
2
Taira Tsuchiya
2
Takuma Seno
2
Yasutoshi Ida
2
Yusuke Iwasawa
2
Akiko Takeda
1
Atsushi Nitanda
1
Daiki Chijiwa
1
Eiichi Matsumoto
1
Hidenori Iwakiri
1
Hiroki Yanagisawa
1
Hiroyuki Toda
1
Ichiro Takeuchi
1
Isao Ishikawa
1
Jun Saito
1
Jun Sakuma
1
Junpei Komiyama
1
Kaito Fujii
1
Kandai Watanabe
1
Kato Takashi
1
Kazuki Irie
1
Kazuto Fukuchi
1
Kazuya Kawakami
1
Keitaro Sakamoto
1
Kengo Kato
1
Kengo Nakamura
1
Kohei Miyaguchi
1
Masaaki Nishino
1
Masahiro Ikeda
1
Masahiro Masuda
1
Masaki Adachi
1
Masaki Nakada
1
Masanobu Horie
1
Masanori Koyama
1
Masanori Suganuma
1
Masato Taki
1
Masatoshi Uehara
1
Masayoshi Tomizuka
1
Michihiro Yasunaga
1
Motoaki Kawanabe
1
Naoki Hiratani
1
Naoki Nishikawa
1
Naonori Ueda
1
Noa Nabeshima
1
Norihito Yasuda
1
Rei Sato
1
Ryosuke Kojima
1
Ryutaro Tanno
1
Satoru Iwata
1
Shin’ya Yamaguchi
1
Shiro Takagi
1
Sho Sonoda
1
Sho Takemori
1
Shogo Iwazaki
1
Shohei Taniguchi
1
Shoji Toyota
1
Shun Iwase
1
Shun Ogawa
1
Sosuke Kobayashi
1
Tadashi Kozuno
1
Tadayuki Tone
1
Taichi Asami
1
Taiga Abe
1
Taiki Miyagawa
1
Takashi Maruyama
1
Takayuki Katsuki
1
Takayuki Okatani
1
Takeru Miyato
1
Takeshi Kojima
1
Takumi Tanabe
1
Takuya Ito
1
Takuya Takagi
1
Taro Makino
1
Tatsuya Harada
1
Tatsuya Konishi
1
Tomoya Murata
1
Toshihiko Yamasaki
1
Wataru Kumagai
1
Yasuhiro Fujiwara
1
Youhei Akimoto
1
Yuhei Umeda
1
Yuichi Yoshida
1
Yuji Okamoto
1
Yuki Tatsunami
1
Yuko Ishiwaka
1
Yuri Kinoshita
1
Yusuke Tanaka
1

図2　NeurIPS2022著者ランキング

NeurIPS 2021 – 2022
author ranking
著者 採択数
Kenji Kawaguchi
10
Masashi Sugiyama
7
Taiji Suzuki
7
Seijin Kobayashi
5
Shinji Ito
5
Tomoharu Iwata
5
Atsushi Nitanda
4
Atsutoshi Kumagai
4
Shinsaku Sakaue
4
Tadashi Kozuno
4
Tatsunori Hashimoto
4
Makoto Yamada
3
Naonori Ueda
3
Taihei Oki
3
Yasuhiro Fujiwara
3
Yasutoshi Ida
3
Yusuke Iwasawa
3
Akiko Takeda
2
Atsushi Yamashita
2
Daiki Chijiwa
2
Hajime Asama
2
Hidenori Tanaka
2
Hiroyuki Toda
2
Junya Honda
2
Kazuki Irie
2
Kengo Nakamura
2
Kenji Fukumizu
2
Kohei Miyaguchi
2
Koki Kawabata
2
Masatoshi Uehara
2
Masayoshi Tomizuka
2
Naoya Takeishi
2
Sadamori Kojaku
2
Satoshi Hayakawa
2
Shin’ya Yamaguchi
2
Sho Sonoda
2
Taira Tsuchiya
2
Takaharu Yaguchi
2
Takashi Matsubara
2
Takuma Seno
2
Yoichi Sato
2
Yuki Asano
2

図3　NeurIPS 2021-2022 著者ランキング（表2と連動）

Name Affiliation # papers
Kenji Kawaguchi NUS 10
Masashi Sugiyama 東大, 理研AIP 7
Taiji Suzuki 東大, 理研AIP 7
Seijin Kobayashi ETHZ 5
Shinji Ito NEC 5
Tomoharu Iwata NTT 5
Atsushi Nitanda 九工大, 理研AIP 4
Atsutoshi Kumagai NTT 4
Shinsaku Sakaue 東大, NTT 4
Tadashi Kozuno OMRON SINIC X 4
Tatsunori Hashimoto Stanford 4
Makoto Yamada 京大, OIST, 理研AIP 3
Naonori Ueda NTT, 理研AIP 3
Taihei Oki 東大 3
Yasuhiro Fujiwara NTT 3
Yasutoshi Ida NTT 3
Yusuke Iwasawa 東大 3
Akiko Takeda 東大 2
Atsushi Yamashita 東大 2
Daiki Chijiwa NTT 2
Hajime Asama NTT 2
Hidenori Tanaka Harvard, NTT 2
Hiroyuki Toda NTT 2
Junya Honda 京大, 理研AIP 2
Kazuki Irie Univ. of Lugano 2
Kengo Nakamura NTT 2
Kenji Fukumizu 統数研 2
Kohei Miyaguchi IBM 2
Koki Kawabata 阪大 2
Masatoshi Uehara Cornell 2
Masayoshi Tomizuka UCBerkeley 2
Naoya Takeishi HES-SO, 理研AIP 2
Sadamori Kojaku Indiana Univ. 2
Satoshi Hayakawa Oxford 2
Shin’ya Yamaguchi NTT 2
Sho Sonoda 理研AIP 2
Taira Tsuchiya 京大, 理研AIP 2
Takaharu Yaguchi 神大 2
Takashi Matsubara 阪大 2
Takuma Seno Sony 2
Yoichi Sato 東大 2
Yuki Asano 東大 2

表2　NeurIPS2021-2022著者所属ランキング（図3と連動）

■トレンドキーワードの推移

キーワードトレンドについてもまとめてみました（表3）。

強化学習やTransformerは従来からの流れで変わりなく、その次に敵対的学習が注目されていることが分かります。一方で、分布を学習する手法として最近脚光を浴びつつある［Diffusion model］も浮かび上がってきていることが分かります。性能においては、敵対的学習を超えていることが各所で報告されております。今後は理論的な解析や発展も進むことが予測されているため、来年度はもっと高い位置に来るかもしれません。。

Year 2021 2022
#Papers 2,327 2,672
Ranking Term Frequency Term Frequency
1 Reinforcement Learning 5.63% Reinforcement Learning 5.69%
2 Adversarial 3.54% Adversarial 3.18%
3 Transformer 2.40% Transformer 2.43%
4 Sparse 2.09% Sparse 2.13%
5 Attention 1.63% Unsupervised 1.42%
6 Self Supervised 1.33% Federated Learning 1.20%
7 Representation Learning 1.25% Representation Learning 1.12%
8 Unsupervised 0.99% Attention 1.09%
9 Federated Learning 0.87% Diffusion 0.97%
10 Contrastive Learning 0.84% Self Supervised 0.86%
11 Neural Network 0.84% Neural Network 0.82%
12 Domain Adaptation 0.76% Few Shot 0.82%
13 Few Shot 0.72% Knowledge Distillation 0.75%
14 Deep Learning 0.72% Deep Learning 0.71%
15 Active Learning 0.68% Contrastive Learning 0.71%
16 Object Detection 0.68% Object Detection 0.67%
17 Meta Learning 0.65% Active Learning 0.67%
18 Disentangle 0.61% Semantic Segmentation 0.64%
19 Continual Learning 0.53% Domain Adaptation 0.60%
20 Boosting 0.52%
21 Zero Shot 0.52%
22 Online Learning 0.52%

表3　論文出現キーワード推移 （2021-2022年）

■まとめ

以上のように、簡易的に重要指標から考察してまいりました。
いずれにしても論文投稿数の成長から考えると、変わらず増加の一途をたどっており、本分野の盛況ぶりを改めて感じる結果となりました。

参考ウェブサイト：
https://papers.nips.cc/
https://proceedings.neurips.cc/　(上記と同じ)
https://www.openresearch.org/wiki/NIPS
https://github.com/lixin4ever/Conference-Acceptance-Rate
https://research-p.com/column/246
https://openreview.net/group?id=NeurIPS.cc/2022/Conference

　
編集：ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/

Diffusion model Machine Learning NeurIPS Statistical Learning トップカンファレンス定点観測
関連記事
メンバーシップ登録

Membership Registration

博士課程在籍中の方 ポスドクの方 大学教員の方 企業研究者/技術者

研究者/技術者向けに、ResearchPortスタッフが個別に、一人ひとりのニーズに合わせた新たな転職先探し、副業案件や顧問依頼のご紹介をしております。その他にも、皆様の研究成果PRや研究パートナーを探すサポートなどを行っております。ご相談ご興味がある方はResearchPortメンバーシップへのご登録をお願いいたします。