TOP COLUMN 「NeurIPS 2023」ResearchPortトップカンファレンス定点観測 vol.14

「NeurIPS 2023」ResearchPortトップカンファレンス定点観測 vol.14

Diffusion model NeurIPS トップカンファレンス定点観測
2024年6月27日 09時18分 公開

本記事3行要約：

● 投稿論文数は12,343件、採択件数は3,218本に！
● 日本人からの研究は3,218件中104本！
● NeurIPSでも拡散モデルがキーワードトレンドでトップに！


開催から記事公開まで時間が空いてしまいましたが、2023年12月中旬に開催された［NeurIPS 2023］の統計など簡潔にまとめました。

過去の記事では、NeurIPSというカンファレンスの由来や始まりについてまとめておりますので、そちらも参考にしてみてください。なお、 本記事とvol.8の記事については、数値データを中心にコンパクトに統計などをまとめております。

＊参照：
「NeurIPS」ResearchPortトップカンファレンス定点観測 vol.2
「NeurIPS 2022」ResearchPortトップカンファレンス定点観測 vol.8

NeurIPS 2023　開催概要
▶ 開催期間：　10 – 16 Dec., 2023
▶ 開催都市：　New Orleans, US
▶ 公式HP：　 https://nips.cc/Conferences/2023

■NeurIPS 2023総括

まず最初に投稿数・採択率の推移を見ていきます（表1・図1）。
論文投稿数は、2022年に10,000件の大台を突破して以来、さらに増え12,343件となりました。2024年6月に開催されたCVPR 2024でも11,532件でしたので、依然としてAI応用分野を支える理論的なアルゴリズム研究が活発であることが見て取れます。採択率も26％強の高難易度を維持しております。

conferences Year # submission # accepted papers acceptance rate Country Venue
NeurIPS 1987 300 90 30.00% USA Denver
NeurIPS 1988 313 94 30.03% USA Denver
NeurIPS 1989 337 101 29.97% USA Denver
NeurIPS 1990 477 143 29.98% USA Denver
NeurIPS 1991 480 144 30.00% USA Denver
NeurIPS 1992 423 127 30.02% USA Denver
NeurIPS 1993 527 158 29.98% USA Denver
NeurIPS 1994 467 140 29.98% USA Denver
NeurIPS 1995 507 152 29.98% USA Denver
NeurIPS 1996 507 152 29.98% USA Denver
NeurIPS 1997 500 150 30.00% USA Denver
NeurIPS 1998 487 151 31.01% USA Denver
NeurIPS 1999 467 150 32.12% USA Denver
NeurIPS 2000 507 152 29.98% USA Denver
NeurIPS 2001 650 197 30.31% Canada Vancouver
NeurIPS 2002 710 207 29.15% Canada Vancouver
NeurIPS 2003 717 198 27.62% Canada Vancouver
NeurIPS 2004 822 207 25.18% Canada Vancouver
NeurIPS 2005 822 207 25.18% Canada Vancouver
NeurIPS 2006 833 204 24.49% Canada Vancouver
NeurIPS 2007 975 217 22.26% Canada Vancouver
NeurIPS 2008 1,022 250 24.46% Canada Vancouver
NeurIPS 2009 1,105 262 23.71% Canada Vancouver
NeurIPS 2010 1,219 292 23.95% Canada Vancouver
NeurIPS 2011 1,400 306 21.86% Spain Granada
NeurIPS 2012 1,467 370 25.22% USA Lake Tahoe
NeurIPS 2013 1,420 360 25.35% USA Lake Tahoe
NeurIPS 2014 1,678 411 24.49% Canada Montreal
NeurIPS 2015 1,838 403 21.93% Canada Montreal
NeurIPS 2016 2,403 569 23.68% Spain Barcelona
NeurIPS 2017 3,240 679 20.96% USA Longbeach
NeurIPS 2018 4,856 1,009 20.78% Canada Montréal
NeurIPS 2019 6,743 1,428 21.18% USA Vancouver
NeurIPS 2020 9,454 1,893 20.02% Canada Vancouver
NeurIPS 2021 9,122 2,327 25.51% – Online
NeurIPS 2022 10,411 2,672 25.67% USA New Orleans
NeurIPS 2023 12,343 3,218 26.07% USA New Orleans

表1　NeurIPS論文投稿数および採択率

＊補足＊
赤地の部分は採択率を類推しています。黄地の部分は統計に情報にばらつきあり信頼性が低い可能性があります。論文集・その他を、プログラムを書きながら解析した部分もあるので、一部別のウェブサイトで報告されている件数などと多少の差がある可能性があります。

＊補足2＊
2021 の数値については、公式には2,327件および2,344件との報告がありますが、proceedingsのサイトおよびOpenReviewのサイトに収録されている件数に違いがあり、いずれが正しいのか分かりません。このため以降の記述においてはOpenReviewサイトを基準といたします。2022も同様です。
　

図 1　NeurIPS 1987-2023　統計推移

■日本人研究者別-論文採択数

本カンファレンスでも、日本人著者の活躍も調べておりますので、下記に示します。
まずは早速、NeurIPS 2023個人別採択件数ランキングをご覧ください。（図2）

NeurIPS 2023　個人別採択件数
著者 採択数
Masashi Sugiyama
11
Kenji Kawaguchi
5
Taiji Suzuki
4
Tatsunori Hashimoto
3
Yasutaka Furukawa
3
Shinji Ito
3
Masatoshi Uehara
2
Atsushi Nitanda
2
Hidenori Tanaka
2
Masayoshi Tomizuka
2
Shinichi Nakajima
2
Daisuke Urano
2
Kei Takemura
2
Haruka Kiyohara
1
Seijin Kobayashi
1
Michihiro Yasunaga
1
Heishiro Kanagawa
1
Ryota Tomioka
1
Soichiro Kumano
1
Hiroshi Kera
1
Toshihiko Yamasaki
1
Maya Okawa
1
Shinji Watanabe
1
Haruki Nishimura
1
Taisuke Yasuda
1
Norio Kosaka
1
Kazuhito Koishida
1
Yuki Kawana
1
Tatsuya Harada
1
Tomoki Fukai
1
Ryoma Yataka
1
Kazuki Hirashima
1
Masashi Shiraishi
1
Kazusato Oko
1
Kazuki Irie
1
Toshihisa Tanaka
1
Daisuke Hatano
1
Takuro Fukunaga
1
Naonori Kakimura
1
Atsushi Yamamura
1
Yasumasa Onoe
1
Taira Tsuchiya
1
Junya Honda
1
Shogo Iwazaki
1
Shion Takeno
1
Tomohiko Tanabe
1
Mitsuru Irie
1
Kansei Ushiyama
1
Shun Sato
1
Naoki Egami
1
Kazunori Yamada
1
Junpei Komiyama
1
Masaaki Imaizumi
1
Takahiro Mimori
1
Michiaki Hamada
1
Takashi Furuya
1
Naoya Takeishi
1
Akifumi Imanishi
1
Masayuki Takagi
1
Shunya Minami
1
Kenji Fukumizu
1
Yoshihiro Hayashi
1
Ryo Yoshida
1
Shin’ya Yamaguchi
1
Daiki Chijiwa
1
Sekitoshi Kanai
1
Atsutoshi Kumagai
1
Hisashi Kashima
1
Mitsuhiko Nakamoto
1
Kiyohiro Nakayama
1
Yuka Hashimoto
1
Masahiro Ikeda
1
Mahito Sugiyama
1
Hikaru Shindo
1
Futoshi Futami
1
Masahiro Fujisawa
1
Tomoyoshi Kimura
1
Yuichi Yoshida
1
Akifumi Wachi
1
Wataru Hashimoto
1
Kazumune Hashimoto
1
Atsuki Sato
1
Yusuke Matsui
1
Taro Watanabe
1
Hideki Koike
1
Shin’ichi Satoh
1
Yuki Takezawa
1
Ryoma Sato
1
Kenta Niwa
1
Makoto Yamada
1
Naoki Nishikawa
1
Yuichi Ike
1
Kenji Yamanishi
1
Shin’ya Nishida
1
Kazuto Fukuchi
1
Jun Sakuma
1
Koki Nagano
1
Atsuyuki Miyai
1
Go Irie
1
Kiyoharu Aizawa
1
Yusuke Kato
1
Kazuki Kozuka
1
Masashi Hamaya
1
Taihei Oki
1
Shinsaku Sakaue
1

図2　NeurIPS 2023　個人別採択件数ランキング

＊OpenReview、Proceedingsで掲載されている論文数に違いがありますので、ここではOpenReviewに掲載されている論文を基に集計しています。

2023年の論文内で日本人らしい著者（海外で活躍する研究者も含む）が含まれる論文タイトルの件数は、2022年は81件だったものが、2023年には104件となり、継続して増加となっておりました。全体の件数も増加していますが、採択論文全体に占める件数割合は3.03％ → 3.23％と僅かに向上したことになります。

OpenReviewに論文掲載がある2021-2023年の累積ランキングもまとめております。（図3）
こちらは2件以上の採択実績を持つ方を掲載しております。
所属別に見ると、昨年同様、圧倒的に東大、理研AIP、NTTからの投稿が多い*1ことがわかります。また、海外の大学・研究機関で活躍される研究者も多いこともわかります。詳細は、著者所属ランキングをご確認ください。（表2）

NeurIPS 2021-2023
著者ランキング
著者 採択数
Masashi Sugiyama
18
Kenji Kawaguchi
15
Taiji Suzuki
11
Shinji Ito
8
Tatsunori Hashimoto
7
Seijin Kobayashi
6
Atsushi Nitanda
6
Tomoharu Iwata
5
Atsutoshi Kumagai
5
Shinsaku Sakaue
5
Tadashi Kozuno
4
Taihei Oki
4
Hidenori Tanaka
4
Masayoshi Tomizuka
4
Masatoshi Uehara
4
Makoto Yamada
4
Daiki Chijiwa
3
Yasuhiro Fujiwara
3
Kenji Fukumizu
3
Yasutaka Furukawa
3
Junya Honda
3
Yasutoshi Ida
3
Kazuki Irie
3
Yusuke Iwasawa
3
Naoya Takeishi
3
Taira Tsuchiya
3
Naonori Ueda
3
Shin’ya Yamaguchi
3
Hajime Asama
2
Yuki Asano
2
Kazuto Fukuchi
2
Futoshi Futami
2
Tatsuya Harada
2
Satoshi Hayakawa
2
Masahiro Ikeda
2
Shogo Iwazaki
2
Heishiro Kanagawa
2
Koki Kawabata
2
Sadamori Kojaku
2
Junpei Komiyama
2
Takashi Matsubara
2
Kohei Miyaguchi
2
Shinichi Nakajima
2
Kengo Nakamura
2
Naoki Nishikawa
2
Jun Sakuma
2
Yoichi Sato
2
Takuma Seno
2
Sho Sonoda
2
Mahito Sugiyama
2
Akiko Takeda
2
Kei Takemura
2
Hiroyuki Toda
2
Ryota Tomioka
2
Daisuke Urano
2
Akifumi Wachi
2
Takaharu Yaguchi
2
Kenji Yamanishi
2
Toshihiko Yamasaki
2
Atsushi Yamashita
2
Michihiro Yasunaga
2
Yuichi Yoshida
2

図3　NeurIPS 2021-2023　著者ランキング（表2と連動）

Name Affiliation # papers
Masashi Sugiyama 東京大学, 理研AIP 18
Kenji Kawaguchi NUS 15
Taiji Suzuki 東京大学, 理研AIP 11
Shinji Ito NEC 8
Tatsunori Hashimoto Stanford 7
Seijin Kobayashi ETHZ 6
Atsushi Nitanda 九州工業大学, 理研AIP 6
Tomoharu Iwata NTT 5
Atsutoshi Kumagai NTT 5
Shinsaku Sakaue 東京大学, NTT 5
Tadashi Kozuno OMRON SINIC X 4
Taihei Oki 東京大学 4
Hidenori Tanaka Harvard, NTT 4
Masayoshi Tomizuka UCBerkeley 4
Masatoshi Uehara Cornell 4
Makoto Yamada 京都大学, OIST, 理研AIP 4
Daiki Chijiwa NTT 3
Yasuhiro Fujiwara NTT 3
Kenji Fukumizu 統数研 3
Yasutaka Furukawa Simon Fraser Univ. 3
Junya Honda 京都大学, 理研AIP 3
Yasutoshi Ida NTT 3
Kazuki Irie University of Lugano 3
Yusuke Iwasawa 東京大学 3
Naoya Takeishi HES-SO, 理研AIP 3
Taira Tsuchiya 京都大学, 理研AIP 3
Naonori Ueda NTT, 理研AIP 3
Shin’ya Yamaguchi NTT 3
Hajime Asama NTT 2
Yuki Asano 東京大学 2
Kazuto Fukuchi 筑波大学 2
Futoshi Futami 大阪大学 2
Tatsuya Harada 東京大学 2
Satoshi Hayakawa Oxford Univ. 2
Masahiro Ikeda 理研AIP 2
Shogo Iwazaki LINEヤフー 2
Heishiro Kanagawa Newcastle Univ. 2
Koki Kawabata 大阪大学 2
Sadamori Kojaku Indiana Univ. 2
Junpei Komiyama NY Univ. 2
Takashi Matsubara 大阪大学 2
Kohei Miyaguchi IBM 2
Shinichi Nakajima TU Berlin 2
Kengo Nakamura NTT 2
Naoki Nishikawa 東京大学 2
Jun Sakuma 東京工業大学 2
Yoichi Sato 東京大学 2
Takuma Seno Sony 2
Sho Sonoda 理研AIP 2
Mahito Sugiyama NII 2
Akiko Takeda 東京大学 2
Kei Takemura NEC 2
Hiroyuki Toda NTT 2
Ryota Tomioka Microsoft 2
Daisuke Urano NUS 2
Akifumi Wachi LINEヤフー 2
Takaharu Yaguchi 神戸大学 2
Kenji Yamanishi 東京大学 2
Toshihiko Yamasaki 東京大学 2
Atsushi Yamashita 東京大学 2
Michihiro Yasunaga Stanford Univ. 2
Yuichi Yoshida NII 2

表2　NeurIPS 2021-2023著者所属ランキング（図3と連動）

*1：各所属組織から投稿された論文数の合計数値。
　

■トレンドキーワードの推移

キーワードトレンドについてもまとめてみました（表3）。

昨年記事で言及した通り、NeurIPS 2023では、Diffusion（拡散モデル）など生成モデルに使われる手法が最多となっています。続いて、Reinforcement Learning（強化学習）やTransformer、Adversarial Learning（敵対的学習）は昨年同様に出現率は変わらず高い傾向にあります。
伝統的にここ数年は強化学習が最多でしたが、生成AIの方が2023年は多く順位入れ替えという結果になっており、アカデミアでの研究も盛んであることが見て取れます。

それ以降の出現キーワードでは、Language Model（言語モデル）のような特定分野への応用技術が上位にランクインしているなど、基礎理論が多い傾向にあったNeurIPSにおいて昨今のトレンドを反映した特筆すべき傾向と言えるかもしれません。

まだランキングが下位ですが、生成AIのコントローラビリティなどの研究が今後重要性を帯びてくる可能性があります。それに応じてTuningなどのキーワードが来年度以降は上位に上がってくるかもしれません。ということで、全体的に見れば生成AIのトレンドを技術的に支えている傾向が顕著に現れたNeurIPS 2023だったと言えるかもしれません。

Year 2023 2022 2021
#Papers 3,218 2,671 2,630
Ranking Term Frequency Term Frequency Term Frequency
1 Diffusion 11.16% Reinforcement Learning 11.38% Reinforcement Learning 11.25%
2 Reinforcement Learning 9.32% Adversarial 3.18% Adversarial 3.54%
3 Adversarial 2.61% Diffusion 2.58% Bayesian 2.51%
4 Federated Learning 2.30% Transformer 2.43% Transformer 2.40%
5 Bayesian 1.96% Federated Learning 2.40% Sparse 2.09%
6 Transformer 1.87% Sparse 2.13% Federated Learning 1.75%
7 Language Model 1.80% Generative 2.02% Meta Learning 1.75%
8 Generative 1.74% Bayesian 1.98% Attention 1.64%
9 Pre Training 1.62% Pre Training 1.50% Domain Adaptation 1.52%
10 Unsupervised 1.21% Unsupervised 1.42% Representation Learning 1.48%
11 Contrastive Learning 1.15% Representation Learning 1.42% Generative 1.41%
12 Representation Learning 1.15% Active Learning 1.35% Active Learning 1.37%
13 3D 1.12% Domain Adaptation 1.20% Self Supervised 1.33%
14 Attention 1.06% Neural Network 1.12% Diffusion 1.22%
15 Neural Network 1.06% Knowledge Distillation 1.12% Contrastive Learning 1.18%
16 Sparse 1.03% Attention 1.09% Neural Network 1.14%
17 Continual Learning 0.99% Contrastive Learning 1.05% Deep Learning 1.07%
18 Meta Learning 0.81% 3D 0.97% Continual Learning 1.07%
19 Active Learning 0.81% Meta Learning 0.90% Unsupervised 0.99%
20 Object Detection 0.81% Self Supervised 0.86% Object Detection 0.84%
21 Diffusion Model 0.81% Deep Learning 0.82% 3D 0.76%
22 Self Supervised 0.78% Few Shot 0.82% Few Shot 0.72%
23 Tuning 0.75% Continual Learning 0.82% Video 0.68%
24 Domain Adaptation 0.68% Semantic Segmentation 0.82% Combinatorial 0.68%
25 Combinatorial 0.59% Object Detection 0.79% Bandit 0.68%
26 Deep Learning 0.59% Video 0.67% Knowledge Distillation 0.65%
27 Zero Shot 0.59% Language Model 0.56% Disentangl 0.61%
28 Semantic Segmentation 0.56% Adversarial Training 0.56% Supervised Learning 0.61%
29 Embedding 0.53% Boosting 0.52% Imitation Learning 0.57%
30 Supervised Learning 0.53% Zero Shot 0.52% Machine Learning 0.57%
31 Online Learning 0.52% Transfer Learning 0.57%
32 Bandit 0.52%
33 Supervised Learning 0.52%

表3　論文出現キーワード推移（2023-2021年）

＊ 今回より、出現キーワードの抽出方法を多少変更いたしました。
　 過去に公開したコラム内の出現キーワードとの順位相違や、新たなキーワードが追加されております。

■まとめ

以上のように、簡易的に重要指標から考察してまいりました。
NeurIPS 2023終了後、本記事公開までお時間要してしまいましたが、振り返り的な位置付けでご覧いただければありがたいです。
データ解析・公開にあたっては細心の注意を払っておりますが、万が一、間違いなどございましたら遠慮なく弊社までご連絡ください。

　
編集：ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/

Diffusion model NeurIPS トップカンファレンス定点観測
関連記事
メンバーシップ登録

Membership Registration

博士課程在籍中の方 ポスドクの方 大学教員の方 企業研究者/技術者

研究者/技術者向けに、ResearchPortスタッフが個別に、一人ひとりのニーズに合わせた新たな転職先探し、副業案件や顧問依頼のご紹介をしております。その他にも、皆様の研究成果PRや研究パートナーを探すサポートなどを行っております。ご相談ご興味がある方はResearchPortメンバーシップへのご登録をお願いいたします。