TOP COLUMN 「NeurIPS2022」ResearchPortトップカンファレンス定点観測 vol.8

「NeurIPS2022」ResearchPortトップカンファレンス定点観測 vol.8

Diffusion model Machine Learning NeurIPS Statistical Learning トップカンファレンス定点観測

2023年4月17日 10時00分公開

本記事3行要約：

● 日本人からの研究は2,672件中79本。
● 近年の発表件数のランキングを国内所属別に見ると、東大・理研AIP・NTTが圧倒的多数。
● 「Diffusion model」がトレンドに上がってきた。

2022年11月末－12月上旬にかけてNeurIPS2022が開催されました。
前回の記事（参照：「NeurIPS」ResearchPortトップカンファレンス定点観測 vol.2）では、“NeurIPS”というカンファレンスの歴史などを、ニューラルネットワークの歴史も含めてかなり長々と書き連ねました。
今回は、数値データを中心にコンパクトに統計などをまとめてまいります。

NeurIPS 2022　開催概要
▶ 開催期間：　28 Nov. – 9 Dec., 2022
▶ 開催都市：　New Orleans, US
▶ 公式HP：　 https://nips.cc/Conferences/2022

■NeurIPS2022総括

早速結論ですが、ついに投稿件数（submissions）が10,000件を超えました。この数値からも、まだまだAI応用分野を支える理論的なアルゴリズム研究が活発であることが見て取れます。

表1と図１に投稿数・採択率の推移を示しました。
前回記事で詳細を述べておりますので、細かい点は割愛しますが、やはり投稿件数の急増・採択率（Acceptance rate）25％程の高難易度であることは改めて驚かされます。

表を全て展開

conferences	Year	# submission	# accepted papers	acceptance rate	Country	Venue
NeurIPS	1987	300	90	30.00%	USA	Denver
NeurIPS	1988	313	94	30.03%	USA	Denver
NeurIPS	1989	337	101	29.97%	USA	Denver
NeurIPS	1990	477	143	29.98%	USA	Denver
NeurIPS	1991	480	144	30.00%	USA	Denver
NeurIPS	1992	423	127	30.02%	USA	Denver
NeurIPS	1993	527	158	29.98%	USA	Denver
NeurIPS	1994	467	140	29.98%	USA	Denver
NeurIPS	1995	507	152	29.98%	USA	Denver
NeurIPS	1996	507	152	29.98%	USA	Denver
NeurIPS	1997	500	150	30.00%	USA	Denver
NeurIPS	1998	487	151	31.01%	USA	Denver
NeurIPS	1999	467	150	32.12%	USA	Denver
NeurIPS	2000	507	152	29.98%	USA	Denver
NeurIPS	2001	650	197	30.31%	Canada	Vancouver
NeurIPS	2002	710	207	29.15%	Canada	Vancouver
NeurIPS	2003	717	198	27.62%	Canada	Vancouver
NeurIPS	2004	822	207	25.18%	Canada	Vancouver
NeurIPS	2005	822	207	25.18%	Canada	Vancouver
NeurIPS	2006	833	204	24.49%	Canada	Vancouver
NeurIPS	2007	975	217	22.26%	Canada	Vancouver
NeurIPS	2008	1,022	250	24.46%	Canada	Vancouver
NeurIPS	2009	1,105	262	23.71%	Canada	Vancouver
NeurIPS	2010	1,219	292	23.95%	Canada	Vancouver
NeurIPS	2011	1,400	306	21.86%	Spain	Granada
NeurIPS	2012	1,467	370	25.22%	USA	Lake Tahoe
NeurIPS	2013	1,420	360	25.35%	USA	Lake Tahoe
NeurIPS	2014	1,678	411	24.49%	Canada	Montreal
NeurIPS	2015	1,838	403	21.93%	Canada	Montreal
NeurIPS	2016	2,403	569	23.68%	Spain	Barcelona
NeurIPS	2017	3,240	679	20.96%	USA	Longbeach
NeurIPS	2018	4,856	1,009	20.78%	Canada	Montréal
NeurIPS	2019	6,743	1,428	21.18%	USA	Vancouver
NeurIPS	2020	9,454	1,893	20.02%	Canada	Vancouver
NeurIPS	2021	9,122	2,327	25.51%	–	Online
NeurIPS	2022	10,411	2,672	25.67%	USA	New Orleans
NeurIPS	2023				USA	New Orleans

表1　NeurIPS投稿数・採択率の推移

＊補足＊
赤地の部分は採択率を類推しています。黄地の部分は統計に情報にばらつきあり信頼性が低い可能性があります。論文集・その他を、プログラムを書きながら解析した部分もあるので、一部別のウェブサイトで報告されている件数などと多少の差がある可能性があります。

＊補足2＊
2021 の数値については、公式には2,327件および2,344件との報告がありますが、proceedingsのサイトおよびOpenReviewのサイトに収録されている件数に違いがあり、いずれが正しいのか分かりません。このため以降の記述においてはOpenReviewサイトを基準といたします。2022も同様です。
　

■日本人研究者別-論文採択数

次に、2022年の論文内で日本人らしい著者（海外で活躍する研究者も含む）をフィルタリングした結果をご覧ください（図2）。前述の通り、OpenReview、Proceedingsで掲載されている論文数に違いがありますので、ここではOpenReviewに掲載されている論文を基に集計しています。

その結果によれば、2021年は“のべ”122名^*1だったものが、2022年にはのべ129名と微増しておりますが、全体論文に占める割合はともに1.08％と横ばいでありました。

2021-2022の累積ランキングを調べたものが図3です。詳細には表２で所属も併せてまとめましたが、圧倒的に東大、理研AIP、NTTからの投稿が多い^*2ことがわかります。日本を代表する研究機関と言えますね。また、海外の大学・研究機関で活躍される研究者も多いことがわかります。

*1：本記事内で122名の詳細（研究者名・投稿論文数）は掲載しておりません。
*2：各所属組織から投稿された論文数の合計数値。
　

NeurIPS 2022

図を全て展開

著者	採択数
Masashi Sugiyama	5
Taiji Suzuki	4
Tatsunori Hashimoto	4
Atsutoshi Kumagai	3
Kenji Kawaguchi	3
Shinji Ito	3
Shinsaku Sakaue	3
Taihei Oki	3
Tomoharu Iwata	3
Junya Honda	2
Kenji Fukumizu	2
Satoshi Hayakawa	2
Seijin Kobayashi	2
Taira Tsuchiya	2
Takuma Seno	2
Yasutoshi Ida	2
Yusuke Iwasawa	2
Akiko Takeda	1
Atsushi Nitanda	1
Daiki Chijiwa	1
Eiichi Matsumoto	1
Hidenori Iwakiri	1
Hiroki Yanagisawa	1
Hiroyuki Toda	1
Ichiro Takeuchi	1
Isao Ishikawa	1
Jun Saito	1
Jun Sakuma	1
Junpei Komiyama	1
Kaito Fujii	1
Kandai Watanabe	1
Kato Takashi	1
Kazuki Irie	1
Kazuto Fukuchi	1
Kazuya Kawakami	1
Keitaro Sakamoto	1
Kengo Kato	1
Kengo Nakamura	1
Kohei Miyaguchi	1
Masaaki Nishino	1
Masahiro Ikeda	1
Masahiro Masuda	1
Masaki Adachi	1
Masaki Nakada	1
Masanobu Horie	1
Masanori Koyama	1
Masanori Suganuma	1
Masato Taki	1
Masatoshi Uehara	1
Masayoshi Tomizuka	1
Michihiro Yasunaga	1
Motoaki Kawanabe	1
Naoki Hiratani	1
Naoki Nishikawa	1
Naonori Ueda	1
Noa Nabeshima	1
Norihito Yasuda	1
Rei Sato	1
Ryosuke Kojima	1
Ryutaro Tanno	1
Satoru Iwata	1
Shin’ya Yamaguchi	1
Shiro Takagi	1
Sho Sonoda	1
Sho Takemori	1
Shogo Iwazaki	1
Shohei Taniguchi	1
Shoji Toyota	1
Shun Iwase	1
Shun Ogawa	1
Sosuke Kobayashi	1
Tadashi Kozuno	1
Tadayuki Tone	1
Taichi Asami	1
Taiga Abe	1
Taiki Miyagawa	1
Takashi Maruyama	1
Takayuki Katsuki	1
Takayuki Okatani	1
Takeru Miyato	1
Takeshi Kojima	1
Takumi Tanabe	1
Takuya Ito	1
Takuya Takagi	1
Taro Makino	1
Tatsuya Harada	1
Tatsuya Konishi	1
Tomoya Murata	1
Toshihiko Yamasaki	1
Wataru Kumagai	1
Yasuhiro Fujiwara	1
Youhei Akimoto	1
Yuhei Umeda	1
Yuichi Yoshida	1
Yuji Okamoto	1
Yuki Tatsunami	1
Yuko Ishiwaka	1
Yuri Kinoshita	1
Yusuke Tanaka	1

図2　NeurIPS2022著者ランキング

NeurIPS 2021 – 2022
author ranking

図を全て展開

著者	採択数
Kenji Kawaguchi	10
Masashi Sugiyama	7
Taiji Suzuki	7
Seijin Kobayashi	5
Shinji Ito	5
Tomoharu Iwata	5
Atsushi Nitanda	4
Atsutoshi Kumagai	4
Shinsaku Sakaue	4
Tadashi Kozuno	4
Tatsunori Hashimoto	4
Makoto Yamada	3
Naonori Ueda	3
Taihei Oki	3
Yasuhiro Fujiwara	3
Yasutoshi Ida	3
Yusuke Iwasawa	3
Akiko Takeda	2
Atsushi Yamashita	2
Daiki Chijiwa	2
Hajime Asama	2
Hidenori Tanaka	2
Hiroyuki Toda	2
Junya Honda	2
Kazuki Irie	2
Kengo Nakamura	2
Kenji Fukumizu	2
Kohei Miyaguchi	2
Koki Kawabata	2
Masatoshi Uehara	2
Masayoshi Tomizuka	2
Naoya Takeishi	2
Sadamori Kojaku	2
Satoshi Hayakawa	2
Shin’ya Yamaguchi	2
Sho Sonoda	2
Taira Tsuchiya	2
Takaharu Yaguchi	2
Takashi Matsubara	2
Takuma Seno	2
Yoichi Sato	2
Yuki Asano	2

図3　NeurIPS 2021-2022 著者ランキング（表2と連動）

表を全て展開

Name	Affiliation	# papers
Kenji Kawaguchi	NUS	10
Masashi Sugiyama	東大, 理研AIP	7
Taiji Suzuki	東大, 理研AIP	7
Seijin Kobayashi	ETHZ	5
Shinji Ito	NEC	5
Tomoharu Iwata	NTT	5
Atsushi Nitanda	九工大, 理研AIP	4
Atsutoshi Kumagai	NTT	4
Shinsaku Sakaue	東大, NTT	4
Tadashi Kozuno	OMRON SINIC X	4
Tatsunori Hashimoto	Stanford	4
Makoto Yamada	京大, OIST, 理研AIP	3
Naonori Ueda	NTT, 理研AIP	3
Taihei Oki	東大	3
Yasuhiro Fujiwara	NTT	3
Yasutoshi Ida	NTT	3
Yusuke Iwasawa	東大	3
Akiko Takeda	東大	2
Atsushi Yamashita	東大	2
Daiki Chijiwa	NTT	2
Hajime Asama	NTT	2
Hidenori Tanaka	Harvard, NTT	2
Hiroyuki Toda	NTT	2
Junya Honda	京大, 理研AIP	2
Kazuki Irie	Univ. of Lugano	2
Kengo Nakamura	NTT	2
Kenji Fukumizu	統数研	2
Kohei Miyaguchi	IBM	2
Koki Kawabata	阪大	2
Masatoshi Uehara	Cornell	2
Masayoshi Tomizuka	UCBerkeley	2
Naoya Takeishi	HES-SO, 理研AIP	2
Sadamori Kojaku	Indiana Univ.	2
Satoshi Hayakawa	Oxford	2
Shin’ya Yamaguchi	NTT	2
Sho Sonoda	理研AIP	2
Taira Tsuchiya	京大, 理研AIP	2
Takaharu Yaguchi	神大	2
Takashi Matsubara	阪大	2
Takuma Seno	Sony	2
Yoichi Sato	東大	2
Yuki Asano	東大	2

表2　NeurIPS2021-2022著者所属ランキング（図3と連動）

■トレンドキーワードの推移

キーワードトレンドについてもまとめてみました（表3）。

強化学習やTransformerは従来からの流れで変わりなく、その次に敵対的学習が注目されていることが分かります。一方で、分布を学習する手法として最近脚光を浴びつつある［Diffusion model］も浮かび上がってきていることが分かります。性能においては、敵対的学習を超えていることが各所で報告されております。今後は理論的な解析や発展も進むことが予測されているため、来年度はもっと高い位置に来るかもしれません。。

Year	2021		2022
#Papers	2,327		2,672
Ranking	Term	Frequency	Term	Frequency
1	Reinforcement Learning	5.63%	Reinforcement Learning	5.69%
2	Adversarial	3.54%	Adversarial	3.18%
3	Transformer	2.40%	Transformer	2.43%
4	Sparse	2.09%	Sparse	2.13%
5	Attention	1.63%	Unsupervised	1.42%
6	Self Supervised	1.33%	Federated Learning	1.20%
7	Representation Learning	1.25%	Representation Learning	1.12%
8	Unsupervised	0.99%	Attention	1.09%
9	Federated Learning	0.87%	Diffusion	0.97%
10	Contrastive Learning	0.84%	Self Supervised	0.86%
11	Neural Network	0.84%	Neural Network	0.82%
12	Domain Adaptation	0.76%	Few Shot	0.82%
13	Few Shot	0.72%	Knowledge Distillation	0.75%
14	Deep Learning	0.72%	Deep Learning	0.71%
15	Active Learning	0.68%	Contrastive Learning	0.71%
16	Object Detection	0.68%	Object Detection	0.67%
17	Meta Learning	0.65%	Active Learning	0.67%
18	Disentangle	0.61%	Semantic Segmentation	0.64%
19	Continual Learning	0.53%	Domain Adaptation	0.60%
20			Boosting	0.52%
21			Zero Shot	0.52%
22			Online Learning	0.52%