TOP COLUMN 「ICLR 2024」ResearchPortトップカンファレンス定点観測 vol.15

「ICLR 2024」ResearchPortトップカンファレンス定点観測 vol.15

Diffusion model ICLR トップカンファレンス定点観測
2024年7月15日 10時17分 公開

本記事3行要約：

● 論文投稿数7,404件、採択件数2,174件！採択率29.4%！
● 日本人研究者を含む論文は2,174件中86本！
● ICLRでもDiffusion（拡散モデル）がキーワードトレンドでトップに！


2024年5月中旬に開催された［ICLR 2024］について簡潔にまとめました。

これまで機械学習最高峰の国際カンファレンスとして、NeurIPSやICMLを取り上げて動向調査をしてまいりました。これらに加えて、コンピュータサイエンス・機械学習系のトップカンファレンスで第3位*1に食い込む重要会議が今回取り上げるICLR（International Conference on Learning Representation）です。

＊1　「ResearchPort カンファレンスランク 2023年版」参照
　

ICLR 2024　開催概要
▶ 開催期間：　7 – 11 May., 2024
▶ 開催都市：　Vienna, Austria
▶ 公式HP：　 https://iclr.cc/

■ICLRとは

2013年に米国アリゾナ州スコッツデールで開催されて以来、毎年4・5月に開催されています。
7月開催のICMLや12月開催のNeurIPSと、投稿時期や開催時期などが別シーズンになるため、比較的参加しやすい時期に行われております。

詳細は後述いたしますが、論文投稿数も7,000件超えで、採択率も30%弱とかなりの高難易度カンファレンスであることが分かります。

“representation”という一部の方にとっては聞きなれない用語が含まれた会議です。representationとは、一昔前では特徴量と言われていた、入力情報から識別や予測に役立つ情報を残した、もしくは強調した情報のことです。これを人為的に設計する従来の設計パラダイム（feature engineering）から、自動設計するパラダイムへとシフトさせたものが深層学習（deep learning）であり、“Representation Learning”とは深層学習の真髄の一つであるとも言えます。
近年の生成AIは、下流タスク（downstream task）において、より多次元の出力からなる生成を実現するものですが、そのための重要な概念に近い情報を潜在空間（latent space）で形成（latent vector）するための方法論とも言えます。ただ、他カンファレンス同様に、カンファレンスは裾野の広いトピックを含むため、ICLRでも当初のスコープに限らず、様々な下流タスクを含めて、非常に質の高い研究成果が報告されています。

■ICLR 2024総括

まず最初に投稿数・採択率の推移を見ていきます（表1・図1）。
本記事では、データがしっかり確認できた2018年以降を参照して考察してまいります。参考までに、2017年の投稿数・採択数/率も掲載しておきます。

2018年以降は、およそ30%前後の採択率で推移しており、特に口頭発表の採択率は2%を切るものとなっており、相当な難関であることが見て取れます。他AI関連カンファレンスと同様に、2022→2023→2024と年を追うごとに投稿件数は急増しており、直近の2024年回では7,000件を超える投稿数を記録いたしました。

Year #submissions #spotlight #poster #total titles acceptance rate #oral oral
acceptance
rate		 Venue
2017 490 183 183 37.35% 15 3.06% Toulon, France
2018 1,013 0 314 314 31.00% 23 2.27% Vancouver, Canada
2019 1,579 0 478 478 30.27% 24 1.52% New Orleans, USA
2020 2,594 108 531 639 24.63% 48 1.85% Addis Ababa, Ethiopia
2021 3,014 114 692 806 26.74% 53 1.76% Virtual
2022 3,422 175 864 1,039 30.36% 55 1.61% Virtual
2023 4,955 281 1,202 1,483 29.93% 90 1.82% Kigali, Rwanda
2024 7,404 367 1,807 2,174 29.36% 86 1.16% Vienna, Austria

表1　ICLR 2017-2024論文投稿数および採択率

注）表1内、「#spotlight」と「#poster」の合算値が「#total titles」となります。
　

図 1　ICLR 2017-2024　統計推移

■日本人研究者別-論文採択数

本カンファレンスでも、日本人著者の活躍も調べておりますので、下記に示します。（表2）
併せて、ICLR 2024個人別採択件数（図2）と、ICLR 2018-2024累積著者ランキング（図3）もご覧ください。（図2）

開催年 採択論文数 全著者数 平均著者数
2017 183
2018 314 1,418 4.52 15 1.06% 7 2.23%
2019 478 2,145 4.49 19 0.89% 12 2.51%
2020 639 3,045 4.77 25 0.82% 17 2.66%
2021 806 3,828 4.75 56 1.46% 31 3.85%
2022 1,039 5,096 4.90 61 1.20% 39 3.75%
2023 1,483 7,593 5.12 71 0.94% 49 3.30%
2024 2,174 11,927 5.49 131 1.10% 86 3.96%

表2　ICLR投稿論文全体の著者数に占める日本人比率の推移

全体の論文数の中で、日本人研究者が含まれている論文タイトルは2-3%後半ですが、徐々に増えている傾向が分かります。世界最前線で活躍される研究者が増えることは心強く勇気づけられます。
　

以下、図2では、ICLR 2024単年での日本人研究者個別採択件数を、図3では2018-2024年累積での採択件数をランキング形式でまとめております。累積件数は、非常に多数になるため、作図の関係上2件以上採択されていらっしゃる方のみに絞らせていただきました。

ICLR 2024 日本人個人別採択件数
著者 採択数
Tatsunori Hashimoto
6
Taiji Suzuki
6
Kenji Kawaguchi
5
Yuki Mitsufuji
3
Naoki Murata
3
Masashi Sugiyama
3
Toshimitsu Uesaka
3
Takuya Furusawa
2
Hiroki Furuta
2
Takeru Miyato
2
Atsushi Nitanda
2
Kazusato Oko
2
Hidenori Tanaka
2
Masayoshi Tomizuka
2
Masatoshi Uehara
2
Soji Adeshina
1
Akari Asai
1
Naoya Chiba
1
Daiki Chijiwa
1
Yasuhisa Fujii
1
Kenji Fukumizu
1
Hanan Gani
1
Kentaro Hara
1
Tatsuya Harada
1
Naoya Hasegawa
1
Yuka Hashimoto
1
Kohei Hayashi
1
Haruo Hosoya
1
Ryo Igarashi
1
Masaaki Imaizumi
1
Hirofumi Inaguma
1
Kentaro Inui
1
Kazuki Irie
1
Satoki Ishikawa
1
Isao Ishikawa
1
Takuya Ito
1
Tokio Kajitsuka
1
Sotaro Kaneda
1
Ryo Karakida
1
Kosuke Kawakami
1
Motoaki Kawanabe
1
Hiroshi Kera
1
Ren Kishimoto
1
Haruka Kiyohara
1
Goro Kobayashi
1
Ken Kobayashi
1
Seijin Kobayashi
1
Kazuhito Koishida
1
Taku Komura
1
Masanori Koyama
1
Soichiro Kumano
1
Tatsuki Kuribayashi
1
Takashi Maruyama
1
Tetsuro Morimura
1
Mitsuhiko Nakamoto
1
Kazuhide Nakata
1
Koichi Namekata
1
Yuto Nishimura
1
Kenta Niwa
1
Naoto Ohsaka
1
Tatsushi Oka
1
Kanta Ono
1
Yuta Saito
1
Kotaro Saito
1
Keisuke Sakaguchi
1
Yusuke Sekikawa
1
Takashi Shibuya
1
Atsushi Shimizu
1
Sho Sonoda
1
Keita Suzuki
1
Yuta Suzuki
1
Toyotaro Suzumura
1
Hideaki Takahashi
1
Sho Takemori
1
Toshihisa Tanaka
1
Tatsunori Taniai
1
Tadahiro Taniguchi
1
Keisuke Tateno
1
Riku Togashi
1
Ryota Tomioka
1
Ryo Ueda
1
Yuhei Umeda
1
Daisuke Urano
1
Yoshitaka Ushiku
1
Makoto Yamada
1
Kakei Yamamoto
1
Toshihiko Yamasaki
1
Shingo Yashima
1
Michihiro Yasunaga
1
Sho Yokoi
1
Takuma Yoneda
1

図2　日本人研究者個人別 – ICLR 2024採択件数（91名）

ICLR 2018-2024
日本人著者ランキング
著者 採択数
Taiji Suzuki
18
Masashi Sugiyama
15
Tatsunori Hashimoto
13
Kenji Kawaguchi
11
Tatsuya Harada
6
Atsushi Nitanda
6
Hiroki Furuta
5
Masatoshi Uehara
5
Kenji Fukumizu
4
Masanori Koyama
4
Yuki Mitsufuji
4
Takeru Miyato
4
Hidenori Tanaka
4
Masahito Ueda
4
Akari Asai
3
Satoshi Hara
3
Kazuki Irie
3
Naoki Murata
3
Kazusato Oko
3
Masayoshi Tomizuka
3
Toshimitsu Uesaka
3
Yoshitaka Ushiku
3
Makoto Yamada
3
Michihiro Yasunaga
3
Soji Adeshina
2
Shunta Akiyama
2
Kenji Doya
2
Takuya Furusawa
2
Kazuma Hashimoto
2
Masaaki Imaizumi
2
Kentaro Inui
2
Yusuke Iwasawa
2
Ryuichi Kanoh
2
Ryo Karakida
2
Masahiro Kato
2
Hiroshi Kera
2
Seijin Kobayashi
2
Takashi Maruyama
2
Shiori Sagawa
2
Keisuke Sakaguchi
2
Fumihiro Sasaki
2
Yusuke Sekikawa
2
Mahito Sugiyama
2
Eiichiro Sumita
2
Ichiro Takeuchi
2
Ryota Tomioka
2
Ryo Ueda
2
Shingo Yashima
2
Sho Yokoi
2
Yuichi Yoshida
2

図3　ICLR 2018-2024　累積著者ランキング（50名）※2件以上採択

■トレンドキーワードの推移

扱われているトピックの推移をみるために、キーワードトレンドについても集計してみました（表3）。

他AI関連分野カンファレンス同様に、Diffusion（拡散モデル）というキーワードが全体の14%強となっており、研究対象の大きな一角を占めていることが分かります。理論的な枠組みで議論展開がしやすいことから研究が進んでいるのかもしれません。
2位以降を見てみると、ICLRが始まってから昨年まで、大きな研究対象となってきたReinforcement Learning（強化学習）が5年ぶりに2位にランクダウンしております。次いで、Language Model（言語モデル）・Federated Learning（連合学習）・Generative（生成）・Spars（スパース学習）・Transformerと続いています。これらのキーワード後に、LLM（大規模言語モデル）も出現してきており、Language Modelと合算するとかなりの件数になります。
言語モデル自体の研究に加え、言語モデルを活用して学習データを整備したり評価に使ったり、様々な応用も提案されていることが分かります。

Year 2024 2023 2022 2021 2020 2019 2018
#Papers 2,174 1,483 1,039 806 639 478 314
Ranking Term Frequency Term Frequency Term Frequency Term Frequency Term Frequency Term Frequency Term Frequency
1 Diffusion 14.12% Reinforcement Learning 9.66% Reinforcement Learning 11.88% Reinforcement Learning 9.31% Reinforcement Learning 12.23% Adversarial 7.97% Reinforcement Learning 9.50%
2 Reinforcement Learning 10.18% Diffusion 6.10% Adversarial 3.66% Generative 3.72% Adversarial 6.11% Reinforcement Learning 6.77% Adversarial 7.72%
3 Language Model 4.47% Federated Learning 3.94% Federated Learning 2.93% Adversarial 3.38% Meta Learning 3.20% Generative 4.38% Generative 5.34%
4 Federated Learning 2.66% Transformer 2.61% Generative 2.65% Representation Learning 2.68% Generative 2.91% Meta Learning 3.59% Unsupervised 4.15%
5 Generative 2.61% Representation Learning 2.48% Diffusion 2.56% Meta Learning 2.10% Representation Learning 2.62% Unsupervised 2.39% Deep Learning 2.67%
6 Spars 2.12% Adversarial 2.29% Transformer 2.47% Neural Network 1.98% Unsupervised 2.04% Bayesian 1.99% Meta Learning 2.37%
7 Transformer 2.12% Contrastive Learning 2.16% Continual Learning 2.38% Unsupervised 1.98% Continual Learning 2.04% Domain Adaptation 1.99% Attention 2.08%
8 LLM 1.90% Spars 1.78% Representation Learning 2.28% Federated Learning 1.86% Spars 1.89% Neural Network 1.99% Latent 2.08%
9 Representation Learning 1.86% Unsupervised 1.65% Unsupervised 1.92% Continual Learning 1.86% Pre training 1.75% Spars 1.59% Spars 1.78%
10 Attention 1.86% Domain Adaptation 1.65% Spars 1.83% Spars 1.63% Neural Network 1.60% Latent 1.59% Embedding 1.48%
11 Adversarial 1.81% Attention 1.59% Meta Learning 1.65% Attention 1.51% Latent 1.46% Deep Learning 1.39% Question Answer 1.19%
12 Tuning 1.64% Label 1.59% Attention 1.55% Latent 1.40% Attention 1.46% Attention 1.00% Active Learning 1.19%
13 Latent 1.59% Latent 1.53% Contrastive Learning 1.46% Few Shot 1.40% Deep Learning 1.31% Representation Learning 1.00% Continual Learning 1.19%
14 Label 1.46% Pre training 1.53% Pre training 1.46% Label 1.28% Disentangl 1.31% Multi Agent 1.00% Bayesian 1.19%
15 Contrastive Learning 1.46% Language Model 1.40% Neural Network 1.46% Bayesian 1.28% Adversarial Training 1.16% label 0.80% Domain Adaptation 1.19%
16 Pre training 1.42% Generative 1.40% Equivariant 1.37% Contrastive Learning 1.28% Neural Networks 1.16% Transfer Learning 0.80% Adversarial Training 0.89%
17 Bayesian 1.28% 3D 1.34% Label 1.19% Disentangl 1.16% Video 1.16% Embedding 0.80% Language Model 0.89%
18 3D 1.24% Meta Learning 1.27% Latent 1.19% label 1.05% Transformer 1.02% reinforcement learning 0.80% Disentangl 0.89%
19 Continual Learning 1.15% Object Detection 1.14% Pre Training 1.10% Equivariant 1.05% Embedding 1.02% Auto Encoder 0.60% Neural Network 0.89%
20 Instruction 1.11% Self Supervised 1.14% Self Supervised 1.10% Supervised Learning 0.93% Bayesian 1.02% Neural Networks 0.60% Unsupervised Learning 0.89%
21 Self Supervised 1.06% Deep Learning 1.08% Supervised Learning 1.10% Deep Learning 0.93% Federated Learning 0.87% ImageNet 0.60% Boosting 0.59%
22 Equivariant 1.02% Equivariant 1.08% Domain Adaptation 1.10% Pre Training 0.93% Domain Adaptation 0.87% GAN Training 0.60% Multi Task Learning 0.59%
23 Language Models 0.97% Pre Training 1.02% Language Model 0.91% Embedding 0.93% Equivariant 0.73% Adversarial Training 0.60% Task Learning 0.59%
24 Meta Learning 0.89% Self Supervised 1.02% Few Shot 0.91% Shot Learning 0.93% Imitation Learning 0.73% Unlabel 0.60% Visual Question Answering 0.59%
25 Unsupervised 0.84% Few Shot 0.89% Bayesian 0.91% Knowledge Distillation 0.93% Multi Agent 0.73% Question Answer 0.60% Precision Training 0.59%
26 Zero Shot 0.84% Disentangl 0.89% label 0.82% Diffusion 0.82% adversarial 0.73% Adversarial Learning 0.60% Neural Networks 0.59%
27 Neural Network 0.80% Neural Network 0.89% Deep Learning 0.82% Self Supervised 0.82% Self Supervised 0.73% Sequence Learning 0.60% Few Shot 0.59%
28 Pretraining 0.66% Continual Learning 0.89% Disentangl 0.82% Self Supervised 0.82% Q Learning 0.58% Imitation Learning 0.60% REINFORCEMENT LEARNING 0.59%
29 Fine Tuning 0.62% Bayesian 0.83% Object Detection 0.82% Boosting 0.82% reinforcement learning 0.58% neural network 0.60% Incremental Learning 0.59%
30 Diffusion Model 0.62% label 0.76% Neural Networks 0.73% Transformer 0.82% Depth 0.58% label 0.59%
31 Domain Adaptation 0.62% Pretraining 0.76% Multi Agent 0.73% Object Detection 0.70% Label 0.58% Machine Learning 0.59%
32 Supervised Learning 0.62% Incremental Learning 0.76% Active Learning 0.73% Neural Networks 0.70% Transfer Learning 0.58% Diffusion 0.59%
33 Knowledge Distillation 0.62% Knowledge Distillation 0.70% 3D 0.73% Transfer Learning 0.70% label 0.58% Frame 0.59%
34 Context Learning 0.58% Few shot 0.70% End to End 0.64% Multi Agent 0.70% Style Transfer 0.58% domain adaptation 0.59%
35 Fine tuning 0.58% Active Learning 0.64% Adversarial Training 0.64% Pre training 0.70% Few Shot 0.58% Bandit 0.59%
36 Metric Learning 0.53% Multi Agent 0.64% Self Supervised 0.55% Image Classification 0.70% Meta learning 0.58% Online Learning 0.59%
37 Boosting 0.53% Embedding 0.57% Semi Supervised 0.55% Video 0.58% Supervised Learning 0.58% META LEARNING 0.59%
38 Domain Generalization 0.57% Imitation Learning 0.55% Semi Supervised 0.58% Multi Agent 0.59%
39 Zero Shot 0.57%
40 Neural Networks 0.57%
41 supervised learning 0.51%
42 Image Classification 0.51%
43 Combinatorial 0.51%
44 Semi supervised 0.51%

表3　論文出現キーワード推移（2018-2024年）

■まとめ

以上のように、簡易的ですが重要指標からICLRを考察してまいりました。
2023年から2024年で1.5倍増が、翌年も同水準で増加したとすると、ICRL 2025も10,000件超えが想定されます。NeurIPSやCVPRなど、投稿論文数が10,000件を超えるカンファレンスが増えてきてる流れが、このICLRにも迫ってきている状況が分かりました。

引き続き、AI関連分野の重要カンファレンスとしてICLRの盛況振りを調査してまいります。

データ解析・公開にあたっては細心の注意を払っておりますが、万が一、間違いなどございましたら遠慮なく弊社までご連絡ください。

　
編集：ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/

Diffusion model ICLR トップカンファレンス定点観測
関連記事
メンバーシップ登録

Membership Registration

博士課程在籍中の方 ポスドクの方 大学教員の方 企業研究者/技術者

研究者/技術者向けに、ResearchPortスタッフが個別に、一人ひとりのニーズに合わせた新たな転職先探し、副業案件や顧問依頼のご紹介をしております。その他にも、皆様の研究成果PRや研究パートナーを探すサポートなどを行っております。ご相談ご興味がある方はResearchPortメンバーシップへのご登録をお願いいたします。