カンファレンスランク 2021年版(AI/コンピュータビジョン/機械学習/自然言語処理/ロボティクス/音声認識領域)

2021年12月13日 13時00分 公開

本記事3行要約:

●AI分野は過熱
●AI関連の学術領域が全分野の上位に食い込んでいる
●新たに応用分野に入門するには上位国際会議の論文が良質な勉強素材になる


AIに関わる研究開発の過熱感が報道されるようになってかなり経ちました。ガートナー社が毎年発表するハイプサイクルにおいてもAIは幻滅期に来ており、真の価値が試される時期であるとの認識が広がっていますが、実際研究開発の現場はどうなのかということで調べてみました。

まず、近年のAI分野は、純粋なAI技術の追求(AI)、および近年AIの代表的なツールとなっている統計的機械学習(ML)、応用分野である自然言語処理(NLP)や画像認識に関わるモデリングなど(CV)、信号処理(SP)や音声認識合成(ASR・VS)、画像や時系列のパターン認識(PR)、Roboticsなどが火付け役となって拡大している分野と考えることができます。もちろん、AIは人がやってきた知的作業の代替ですから、クロステックと言われるように、その応用性は無限大であり、従事する人の創意工夫により、年々広がっています。ここでは、近年AIの期待を背負ってきた前述分野における“Tier1”と呼ばれる最高峰ジャーナル/会議の全体でのポジションを見ながら過熱ぶりを確認してみたいと思います。

RANK 出版物 h5 h5-median
1 Nature 414 607
2 The New England Journal of Medicine 410 704
3 Science 391 564
4 IEEE/CVF Conference on Computer Vision and Pattern Recognition 356 583
5 The Lancet 345 600
6 Advanced Materials 294 406
7 Cell 288 459
8 Nature Communications 287 389
9 Chemical Reviews 270 434
10 International Conference on Learning Representations 253 470
11 JAMA 253 446
12 Neural Information Processing Systems 245 422
13 Proceedings of the National Academy of Sciences 245 337
14 Journal of the American Chemical Society 245 330
15 Angewandte Chemie 235 314
16 Chemical Society Reviews 234 339
17 Nucleic Acids Research 233 512
18 Renewable and Sustainable Energy Reviews 225 294
19 Journal of Clinical Oncology 213 297
20 Physical Review Letters 209 297
21 Advanced Energy Materials 206 267
22 Nature Medicine 205 356
23 International Conference on Machine Learning 204 370
24 Energy & Environmental Science 202 306
25 ACS Nano 202 265
26 Scientific Reports 200 262
27 European Conference on Computer Vision 197 342
28 The Lancet Oncology 196 318
29 Advanced Functional Materials 189 250
30 PLoS ONE 185 246
31 IEEE/CVF International Conference on Computer Vision 184 311
32 Nature Genetics 184 273
33 Journal of Cleaner Production 182 245
34 Nature Materials 181 313
35 Science of The Total Environment 180 244
36 Circulation 176 284
37 BMJ 175 286
38 Journal of the American College of Cardiology 175 255
39 Applied Catalysis B: Environmental 175 218
40 Science Advances 174 250
41 Nano Letters 173 234
42 Nature Energy 171 306
43 ACS Applied Materials & Interfaces 169 202
44 Journal of Materials Chemistry A 166 205
45 IEEE Access 164 233
46 Nature Biotechnology 163 276
47 Nano Energy 162 218
48 Nature Methods 161 265
49 Nature Nanotechnology 161 257
50 Cochrane Database of Systematic Reviews 161 244

表 1 Google Scholar h5-index上位50位 (2021年11月 時点)
※Google Scholarより転載

図1に、Google Scholarで調べたh5-index上位50位を示してみました。このh5-indexというのは、過去5年間に発表された論文のh指数です。h指数というのは業界における貢献度を示す指標で「h件以上引用されている論文がh件以上あることを満たす最大値」と定義されます。つまりh5-indexが500であるとは、500件以上引用された論文が500件以上あったが、501件以上引用された論文は、501件以上見つけることはできなかったということになります。h5-中央値は、h5を構成する論文の引用数の中央値を意味しています。上記の例で言えば、500件の論文の各引用件数を並べたときに順位的に真ん中に位置する引用件数のことを指しています。

これを理解すると、いろいろなことが考えられます。例えば、引用件数を多くするためには、絶対的な発表件数が多くなくてはなりません。したがって、そこそこの論文数がないと、この指標を上げることはできません。そのためには、会議の場合、毎年開催されていること、そしてたくさんの論文数があることが必要です。それなりの規模がなければ上位にランキングすることは不可能と考えても良いでしょう。一方で、ただいたずらにどんな論文でも採録していけばよいかというと、そうではありません。なぜなら、引用されることが必要なため、質の高い論文がなければならないということです。したがって、多くの人から引用される質の高い論文をたくさん採録しなければならないということになります。選抜により多数の質の高い論文を確保するためにも、相当数の投稿が必要であることも予想に難くありません。もちろん、互いに引用をたくさんし合うカルチャーを持つコミュニティは少し上振れするかもしれません。

さて、結果を見てみましょう。
堂々の1位は、皆さんもよくご存知のNature誌です。確かにこちらに採録されればニュースになることもあるように最も権威がある学術誌です。
3位にはScience誌もランクインしてきます。
そしてなんと4位にあるのは、そもそもジャーナルでもない、国際会議がランクインしています。コンピュータビジョン分野の国際会議CVPRです。
同じく、AIに強く関わる分野で上からたどっていくと10位にICLRが見つかります。12位 NeurIPS、23位 ICML、27位 ECCV(隔年開催でありながらこのポジション)、31位 ICCV(これも隔年開催)、45位にはComputer Science分野の論文も多く採録されているIEEE accessがランクイン。ここまでで50位ということになります。
紙面の都合上、表示はしませんでしたが、58位に自然言語処理関連最高峰のACL、54位にAI関連のAAAI、70位にIEEEのPattern Analysis and Machine Intelligenceがランクしてきます。

このように、AIに関わる分野が、学術誌全体の中で、非常に高い水準にあることから、学術分野における過熱ぶりも確認できました。ビジネスの世界では、学術分野の着実さをよそに勝手に期待過剰になり勝手にバブルを弾けさせ幻滅期と言っていたとしても、そこから真の価値につなげようという多くの試みがなされていることが分かります。ただ、どの程度の課題解決ができるかについては、期待過剰になって騒ぐのではなく、技術の進化やそれにより可能になりつつあること、そして逆にできないこと及びその本質的な理由に関して理解を深めつつ、本質に迫る議論を深める姿勢、各タイミングで技術を最大限に活用する姿勢が重要と考えます。これはAIに関わらず、ハイプサイクルに掲載される全ての技術に対して言えることです。

2021 Google Scholar Research.com Conference ranks
h5-index h5-median h5-index impact score conf-rank
1 CVPR 356 583 299 51.98 154
2 ICLR 253 470 203 11.38
3 NeurIPS 245 422 198 33.49 135
4 ICML 204 370 171 18.48 127
5 ECCV 197 342 144 25.91 105
6 ICCV 187 311 176 32.51 128
7 ACL 157 265 135 10.56 107
8 AAAI 157 240 126 25.57 132
9 EMNLP 132 235 112 9.24 36
10 IJCAI 105 174 95 11.71 130
11 ICRA 105 178 94 15.84 110
12 KDD 104 183 90 13.53 122
13 CHI 101 142 95 13.7 142
14 ICASSP 96 143 86 12.04 100
15 interspeech 89 150 81 6.6
16 IROS 73 108 63 10.06 70

表 2 AI関連国際会議のランキング (2021年11月 時点)
※各社のランキングから数値を転載した上で、ResearchPort独自に集計

次に図1の続きで、AI関連分野の会議のみを上位から調べてみたのが図2です。
前述の、AAAIから上位のTier1と考えられている会議のもつインパクトがお分かりいただけるかと思います。ここでのランキングは、AI関連分野の国際会議のみで構成しています。11、16位に現れるICRA、 IROSはロボティクス分野に属し、機械工学分野や電子工学分野なども多数含みますので、AI分野かと言われると少し趣が異なります。ただ、研究者の中には分野をまたがっている方も多くなっているので参考までに掲載しました。CHIについても同様です。
また、コンピュータビジョンや自然言語処理の全てがAIやMLを利用したものかと言われると、応用分野ですので多少異なるものもありますが、AI/ML応用の研究が大多数となっていることは否定できない事実となっているように思われます。

なお、Google Scholarのみならず、Research.com、Conference Ranksなどでも示しましたが、それぞれ評価基準が異なるためか本来一致するべきものが一致していなかったりしています。今回は、そこまでの調査しませんでしたが、おおよその順位は変わらないようです。
また、h5-indexなどのように算出基準が明確なものではなく、様々な指標を取り入れたrankingを提供しているサイトが多数あります。Conference ranksはそのようなものの一例ですが、規模や開催頻度による正規化なども入っているか他と比べると少し変わった結果になっていることもあるようです。

Tier1の会議では、h5-indexはおよそ100以上となっており、100回以上の引用件数を持つ論文が100本以上含まれているということになります。それぞれの分野に入門し基礎的な知識を持った上で応用を学習しようと思った場合には、これらの学会にMust readの論文が含まれる確率もそれに比して高くなることになります。ということで、勉強する際にも、これらから入ることになるでしょう。なお、勉強という観点では、多くの国際会議の論文集や査読プロセスがオープンになっていたりして民主化が進みつつあります。CVPR、ICCVなどはComputer Vision Foundationという団体が全ての論文を公開していて無料で論文が読めますし、ICLR、NeurIPS 、ICML、AAAI、ACLなどはオープンレビューを採用しており査読プロセスも含めて見ることができるのは、本当に素晴らしいことです。

なお、引用件数を増やすための個々の論文の戦略として、論文をarXivと呼ばれるプレプリントサーバーに公開したり、プロジェクトページを作ってそこで論文を公開したり、さらにはコードを公開して、評価実験に含めてもらうなどがあります。また、分野によっては、提案手法を評価するために使ったデータセットをコードと共に公開することで再現性を担保するのに加え、後続の研究で定量評価実験をしやすくするなどが高い評価につながることもあります。逆に言えば、引用件数の多い重要論文はそのような基本はほとんどの場合クリアしています。したがって、そのような優れた論文は、学会自体が論文を無料公開していなくても、どこかで公開されていて読めるようになっている場合が多いです。どこかで有名論文のタイトルを入手した上で「ググれば」瞬間に見つかるでしょう。このように、優れた論文を学習教材にどんどんと民主化するコミュニティの中で、分野自体への流入もある意味でしやすくなっており、さらに多くの課題が解決されるという好循環が生まれているのが近代のAI業界ということも言えるかもしれません。


参考ウェブサイト:
https://scholar.google.co.jp/citations?view_op=metrics_intro&hl=ja
http://www.conferenceranks.com/index.html
https://research.com/conference-rankings/computer-science/2021

編集:ResearchPort事業部

■Contact

本記事に関する質問や、ご意見・ご要望などがございましたらResearchPortまでお問い合わせください。
https://research-p.com/contactform/

関連記事