リサーチ
ソフトウェアエンジニアリングにおける機械学習の適用法
← ラボに戻る
Evaluation of performance metrics for code generation models
このプロジェクトはコード生成モデルを正確に評価し、既存のパフォーマンス指標を比較して、人間の判断とより優れた相関性がある新しい指標を紹介することを目指しています。
参加者
Mikhail Evtikheev
Egor Bogomolov
出版物
年8月2022日
Mikhail Evtikhiev, Egor Bogomolov, Yaroslav Sokolov, Timofey Bryksin
Out of the BLEU: How Should We Assess Quality of the Code Generation Models?
arXiv pre-print