masayuki5160's diary

滋賀県大津市に住むソフトウェアエンジニアの日常

バグ再現手順の自動評価 ━ ICPC 2025 Research Track

Combining Language and App UI Analysis for the Automated Assessment of Bug Reproduction Steps (ICPC 2025 - Research Track) - ICPC 2025 の論文を参照しましたのでメモがてら記事にしておきます。

サマリ

  • 背景
    • バグレポート、重要なんだけど情報が欠けてたりunclearだったりする
    • 色々あるが、バグの再現手順はバグレポートに含まれる要素の一つで大事だよね
  • 先行研究、先行研究と比べての優位性
    • バグの再現手順について、レポート書く人のアシストまではやってる
    • バグの再現手順に関する自動評価はチャレンジングである
  • やったこと、結果
    • アプローチ
      • LLMを用いつつ、バグレポートにある再現手順の解釈、それらの補完?を実施
      • 上記と同時に、モバイルアプリを実行するモデルを構築
      • 用意した再現手順と実行モデルを用いてバグ再現手順の自動評価を実施
    • 結果
      • 欠落している部分の補完が先行研究?よりも71.4%向上していることを確認した

感想

バグレポートの管理というか質てなかなか向上させるのは難しい。日本語の問題とかシステムに対する理解度とか色々あいまってると思うんだけど、

 

"もう少し再現手順がはっきりしてたらなー"

 

なんてことはよくある。そういう時、結局は担当者(開発者のケースが多そう)が再現手順をあれやこれや試してみて、やっと再現方法がわかってそこから本題の作業が始まることはよくあると思う。

著者陣がいうようにバグ再現手順ていうのはやっぱバグレポートの中でも重要なのはそう。

そんなバグレポートの中でも重要なバグ再現手順の自動評価を研究しているなんてなかなか渋いなと思ったけど、需要があるのは確かだし、素晴らしいなと思った。

アプローチ方法を見ていても、LLMが今まで苦労していた部分をうまいことブレークスルーするきっかけになってるのは明らかだった。コーディングの部分に限らず、こういった細かな困ったこともうまく改善していきそうだなーと思いました。終わり。

f:id:masayuki5160:20250618093558j:image

↑ピーマンだけうまいことさけてホイコーロー食べる長女氏。本記事とはなんら関係ありません。

おまけ)おすすめ記事のご紹介

ソフトウェア工学を学ぶ際に参考になる書籍をまとめていますのでご興味ある方ぜひご覧ください。

masaytan.com

ソフトウェアエンジニアも体が資本。若い時と同じくらい、とまではなかなか難しいかもしれませんが、体力があれば考え続けることもできます。

というわけで個人的におすすめしている体調管理術についてご紹介している記事を置いておきます。向き不向きはあると思うのでご注意いただきたいですが、これからも楽しくソフトウェアを作ることをしていきたい方にはお勧めです。ご覧いただければ幸いです。

masaytan.com