AdaとSPARKのテストは、コードの変更に気づけるか? ── AdaMutantの紹介

· · Ada, SPARK, ミューテーションテスト, テスト, GNATprove, Alire, AdaMutant

Xでポスト はてなブックマーク
更新履歴(初版のみ・2026年11月17日公開)
初版公開

テストがすべて通っていても、そのテストがコードの誤りに気づけるとは限りません。境界値を確かめていないテストは、>=が>に書き換わっても通ります。

AdaMutantはこの点を調べるためのツールです。AdaとSPARKのソースに小さな変更を自動で入れ、テストやGNATproveの証明がその変更を検出できるかを確かめます。小村ソフトがApache License 2.0で公開しています。1

この記事では、AdaMutantが何をするツールなのかを、付属のサンプルを実際に動かした結果とあわせて紹介します。動かした環境はUbuntu 24.04、GNAT 14.2.0、4コアで、AdaMutantのバージョンは0.1.0です。Alireのクレートの説明にはLinux、macOS、Windowsで動くとありますが、この記事ではLinuxでしか試していません。2

ミューテーションテストとは

ミューテーションテストは本番のコードを少しだけ変えたもの(ミュータント)を自動で作り、テストを流して失敗するかを見る方法です。テストが失敗すれば、テストはその変更に気づけたことになります。すべて通れば、気づけなかったことになります。考え方はミューテーションテストでテストをテストするで詳しく書きました。

.NETにはStryker.NETというツールがあります。AdaMutantは同じ考え方をAdaとSPARKに持ち込んだものです。

ミューテーションテストの流れ元のコードにミュータントを入れてビルドし、テストを流して、テストが失敗すれば検出できたことになり、すべて通れば検出できなかったことになる流れを示します。テストが失敗するすべて通る元のコードに小さな変更を入れるビルドしてテストを流すKilled:変更を検出できたSurvived:変更を検出できなかった

図1: テストが失敗したミュータントは、検出できたものとして数えます。

図の実線は常に成り立つ関係、破線は条件付きの関係です(成立条件は詳細ページの各関係の説明に記載)。関係すべての一覧(全4件、根拠・確度つき)と主要概念の定義は知識マップ詳細ページにまとめています。データ: JSON-LD / Turtle

AdaMutantの特徴

READMEが挙げている特徴は次のとおりです。1

  • Ada 2022までの字句解析器を内蔵していて、libadalangなどの追加の依存がない
  • テストの失敗に加えて、GNATproveの証明の失敗でもミュータントを検出できる
  • ミュータントをまとめて1回でビルドし、テストの実行時にどのミュータントを有効にするかを切り替える
  • プロジェクトの複製(サンドボックス)を複数作って並列に実行し、時間内に終わらないテストは打ち切る
  • gitのリビジョンを指定して、変更した行のミュータントだけを調べられる
  • 結果をコンソールの表、単体で開けるHTML、JSONで出す

作るミュータントは10種類です。算術演算子(+と-の入れ替えなど)、比較演算子(<を<=にするなど)、論理演算子、単項演算子、真偽値、所属検査(inとnot in)、条件式(条件をTrueやFalseにする)、文の削除、数値リテラル、文字列リテラルです。

AdaMutantがミュータントを検出する2つの手段AdaMutantがミュータントをまずテストにかけ、テストが失敗すれば検出になり、テストが通ったミュータントは証明にかけ、証明が失敗すれば検出になり、どちらも通れば生き残りになることを示します。失敗する通る失敗する通るミュータントテストを実行するKilledGNATproveで証明するSurvived

図2: テストと証明の両方を設定すると、テストが通ったミュータントだけを証明にかけます。

入手とビルド

必要なものはAda 2022に対応したGNATとGPRbuildです。証明で検出したい場合はGNATproveも要ります。

Alireを使っている場合は、インデックスからクレートを取得してビルドします。クレートの名前はmutantで、できる実行ファイルの名前はadamutantです。2

alr get mutant
cd mutant_0.1.0_*
alr build

手元では、取得からビルドまでがこの手順で通りました。ビルドにかかった時間は43秒です。

リポジトリを取得してmakeでビルドすることもできます。

git clone https://github.com/gomurin0428/AdaMutant
cd AdaMutant
make build

どちらの方法でも、bin/adamutantができます。以下ではこの実行ファイルにパスを通してあるものとして書きます。

AdaMutantの2つの入手方法Alireでクレートを取得してビルドする方法と、リポジトリを取得してmakeでビルドする方法があり、どちらでも実行ファイルのadamutantができることを示します。Alireで取得する:alr get mutantalr buildリポジトリを取得する:git clonemake build実行ファイル bin/adamutant

図3: どちらの方法でも同じ実行ファイルができます。

サンプルを動かす

リポジトリのexamples/calculatorは境界値をわざと確かめていないテストを持つサンプルです。設定ファイルadamutant.tomlは次のとおりです。

mutate = ["src/**/*.adb", "src/**/*.ads"]
build = "gprbuild -p -q -P calculator_tests.gpr"
test = '"bin/test_calculator"'
concurrency = 2
sandbox_exclude = [".git", "obj", "bin"]

[thresholds]
high = 80
low = 60
break = 50

mutateが変更を入れるファイル、buildがビルドのコマンド、testがテストのコマンドです。テストのコマンドが0以外の終了コードを返すと、そのミュータントは検出できたものになります。

このフォルダーでadamutant runを実行した結果の末尾です。

File               | Score % | Killed | Timeout | Survived | No cov | Compile | Ignored
---------------------------------------------------------------------------------------
All files          |   77.50 |     29 |       2 |        9 |      0 |       0 |       0
src/calculator.adb |   75.00 |     25 |       2 |        9 |      0 |       0 |       0
src/calculator.ads |  100.00 |      4 |       0 |        0 |      0 |       0 |       0

Mutation score: 77.50% (31 detected, 9 undetected, 0 compile errors, 0 ignored) in 12 s

40件のミュータントのうち、29件はテストが失敗して検出でき、2件はタイムアウトし、9件が生き残りました。かかった時間は12秒です。

calculatorのサンプルの40件のミュータントの結果40件のミュータントのうち29件はテストが失敗して検出でき、2件はタイムアウトして検出の扱いになり、9件が生き残ったことを示します。40件のミュータント検出:31件未検出:9件(Survived)29件:テストが失敗(Killed)2件:時間切れ(Timeout)

図4: 検出できたのは31件で、9件は検出できませんでした。

タイムアウトした2件はループの中のI := I + 1;を変えたミュータントです。この文を削除したものと、I + 1をI + 0にしたもので、どちらもループが終わらなくなります。AdaMutantは変更前のテストの時間から上限を決めて打ち切り、検出できたものとして数えます。

レポートは.adamutant/reportsにできます。HTMLのレポート(mutation-report.html)では、ソースの行に色が付きます。次の画像はこのサンプルのレポートの一部です。緑の行には検出できなかったミュータントがなく、検出できたミュータントがあります。赤の行は生き残ったミュータントがある行です。行をクリックすると、その行のミュータントの一覧が開きます。

AdaMutantのHTMLレポート。calculator.adbのソースのうち、10行目、19行目、21行目、29行目、31行目、32行目が赤、ほかのミュータントのある行が緑で表示されている

生き残ったミュータントを読む

生き残った9件のうち6件は、点数から等級を返す関数Gradeのものです。

function Grade (Score : Natural) return String is
begin
   if Score >= 80 then
      return "A";
   elsif Score >= 60 then
      return "B";
   end if;
   return "C";
end Grade;

テストが確かめているのは、Grade (95)が"A"であることと、Grade (10)が"C"であることの2つだけです。80点や60点の境界も、"B"になる場合も確かめていません。そのため、>=を>に変えても、80を81に変えても、テストは通ります。

境界を確かめるテストを4つ足しました。

Check (Grade (80) = "A", "Grade A boundary");
Check (Grade (79) = "B", "Grade B upper");
Check (Grade (60) = "B", "Grade B boundary");
Check (Grade (59) = "C", "Grade C upper");

もう一度実行すると、スコアは92.50%になり、生き残りは3件になりました。残った3件は性質が違います。

1件目はMaxのif A > B thenをif A >= B thenに変えるミュータントです。

function Max (A, B : Integer) return Integer is
begin
   if A > B then
      return A;
   else
      return B;
   end if;
end Max;

AとBが等しいとき、元のコードはBを返し、ミュータントはAを返します。値は同じです。どんなテストを書いても、この2つを区別できません。このように元のコードと同じ動きをするミュータントを、等価ミュータントと呼びます。

残りの2件はClampの比較です。

function Clamp (X, Low, High : Integer) return Integer is
begin
   if X < Low then
      return Low;
   elsif X > High then
      return High;
   end if;
   return X;
end Clamp;

X > HighをX >= Highに変えるものはMaxと同じ理由で等価です。XがHighに等しいとき、どちらも同じ値を返します。

X < LowをX <= Lowに変えるものは一見すると同じに見えますが、等価ではありません。LowがHighより大きい呼び出しでは結果が変わるからです。Clamp (5, 5, 3)の場合、元のコードは5 < 5が偽なので次の条件に進み、5 > 3が真なので3を返します。ミュータントが返すのは5です。5 <= 5が真になるためです。

Clampに下限が上限より大きい引数を渡したときの元のコードとミュータントの違いClampに5と下限5と上限3を渡すと、元のコードは最初の条件が偽で次の条件が真になり上限の3を返し、比較を変えたミュータントは最初の条件が真になり下限の5を返すことを示します。Clamp (5, 5, 3)を呼ぶ元のコード:最初の条件は偽ミュータント:最初の条件は真次の条件は真なので、上限の3を返す下限の5を返す

図5: 下限が上限より大きい呼び出しでは、元のコードとミュータントの結果が変わります。

このミュータントが示しているのは、テストの不足というより、仕様が決まっていない箇所です。Clampには、LowがHigh以下であるという事前条件がありません。下限と上限が逆の呼び出しを認めるのか、認めるなら何を返すのかが、コードからもテストからも読み取れません。

ここでは、いまの動き(上限を返す)を仕様とみなして、テストを1つ足しました。

Check (Clamp (5, 5, 3) = 3, "Clamp inverted range");

スコアは95.00%になり、生き残りは等価ミュータントの2件だけになりました。逆の呼び出しを認めないと決めるなら、事前条件を足して、このミュータントを等価として外す方法もあります。

等価ミュータントはコメントで対象から外せます。

--  adamutant:disable-next-line EqualityOperator: equivalent mutant
if A > B then

2か所にこのコメントを付けて実行した結果が、次の表の4行目です。コメントはその行の比較演算子のミュータントをすべて外します。1行に2件ずつあるので、外れたのは4件です。そのうち2件は外す前には検出できていたものでした。

実行 スコア 検出 生き残り 対象外
サンプルのまま 77.50% 31 9 0
境界のテストを4つ追加 92.50% 37 3 0
下限と上限が逆の場合のテストを追加 95.00% 38 2 0
等価ミュータントをコメントで除外 100.00% 36 0 4
生き残ったミュータントの仕分け生き残ったミュータントを読み、元のコードと動きが違う入力があるかを調べ、あれば仕様を決めてその違いを確かめるテストを足し、なければ等価ミュータントとしてコメントで対象から外すことを示します。あるない生き残ったミュータントを読む元のコードと動きが違う入力があるか仕様を決めて、違いを確かめるテストを足す等価ミュータントとしてコメントで外す

図6: 生き残りはテストや仕様の不足を示すものと、等価ミュータントに分かれます。

どちらなのかを決めるのは人です。この記事を書く途中でも、Clampの1件を最初は等価と見誤りました。スコアの数字よりも、生き残った1件ずつが何を示しているかのほうが役に立ちます。

証明でミュータントを検出する

SPARKのコードではテストの代わりにGNATproveの証明でミュータントを検出できます。examples/spark_counterは、テストがなく、証明だけを使うサンプルです。

function Saturating_Add (A, B : Count) return Count
with Post =>
  (if A + B <= Max then Saturating_Add'Result = A + B
   else Saturating_Add'Result = Max);

設定ではtestの代わりにproveを書きます。testとproveの両方を書いた場合は、テストが通ったミュータントだけを証明にかけます。次は設定ファイルからの抜粋です。

mutate = ["src/**/*.adb"]
build = "gprbuild -p -q -c -P counters.gpr"
prove = "gnatprove -P counters.gpr --level=1 --report=fail --checks-as-errors=on -j1"

実行すると、8件のうち7件を証明で検出し、1件が生き残りました。スコアは87.50%で、かかった時間は25秒です。

本体は次のとおりです。

function Saturating_Add (A, B : Count) return Count is
begin
   if A + B > Max then
      return Max;
   else
      return A + B;
   end if;
end Saturating_Add;

return A + Bをreturn A - Bに変えると、事後条件を証明できなくなります。GNATproveが失敗するので、このミュータントは検出できたことになります。事後条件が結果の値を決めているため、本体の変更の多くは証明の失敗になるわけです。検出した7件のうち5件は事後条件を証明できず、残りの2件は、値が型の範囲に収まることの検査だけを証明できませんでした。

生き残った1件はif A + B > Max thenをif A + B >= Max thenに変えたものです。A + BがMaxに等しいとき、元のコードはA + Bを返し、ミュータントはMaxを返します。値は同じなので、これは等価ミュータントです。

契約そのもの(PreやPost)を変えるミュータントは、既定では作りません。設定でmutate_contracts = trueにすると作ります。

証明でミュータントを検出する流れ本体にミュータントを入れてGNATproveを実行し、証明が失敗すれば検出になり、証明が通れば生き残りになることを示します。証明が失敗する証明が通る本体にミュータントを入れるGNATproveを実行するKilled:証明が変更を検出したSurvived

図7: 契約が結果の値を決めていれば、本体の変更は証明の失敗として現れます。

ミュータントをまとめてビルドする

ミューテーションテストは時間がかかります。ミュータントごとにビルドし直すと、ミュータントの数だけビルドが要るからです。

AdaMutantはまとめられるミュータントを1つのソースに入れて1回でビルドします。READMEはこの方法をミュータント・スキーマと呼んでいます。1 次はサンプルの実行中に作られたソースの一部です。

function Add (A, B : Integer) return Integer is
begin

case ADAMUTANT_ACTIVE_1 is
when 1 =>
return A - B;
when others =>
return A + B;
end case;

end Add;

ADAMUTANT_ACTIVE_1は、環境変数ADAMUTANT_MUTANT_IDの値を返す関数です。テストを実行するときにこの環境変数を変えると、ビルドし直さずに有効なミュータントを切り替えられます。値が0のときは、どのミュータントも有効になりません。条件のミュータントはcase式になります。

if (case ADAMUTANT_ACTIVE_1 is
when 2 => (
True
),
when 3 => (
False
),
when 4 => (
A >= B
),
when 5 => (
A <= B
),
when others => (
A > B
)) then

calculatorのサンプルでは、40件のうち36件が1回のビルドにまとまりました。単純な文と条件のミュータントが32件、式関数Is_Evenのミュータントが4件です。残りの4件は1件ずつビルドされています。宣言の初期値を変える2件と、文を削除する2件です。変更前のビルドを含めて、ビルドは全部で6回でした。

まとめないものがあるのには理由があります。READMEによると、宣言の中のミュータントは静的な式が必要なことがあり、実行時の切り替えにできません。文の削除をまとめないのは、まとめると最適化の影響でミュータントが元のプログラムと同じ動きになり、検出できたはずのものを見逃すことがあるためです。1

まとめてビルドするミュータントと1件ずつビルドするミュータント単純な文や条件のミュータントは1つのソースにまとめて1回ビルドし、テストのときに環境変数で切り替え、宣言の中のミュータントや文の削除は1件ずつビルドすることを示します。ミュータントの場所を調べる単純な文、条件、式関数宣言の中、文の削除など1つのソースにまとめて1回ビルドする環境変数でミュータントを切り替えてテストする1件ずつビルドしてテストする

図8: まとめられるミュータントは、ビルドが1回で済みます。

プルリクエストで変更した行だけ調べる

大きなプロジェクトで毎回すべてのミュータントを調べるのは重い作業です。--sinceを付けると、指定したリビジョンとHEADのマージベースから変更した行のミュータントだけを調べます。

試しに、サンプルをgitのリポジトリにして、ブランチでGradeの60を70に書き換えました。

adamutant run --since main
File               | Score % | Killed | Timeout | Survived | No cov | Compile | Ignored
---------------------------------------------------------------------------------------
All files          |   40.00 |      2 |       0 |        3 |      0 |       0 |      31
src/calculator.adb |   40.00 |      2 |       0 |        3 |      0 |       0 |      31

Mutation score: 40.00% (2 detected, 3 undetected, 0 compile errors, 31 ignored) in 1 s
error: the mutation score is below the break threshold 50%

変更した1行にかかる5件だけが実行され、同じファイルの残りの31件は対象外になりました。変更のないcalculator.adsは読み込まれず、その4件は一覧にも出ません。かかった時間は1秒です。

スコアは40%で、設定のbreakのしきい値(50%)を下回ったので、終了コードは2になりました。終了コードは、成功が0、エラーが1、しきい値未満が2です。CIで実行すれば、変更した行のテストが足りないプルリクエストを止められます。READMEには、GitHub Actionsでは履歴が必要なので、actions/checkoutにfetch-depth: 0を指定するようにとあります。

変更した行だけを調べる流れ指定したリビジョンとHEADのマージベースからの差分で変更した行を求め、その行にかかるミュータントだけを実行し、ほかは対象外にして、スコアがしきい値を下回れば終了コード2で終わることを示します。しきい値以上しきい値未満マージベースからの差分を取る変更した行にかかるミュータントだけを実行するスコアを変更した行だけで計算する終了コード0終了コード2

図9: 変更した行のミュータントだけでスコアを計算し、しきい値でCIを止められます。

状態とスコア

ミュータントの状態は7つあります。1

状態 意味 スコアでの扱い
Killed テストか証明が失敗した 検出
Timeout テストが時間内に終わらなかった 検出
Survived テストも証明も通った 未検出
NoCoverage ビルドがそのファイルをコンパイルしていない 未検出
CompileError ミュータントがビルドできなかった 対象外
RuntimeError コマンドを起動できなかったなど 対象外
Ignored コメントなどで対象から外した 対象外

スコアは検出の件数を、検出と未検出の合計で割った値です。

等価ミュータントを外した実行でのスコアの計算等価ミュータントをコメントで外した実行では、Killedの34件とTimeoutの2件を合わせた36件が検出で、未検出は0件なので、36を36で割って100パーセントになり、対象外の4件は計算に入らないことを示します。Killed 34件とTimeout 2件検出:36件SurvivedとNoCoverage:0件未検出:0件36 ÷ (36 + 0) = 100.00%Ignored:4件計算に入れない

図10: 対象から外した4件は分母にも分子にも入りません。

使うときに知っておくこと

READMEに書かれている制限と前提のうち、導入の前に知っておくとよいものを挙げます。1

  • まとめてビルドするには、テストプログラムのメインがAdaで書かれていて、ビルドがGNATのALIファイルを残す必要があります。条件を満たさないときは、すべてのミュータントを1件ずつビルドします。
  • 警告をエラーにしているプロジェクトでは、まとめてビルドした場合と1件ずつビルドした場合で、コンパイルエラーになるミュータントが変わることがあります。まとめたソースではスタイルの検査を切っていて、ファイル全体を見て出る警告も出ないためです。
  • ループの回数を変えたミュータントが大量のメモリを確保することがあります。test_memory_limit_mbで、テストのプロセスごとのメモリの上限を決められます。
  • Windowsではテストのコマンドに/を含むパスを書くときに引用符で囲む必要があります。

バージョンは0.1.0です。この記事で確かめたのは、Linuxでの付属のサンプル2つと、--sinceの動作です。

まとめ

  • AdaMutantはAdaとSPARKのソースに小さな変更を入れ、テストやGNATproveの証明がそれを検出できるかを調べるツールです。
  • 付属のサンプルでは、40件のミュータントのうち9件が生き残りました。境界のテストを4つ足すと生き残りは3件になりました。そのうち2件は等価ミュータントで、1件は仕様が決まっていない箇所を示していました。
  • テストのないSPARKのコードでも、証明だけで8件のうち7件を検出できました。
  • まとめられるミュータントは1回のビルドで済ませ、テストのときに環境変数で切り替えます。
  • --sinceを使うと、変更した行のミュータントだけを調べて、しきい値でCIを止められます。

関連記事

参考資料

  1. 小村ソフト, AdaMutant(README.ja.md). 参照箇所: 冒頭の特徴の一覧、「使い方」「ミュータント」「状態とスコア」「仕組み」「ミュータントをまとめたビルド」。この記事はコミット22c0fcb(2026年11月15日)の内容で確かめました。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  2. Alire, mutant. 参照箇所: クレートの名前(mutant)、バージョン(0.1.0)、ライセンス(Apache-2.0)、依存(gnat >=14)、説明文の「AdaMutant runs on Linux, macOS and Windows.」。2026年11月17日に確認。 ↩ ↩2

同じタグを共有する最新の記事です。さらに近い話題で知識を深められます。

このテーマと近いトピックページです。記事を起点に、関連するサービスや他の記事へ進めます。

この記事は次のサービスページにつながります。近い入口からご覧ください。

よくある質問

この記事のテーマについて、相談時によくある質問をまとめています。

AdaMutantは何をするツールですか?
AdaとSPARKのソースに小さな変更(ミュータント)を自動で入れ、テストかGNATproveの証明がその変更を検出できるかを調べるツールです。検出できた割合をミューテーションスコアとして出します。小村ソフトがApache License 2.0で公開しています。
テストがなく、証明だけのSPARKのコードにも使えますか?
使えます。設定のproveにGNATproveのコマンドを書くと、証明が失敗したミュータントを検出できたものとして数えます。付属のサンプルでは、テストなしで8件のうち7件を証明で検出し、残った1件は元のコードと同じ動きをする等価ミュータントでした。
ミューテーションスコアは100%を目指すべきですか?
目標の数字にするより、生き残ったミュータントを1件ずつ読む使い方を勧めます。生き残りには、テストや仕様の不足を示すものと、元のコードと同じ動きをするので検出できないもの(等価ミュータント)が混ざります。どちらなのかは人が判断します。

著者プロフィール

記事の著者プロフィールページです。

小村 豪

合同会社小村ソフト 代表

Windows ソフト開発、技術相談、不具合調査を中心に、既存資産が残る案件や原因が見えにくい障害調査に強みがあります。

ブログ一覧に戻る