更新履歴(初版のみ・2026年11月17日公開)
- 初版公開
テストがすべて通っていても、そのテストがコードの誤りに気づけるとは限りません。境界値を確かめていないテストは、>=が>に書き換わっても通ります。
AdaMutantはこの点を調べるためのツールです。AdaとSPARKのソースに小さな変更を自動で入れ、テストやGNATproveの証明がその変更を検出できるかを確かめます。小村ソフトがApache License 2.0で公開しています。1
この記事では、AdaMutantが何をするツールなのかを、付属のサンプルを実際に動かした結果とあわせて紹介します。動かした環境はUbuntu 24.04、GNAT 14.2.0、4コアで、AdaMutantのバージョンは0.1.0です。Alireのクレートの説明にはLinux、macOS、Windowsで動くとありますが、この記事ではLinuxでしか試していません。2
ミューテーションテストとは
ミューテーションテストは本番のコードを少しだけ変えたもの(ミュータント)を自動で作り、テストを流して失敗するかを見る方法です。テストが失敗すれば、テストはその変更に気づけたことになります。すべて通れば、気づけなかったことになります。考え方はミューテーションテストでテストをテストするで詳しく書きました。
.NETにはStryker.NETというツールがあります。AdaMutantは同じ考え方をAdaとSPARKに持ち込んだものです。
flowchart TB
accTitle: ミューテーションテストの流れ
accDescr: 元のコードにミュータントを入れてビルドし、テストを流して、テストが失敗すれば検出できたことになり、すべて通れば検出できなかったことになる流れを示します。
A["元のコードに小さな変更を入れる"] --> B["ビルドしてテストを流す"]
B -->|"テストが失敗する"| C["Killed:変更を検出できた"]
B -->|"すべて通る"| D["Survived:変更を検出できなかった"]
図1: テストが失敗したミュータントは、検出できたものとして数えます。
図の実線は常に成り立つ関係、破線は条件付きの関係です(成立条件は詳細ページの各関係の説明に記載)。関係すべての一覧(全4件、根拠・確度つき)と主要概念の定義は知識マップ詳細ページにまとめています。データ: JSON-LD / Turtle
AdaMutantの特徴
READMEが挙げている特徴は次のとおりです。1
- Ada 2022までの字句解析器を内蔵していて、libadalangなどの追加の依存がない
- テストの失敗に加えて、GNATproveの証明の失敗でもミュータントを検出できる
- ミュータントをまとめて1回でビルドし、テストの実行時にどのミュータントを有効にするかを切り替える
- プロジェクトの複製(サンドボックス)を複数作って並列に実行し、時間内に終わらないテストは打ち切る
- gitのリビジョンを指定して、変更した行のミュータントだけを調べられる
- 結果をコンソールの表、単体で開けるHTML、JSONで出す
作るミュータントは10種類です。算術演算子(+と-の入れ替えなど)、比較演算子(<を<=にするなど)、論理演算子、単項演算子、真偽値、所属検査(inとnot in)、条件式(条件をTrueやFalseにする)、文の削除、数値リテラル、文字列リテラルです。
flowchart TB
accTitle: AdaMutantがミュータントを検出する2つの手段
accDescr: AdaMutantがミュータントをまずテストにかけ、テストが失敗すれば検出になり、テストが通ったミュータントは証明にかけ、証明が失敗すれば検出になり、どちらも通れば生き残りになることを示します。
A["ミュータント"] --> B["テストを実行する"]
B -->|"失敗する"| C["Killed"]
B -->|"通る"| D["GNATproveで証明する"]
D -->|"失敗する"| C
D -->|"通る"| E["Survived"]
図2: テストと証明の両方を設定すると、テストが通ったミュータントだけを証明にかけます。
入手とビルド
必要なものはAda 2022に対応したGNATとGPRbuildです。証明で検出したい場合はGNATproveも要ります。
Alireを使っている場合は、インデックスからクレートを取得してビルドします。クレートの名前はmutantで、できる実行ファイルの名前はadamutantです。2
alr get mutant
cd mutant_0.1.0_*
alr build
手元では、取得からビルドまでがこの手順で通りました。ビルドにかかった時間は43秒です。
リポジトリを取得してmakeでビルドすることもできます。
git clone https://github.com/gomurin0428/AdaMutant
cd AdaMutant
make build
どちらの方法でも、bin/adamutantができます。以下ではこの実行ファイルにパスを通してあるものとして書きます。
flowchart TB
accTitle: AdaMutantの2つの入手方法
accDescr: Alireでクレートを取得してビルドする方法と、リポジトリを取得してmakeでビルドする方法があり、どちらでも実行ファイルのadamutantができることを示します。
A["Alireで取得する:alr get mutant"] --> C["alr build"]
B["リポジトリを取得する:git clone"] --> D["make build"]
C --> E["実行ファイル bin/adamutant"]
D --> E
図3: どちらの方法でも同じ実行ファイルができます。
サンプルを動かす
リポジトリのexamples/calculatorは境界値をわざと確かめていないテストを持つサンプルです。設定ファイルadamutant.tomlは次のとおりです。
mutate = ["src/**/*.adb", "src/**/*.ads"]
build = "gprbuild -p -q -P calculator_tests.gpr"
test = '"bin/test_calculator"'
concurrency = 2
sandbox_exclude = [".git", "obj", "bin"]
[thresholds]
high = 80
low = 60
break = 50
mutateが変更を入れるファイル、buildがビルドのコマンド、testがテストのコマンドです。テストのコマンドが0以外の終了コードを返すと、そのミュータントは検出できたものになります。
このフォルダーでadamutant runを実行した結果の末尾です。
File | Score % | Killed | Timeout | Survived | No cov | Compile | Ignored
---------------------------------------------------------------------------------------
All files | 77.50 | 29 | 2 | 9 | 0 | 0 | 0
src/calculator.adb | 75.00 | 25 | 2 | 9 | 0 | 0 | 0
src/calculator.ads | 100.00 | 4 | 0 | 0 | 0 | 0 | 0
Mutation score: 77.50% (31 detected, 9 undetected, 0 compile errors, 0 ignored) in 12 s
40件のミュータントのうち、29件はテストが失敗して検出でき、2件はタイムアウトし、9件が生き残りました。かかった時間は12秒です。
flowchart TB
accTitle: calculatorのサンプルの40件のミュータントの結果
accDescr: 40件のミュータントのうち29件はテストが失敗して検出でき、2件はタイムアウトして検出の扱いになり、9件が生き残ったことを示します。
A["40件のミュータント"] --> B["検出:31件"]
A --> C["未検出:9件(Survived)"]
B --> D["29件:テストが失敗(Killed)"]
B --> E["2件:時間切れ(Timeout)"]
図4: 検出できたのは31件で、9件は検出できませんでした。
タイムアウトした2件はループの中のI := I + 1;を変えたミュータントです。この文を削除したものと、I + 1をI + 0にしたもので、どちらもループが終わらなくなります。AdaMutantは変更前のテストの時間から上限を決めて打ち切り、検出できたものとして数えます。
レポートは.adamutant/reportsにできます。HTMLのレポート(mutation-report.html)では、ソースの行に色が付きます。次の画像はこのサンプルのレポートの一部です。緑の行には検出できなかったミュータントがなく、検出できたミュータントがあります。赤の行は生き残ったミュータントがある行です。行をクリックすると、その行のミュータントの一覧が開きます。

生き残ったミュータントを読む
生き残った9件のうち6件は、点数から等級を返す関数Gradeのものです。
function Grade (Score : Natural) return String is
begin
if Score >= 80 then
return "A";
elsif Score >= 60 then
return "B";
end if;
return "C";
end Grade;
テストが確かめているのは、Grade (95)が"A"であることと、Grade (10)が"C"であることの2つだけです。80点や60点の境界も、"B"になる場合も確かめていません。そのため、>=を>に変えても、80を81に変えても、テストは通ります。
境界を確かめるテストを4つ足しました。
Check (Grade (80) = "A", "Grade A boundary");
Check (Grade (79) = "B", "Grade B upper");
Check (Grade (60) = "B", "Grade B boundary");
Check (Grade (59) = "C", "Grade C upper");
もう一度実行すると、スコアは92.50%になり、生き残りは3件になりました。残った3件は性質が違います。
1件目はMaxのif A > B thenをif A >= B thenに変えるミュータントです。
function Max (A, B : Integer) return Integer is
begin
if A > B then
return A;
else
return B;
end if;
end Max;
AとBが等しいとき、元のコードはBを返し、ミュータントはAを返します。値は同じです。どんなテストを書いても、この2つを区別できません。このように元のコードと同じ動きをするミュータントを、等価ミュータントと呼びます。
残りの2件はClampの比較です。
function Clamp (X, Low, High : Integer) return Integer is
begin
if X < Low then
return Low;
elsif X > High then
return High;
end if;
return X;
end Clamp;
X > HighをX >= Highに変えるものはMaxと同じ理由で等価です。XがHighに等しいとき、どちらも同じ値を返します。
X < LowをX <= Lowに変えるものは一見すると同じに見えますが、等価ではありません。LowがHighより大きい呼び出しでは結果が変わるからです。Clamp (5, 5, 3)の場合、元のコードは5 < 5が偽なので次の条件に進み、5 > 3が真なので3を返します。ミュータントが返すのは5です。5 <= 5が真になるためです。
flowchart TB
accTitle: Clampに下限が上限より大きい引数を渡したときの元のコードとミュータントの違い
accDescr: Clampに5と下限5と上限3を渡すと、元のコードは最初の条件が偽で次の条件が真になり上限の3を返し、比較を変えたミュータントは最初の条件が真になり下限の5を返すことを示します。
A["Clamp (5, 5, 3)を呼ぶ"] --> B["元のコード:最初の条件は偽"]
A --> C["ミュータント:最初の条件は真"]
B --> D["次の条件は真なので、上限の3を返す"]
C --> E["下限の5を返す"]
図5: 下限が上限より大きい呼び出しでは、元のコードとミュータントの結果が変わります。
このミュータントが示しているのは、テストの不足というより、仕様が決まっていない箇所です。Clampには、LowがHigh以下であるという事前条件がありません。下限と上限が逆の呼び出しを認めるのか、認めるなら何を返すのかが、コードからもテストからも読み取れません。
ここでは、いまの動き(上限を返す)を仕様とみなして、テストを1つ足しました。
Check (Clamp (5, 5, 3) = 3, "Clamp inverted range");
スコアは95.00%になり、生き残りは等価ミュータントの2件だけになりました。逆の呼び出しを認めないと決めるなら、事前条件を足して、このミュータントを等価として外す方法もあります。
等価ミュータントはコメントで対象から外せます。
-- adamutant:disable-next-line EqualityOperator: equivalent mutant
if A > B then
2か所にこのコメントを付けて実行した結果が、次の表の4行目です。コメントはその行の比較演算子のミュータントをすべて外します。1行に2件ずつあるので、外れたのは4件です。そのうち2件は外す前には検出できていたものでした。
| 実行 | スコア | 検出 | 生き残り | 対象外 |
|---|---|---|---|---|
| サンプルのまま | 77.50% | 31 | 9 | 0 |
| 境界のテストを4つ追加 | 92.50% | 37 | 3 | 0 |
| 下限と上限が逆の場合のテストを追加 | 95.00% | 38 | 2 | 0 |
| 等価ミュータントをコメントで除外 | 100.00% | 36 | 0 | 4 |
flowchart TB
accTitle: 生き残ったミュータントの仕分け
accDescr: 生き残ったミュータントを読み、元のコードと動きが違う入力があるかを調べ、あれば仕様を決めてその違いを確かめるテストを足し、なければ等価ミュータントとしてコメントで対象から外すことを示します。
A["生き残ったミュータントを読む"] --> B["元のコードと動きが違う入力があるか"]
B -->|"ある"| C["仕様を決めて、違いを確かめるテストを足す"]
B -->|"ない"| D["等価ミュータントとしてコメントで外す"]
図6: 生き残りはテストや仕様の不足を示すものと、等価ミュータントに分かれます。
どちらなのかを決めるのは人です。この記事を書く途中でも、Clampの1件を最初は等価と見誤りました。スコアの数字よりも、生き残った1件ずつが何を示しているかのほうが役に立ちます。
証明でミュータントを検出する
SPARKのコードではテストの代わりにGNATproveの証明でミュータントを検出できます。examples/spark_counterは、テストがなく、証明だけを使うサンプルです。
function Saturating_Add (A, B : Count) return Count
with Post =>
(if A + B <= Max then Saturating_Add'Result = A + B
else Saturating_Add'Result = Max);
設定ではtestの代わりにproveを書きます。testとproveの両方を書いた場合は、テストが通ったミュータントだけを証明にかけます。次は設定ファイルからの抜粋です。
mutate = ["src/**/*.adb"]
build = "gprbuild -p -q -c -P counters.gpr"
prove = "gnatprove -P counters.gpr --level=1 --report=fail --checks-as-errors=on -j1"
実行すると、8件のうち7件を証明で検出し、1件が生き残りました。スコアは87.50%で、かかった時間は25秒です。
本体は次のとおりです。
function Saturating_Add (A, B : Count) return Count is
begin
if A + B > Max then
return Max;
else
return A + B;
end if;
end Saturating_Add;
return A + Bをreturn A - Bに変えると、事後条件を証明できなくなります。GNATproveが失敗するので、このミュータントは検出できたことになります。事後条件が結果の値を決めているため、本体の変更の多くは証明の失敗になるわけです。検出した7件のうち5件は事後条件を証明できず、残りの2件は、値が型の範囲に収まることの検査だけを証明できませんでした。
生き残った1件はif A + B > Max thenをif A + B >= Max thenに変えたものです。A + BがMaxに等しいとき、元のコードはA + Bを返し、ミュータントはMaxを返します。値は同じなので、これは等価ミュータントです。
契約そのもの(PreやPost)を変えるミュータントは、既定では作りません。設定でmutate_contracts = trueにすると作ります。
flowchart TB
accTitle: 証明でミュータントを検出する流れ
accDescr: 本体にミュータントを入れてGNATproveを実行し、証明が失敗すれば検出になり、証明が通れば生き残りになることを示します。
A["本体にミュータントを入れる"] --> B["GNATproveを実行する"]
B -->|"証明が失敗する"| C["Killed:証明が変更を検出した"]
B -->|"証明が通る"| D["Survived"]
図7: 契約が結果の値を決めていれば、本体の変更は証明の失敗として現れます。
ミュータントをまとめてビルドする
ミューテーションテストは時間がかかります。ミュータントごとにビルドし直すと、ミュータントの数だけビルドが要るからです。
AdaMutantはまとめられるミュータントを1つのソースに入れて1回でビルドします。READMEはこの方法をミュータント・スキーマと呼んでいます。1 次はサンプルの実行中に作られたソースの一部です。
function Add (A, B : Integer) return Integer is
begin
case ADAMUTANT_ACTIVE_1 is
when 1 =>
return A - B;
when others =>
return A + B;
end case;
end Add;
ADAMUTANT_ACTIVE_1は、環境変数ADAMUTANT_MUTANT_IDの値を返す関数です。テストを実行するときにこの環境変数を変えると、ビルドし直さずに有効なミュータントを切り替えられます。値が0のときは、どのミュータントも有効になりません。条件のミュータントはcase式になります。
if (case ADAMUTANT_ACTIVE_1 is
when 2 => (
True
),
when 3 => (
False
),
when 4 => (
A >= B
),
when 5 => (
A <= B
),
when others => (
A > B
)) then
calculatorのサンプルでは、40件のうち36件が1回のビルドにまとまりました。単純な文と条件のミュータントが32件、式関数Is_Evenのミュータントが4件です。残りの4件は1件ずつビルドされています。宣言の初期値を変える2件と、文を削除する2件です。変更前のビルドを含めて、ビルドは全部で6回でした。
まとめないものがあるのには理由があります。READMEによると、宣言の中のミュータントは静的な式が必要なことがあり、実行時の切り替えにできません。文の削除をまとめないのは、まとめると最適化の影響でミュータントが元のプログラムと同じ動きになり、検出できたはずのものを見逃すことがあるためです。1
flowchart TB
accTitle: まとめてビルドするミュータントと1件ずつビルドするミュータント
accDescr: 単純な文や条件のミュータントは1つのソースにまとめて1回ビルドし、テストのときに環境変数で切り替え、宣言の中のミュータントや文の削除は1件ずつビルドすることを示します。
A["ミュータントの場所を調べる"] --> B["単純な文、条件、式関数"]
A --> C["宣言の中、文の削除など"]
B --> D["1つのソースにまとめて1回ビルドする"]
D --> E["環境変数でミュータントを切り替えてテストする"]
C --> F["1件ずつビルドしてテストする"]
図8: まとめられるミュータントは、ビルドが1回で済みます。
プルリクエストで変更した行だけ調べる
大きなプロジェクトで毎回すべてのミュータントを調べるのは重い作業です。--sinceを付けると、指定したリビジョンとHEADのマージベースから変更した行のミュータントだけを調べます。
試しに、サンプルをgitのリポジトリにして、ブランチでGradeの60を70に書き換えました。
adamutant run --since main
File | Score % | Killed | Timeout | Survived | No cov | Compile | Ignored
---------------------------------------------------------------------------------------
All files | 40.00 | 2 | 0 | 3 | 0 | 0 | 31
src/calculator.adb | 40.00 | 2 | 0 | 3 | 0 | 0 | 31
Mutation score: 40.00% (2 detected, 3 undetected, 0 compile errors, 31 ignored) in 1 s
error: the mutation score is below the break threshold 50%
変更した1行にかかる5件だけが実行され、同じファイルの残りの31件は対象外になりました。変更のないcalculator.adsは読み込まれず、その4件は一覧にも出ません。かかった時間は1秒です。
スコアは40%で、設定のbreakのしきい値(50%)を下回ったので、終了コードは2になりました。終了コードは、成功が0、エラーが1、しきい値未満が2です。CIで実行すれば、変更した行のテストが足りないプルリクエストを止められます。READMEには、GitHub Actionsでは履歴が必要なので、actions/checkoutにfetch-depth: 0を指定するようにとあります。
flowchart TB
accTitle: 変更した行だけを調べる流れ
accDescr: 指定したリビジョンとHEADのマージベースからの差分で変更した行を求め、その行にかかるミュータントだけを実行し、ほかは対象外にして、スコアがしきい値を下回れば終了コード2で終わることを示します。
A["マージベースからの差分を取る"] --> B["変更した行にかかるミュータントだけを実行する"]
B --> C["スコアを変更した行だけで計算する"]
C -->|"しきい値以上"| D["終了コード0"]
C -->|"しきい値未満"| E["終了コード2"]
図9: 変更した行のミュータントだけでスコアを計算し、しきい値でCIを止められます。
状態とスコア
ミュータントの状態は7つあります。1
| 状態 | 意味 | スコアでの扱い |
|---|---|---|
| Killed | テストか証明が失敗した | 検出 |
| Timeout | テストが時間内に終わらなかった | 検出 |
| Survived | テストも証明も通った | 未検出 |
| NoCoverage | ビルドがそのファイルをコンパイルしていない | 未検出 |
| CompileError | ミュータントがビルドできなかった | 対象外 |
| RuntimeError | コマンドを起動できなかったなど | 対象外 |
| Ignored | コメントなどで対象から外した | 対象外 |
スコアは検出の件数を、検出と未検出の合計で割った値です。
flowchart TB
accTitle: 等価ミュータントを外した実行でのスコアの計算
accDescr: 等価ミュータントをコメントで外した実行では、Killedの34件とTimeoutの2件を合わせた36件が検出で、未検出は0件なので、36を36で割って100パーセントになり、対象外の4件は計算に入らないことを示します。
A["Killed 34件とTimeout 2件"] --> D["検出:36件"]
B["SurvivedとNoCoverage:0件"] --> E["未検出:0件"]
D --> F["36 ÷ (36 + 0) = 100.00%"]
E --> F
C["Ignored:4件"] --> G["計算に入れない"]
図10: 対象から外した4件は分母にも分子にも入りません。
使うときに知っておくこと
READMEに書かれている制限と前提のうち、導入の前に知っておくとよいものを挙げます。1
- まとめてビルドするには、テストプログラムのメインがAdaで書かれていて、ビルドがGNATのALIファイルを残す必要があります。条件を満たさないときは、すべてのミュータントを1件ずつビルドします。
- 警告をエラーにしているプロジェクトでは、まとめてビルドした場合と1件ずつビルドした場合で、コンパイルエラーになるミュータントが変わることがあります。まとめたソースではスタイルの検査を切っていて、ファイル全体を見て出る警告も出ないためです。
- ループの回数を変えたミュータントが大量のメモリを確保することがあります。
test_memory_limit_mbで、テストのプロセスごとのメモリの上限を決められます。 - Windowsではテストのコマンドに
/を含むパスを書くときに引用符で囲む必要があります。
バージョンは0.1.0です。この記事で確かめたのは、Linuxでの付属のサンプル2つと、--sinceの動作です。
まとめ
- AdaMutantはAdaとSPARKのソースに小さな変更を入れ、テストやGNATproveの証明がそれを検出できるかを調べるツールです。
- 付属のサンプルでは、40件のミュータントのうち9件が生き残りました。境界のテストを4つ足すと生き残りは3件になりました。そのうち2件は等価ミュータントで、1件は仕様が決まっていない箇所を示していました。
- テストのないSPARKのコードでも、証明だけで8件のうち7件を検出できました。
- まとめられるミュータントは1回のビルドで済ませ、テストのときに環境変数で切り替えます。
--sinceを使うと、変更した行のミュータントだけを調べて、しきい値でCIを止められます。
関連記事
- ミューテーションテストでテストをテストする ── Stryker.NETで確かめていないテストを見つける
- AIが書いたテストを信用してよいか ── 通るのに何も確かめないテストの見分け方
- SPARKによる形式検証入門 ── Adaの契約から数学的証明へ
- AIが書いたコードをSPARKで証明する ── 人が契約を書き、GNATproveで確かめる
参考資料
-
小村ソフト, AdaMutant(README.ja.md). 参照箇所: 冒頭の特徴の一覧、「使い方」「ミュータント」「状態とスコア」「仕組み」「ミュータントをまとめたビルド」。この記事はコミット
22c0fcb(2026年11月15日)の内容で確かめました。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 -
Alire, mutant. 参照箇所: クレートの名前(mutant)、バージョン(0.1.0)、ライセンス(Apache-2.0)、依存(gnat >=14)、説明文の「AdaMutant runs on Linux, macOS and Windows.」。2026年11月17日に確認。 ↩ ↩2
関連する記事
同じタグを共有する最新の記事です。さらに近い話題で知識を深められます。
Alire で Ada のプロジェクトを始める ── プロジェクト作成、依存の追加、ビルドプロファイル、GNATproveまで
AdaのパッケージマネージャーAlireで、プロジェクトの作成、GNATの自動取得、依存クレートの追加、ビルドプロファイルの切り替え、GNATproveによる証明までを、alr 2.1で実行した出力とともに説明します。
libxml2のxmlBuildQNameで、なぜ容量の検査が働かなかったのか?
CVE-2025-6021は、libxml2のxmlBuildQNameで必要なバイト数がintの上限を超えると容量の検査が働かず、バッファの外へ書き込む脆弱性です。原因と修正を実測で確かめ、同じ計算をSPARKで証明した例と比べます。
画像処理の境界外アクセスをSPARKで証明する ── 2値化・平滑化・ラベリングとCとの速度比較
画像処理のコードが画像の外を読み書きしないことを、SPARKのGNATproveで証明します。2値化、3×3の平滑化、ラベリングを例に、証明の書き方と証明していない範囲、検査を外したときのCとの速度の差を実測でまとめます。
AIが書いたコードをSPARKで証明する ── 人が契約を書き、GNATproveで確かめる
AIが書いたAdaの関数に事前条件と事後条件を付け、GNATproveで証明する手順を実行例で示します。失敗メッセージの読み方、弱い契約のまま通る証明、レビューで人が見る箇所をまとめます。
SPARKによる形式検証入門 ── Adaの契約から数学的証明へ
Adaのサブセット言語SPARKによる形式検証の実践的な入門記事です。契約(Pre/Post)から証明へステップアップする方法、GNATproveの使い方、ループ不変条件、データフロー契約、証明レベル、そして実プロジェクトへの適用方法までを整理します。
関連トピック
このテーマと近いトピックページです。記事を起点に、関連するサービスや他の記事へ進めます。
Windows技術トピック
Windows 開発、不具合調査、既存資産活用の技術トピックをまとめた入口です。
このテーマがつながるサービス
この記事は次のサービスページにつながります。近い入口からご覧ください。
技術相談・設計レビュー
AdaやSPARKのコードで、テストと証明がどの変更を検出でき、どこが手薄なのかを調べて、足すテストや契約を決めるのは、技術相談・設計レビューとして扱えます。
不具合調査・原因解析
テストが通っているのに不具合が出たとき、そのテストが何を確かめていなかったのかを調べるのは、不具合調査・原因解析として進められます。
よくある質問
この記事のテーマについて、相談時によくある質問をまとめています。
- AdaMutantは何をするツールですか?
- AdaとSPARKのソースに小さな変更(ミュータント)を自動で入れ、テストかGNATproveの証明がその変更を検出できるかを調べるツールです。検出できた割合をミューテーションスコアとして出します。小村ソフトがApache License 2.0で公開しています。
- テストがなく、証明だけのSPARKのコードにも使えますか?
- 使えます。設定のproveにGNATproveのコマンドを書くと、証明が失敗したミュータントを検出できたものとして数えます。付属のサンプルでは、テストなしで8件のうち7件を証明で検出し、残った1件は元のコードと同じ動きをする等価ミュータントでした。
- ミューテーションスコアは100%を目指すべきですか?
- 目標の数字にするより、生き残ったミュータントを1件ずつ読む使い方を勧めます。生き残りには、テストや仕様の不足を示すものと、元のコードと同じ動きをするので検出できないもの(等価ミュータント)が混ざります。どちらなのかは人が判断します。