本業では、自分でテストを書くだけでなく、テスト設計のレビューも担当しています。統合テストの観点が妥当かを確認して、指摘をフィードバックする仕事です。
見るところはいくつか決まっているので、書いておきます。特定の案件の話ではなく、一般的な考え方としてです。
1つ目は、単体テストの繰り返しになっていないかです。
統合テストのケースなのに、単体で確認済みの入力チェックをもう一度並べている、ということがよくあります。ケース数は増えますが、見つかる不具合は増えません。統合テストで見るべきは、機能と機能のつなぎ目です。渡した値がそのまま使われているか、変換されているならそれは意図どおりか。
2つ目は、前提条件が書かれているかです。
「データを登録してから実行する」とだけ書かれていると、人によって違う状態で試すことになります。落ちたときに再現できないテストは、不具合を見つけても報告できません。どの状態から始めるのかを、別の人が読んで同じ状態を作れる粒度で書いてあるかを見ます。
3つ目は、期待結果が画面だけになっていないかです。
画面に「完了しました」と出たことだけを確認しているケースは、意外と多いです。でも、本当に確かめたいのは、データが意図した状態になっているか、後続の処理に渡るものが正しいかです。画面は成功していても、裏で半分しか更新されていないことはあります。
4つ目は、異常系が「起きたら困る順」になっているかです。
異常系はいくらでも増やせるので、網羅しようとすると終わりません。全部やるのではなく、起きたときの影響が大きいものから順に並べられているかを見ます。時間が足りなくて途中で打ち切ることになっても、大事なところが残るようにしておくためです。
指摘の仕方で気をつけていることもあります。
「この観点が足りない」だけを返すと、そのケースを足して終わりになります。次の設計で同じことが起きます。なので、なぜその観点が必要か、抜けると何が起きるかを一行添えるようにしています。
これは自動化ともつながっています。以前、約100画面・500テストケースのE2EテストをPlaywrightで自動化しましたが、あのときも難しかったのはコードではなく、「何を自動化するか」を決めるところでした。
観点が整理されていないままコードにすると、「通っているけど何を保証しているのか分からないテスト」が残ります。自動化は手段なので、その手前の設計ができていないと効きません。
テスト自動化のご相談をいただくときも、まずは「今何を確認していますか」から伺うようにしています。