ウォンテッドリーで Mobile Chapter のリーダーをしている久保出です。今回は、Wantedly アプリのテスト名の規約を変え、既存の約 3,600 件を新しい規約に移行した話です。
Wantedly アプリの以前のテスト名には、名前から何をテストしたいのかが読み取れないという課題がありました。規約を変えるだけなら簡単ですが、既存のテストを揃える移行は量が多く、人が片手間で進めても終わりません。そこで移行の手順を Agent Skill にし、AI が移行を進め、人がフィードバックを返して AI を育てるワークフローを組みました。
この記事では、規約を変えた理由、移行をスキルにして人のフィードバックで AI を育てた進め方、人の手が離れるまでの経緯、移行の副産物として見つかった壊れても通るテストの順に紹介します。
テスト名の規約を変えた
Wantedly アプリは iOS、Android、Kotlin Multiplatform の共有コードを 1 つのリポジトリで管理しています。以前のテスト名は、Gherkin スタイル(Given/When/Then を並べる書き方)を規約にしていました。条件(Given)と操作(When)によって、どういう挙動(Then)が起きるかが名前で分かります。当時、私たちはそれが理解しやすいと考えていました。
fun `given db is empty when get draft then returns null`()
fun testInvoke_GivenAward_WhenCalled_ThenItDeleteVisualOutput_AndRefetchProfileItem()
運用してみると、課題が見えてきました。
まず、書く場所によって名前の形が揃っていませんでした。1 つ目のように文の形で書くものもあれば、2 つ目のようにテスト対象のメソッド名から始めるものもあります。iOS は Quick の context と it で書いていました。iOS の Quick は英語のままでも仕様文として読めるので、移行の対象は Kotlin のテストと、iOS の一部(XCTest など)にしました。
次に、名前が実装を表しているだけで、何をテストしたいのかが分かりませんでした。2 つ目の例は、メソッド名の invoke と、何が起きるかを並べているだけです。名前は長くなり、1 つのテストで複数の結果を確かめがちになり、名前と中身もずれていきます。名前が約 250 文字あるのに、本体で確かめている 6 項目のうち 1 つしか名前に出ていないテストもありました。
私は、AI がテストを書き、人や AI が読む機会が増えると、この課題は大きくなると考えています。AI への指示もレビューも自然言語でやり取りするので、テストが何を確かめているのかを自然言語で表せていることの重要性が増しているのです。
そこで、テスト名を「条件と期待結果」を表す自然言語の仕様文にし、Given/When/Then は本体の構造として使う規約に変えました。
fun `下書きがないとき null を返す`()
規約を変えると、既存のテストを揃える移行が発生します。対象は約 3,600 件で、1 件ずつ本体を読んで名前を付け直す必要がありました。
移行をスキルにする
この移行は、同じ判断の繰り返しです。テストの本体を読み、何を準備し、何をして、何を確かめているかを取り出して、1 文の名前にします。判断の基準を書いておけば、AI に渡せると考えました。
移行の手順は Claude Code の Agent Skill にしました。Agent Skill は、手順を書いた Markdown をリポジトリに置いておくと、AI エージェントが必要なときに読み込んで従う仕組みです。最初のバージョンは 56 行で、次の流れだけを書いていました。
- 未移行のテストをスクリプトで数え、移行する単位を決める
- ブランチを切る
- テストの本体を読んで名前を付け直す
- 件数とテストの実行で検証する
- PR を作る
名前の付け方の中身は、リポジトリの AGENTS.md(AI エージェント向けの指示ファイル)にある規約を読ませます。スキルには移行の手順だけを書き、規約は 1 か所に置きました。
最初の数本は人がフィードバックを返す
最初の数本の PR は、私とチームのメンバーで確認しました。ここでの人の役割は、PR の誤りを直すことではありません。AI が迷った点を見つけてフィードバックを返し、AI にスキルや規約の規則として反映させることです。AI の作業のループの中に人が入って判断を返す、Human in the loop(HITL)の形です。
たとえば最初の PR で、私は「なんか矛盾してる気もする」とコメントしました。テスト名が言っている内容と、本体が実際に確かめている内容がずれていたためです。この指摘は「名前は本体が確かめている範囲だけを言う」という規則になり、スキルではなく規約のほうに入りました。移行に限らず、これから書くテストにも当てはまるためです。
ほかにも、序盤の PR で次のような規則が増えました。
- 用語は単位の最初に決め、PR の中で揺らさない
- 途中の状態を確かめるテストは分けずに「〜を経て」と書く
- 中身のないテストや、入力と期待値の組を並べたテストの名前の付け方を決める
数本を確認した時点で、名前の付け方で人が直す点はほとんどなくなりました。
人の手離れ
序盤のうちに、AI は名前以外の行が変わっていないことを確かめるスクリプトを作っていました。移行の PR で起きてはいけないのは名前以外の変更なので、これで機械的に確かめられます。このスクリプトがあることを前提に、チーム内で「移行の PR はレビューなしでマージしてよい」と合意しました。
人の手をさらに離していくにあたって、私がスキルに足した指示は 1 つだけです。作業の中で受けたフィードバックを、スキル自身に反映させることでした。移行の PR を作るたびに、AI は迷った点や指摘された点をスキルに反映していきました。PR を作り、フィードバックを受け、スキルを直して次の PR に活かす、というフィードバックループができました。
改善のきっかけは人ではなく、主に次の 3 つでした。
- ローカルの /code-review(Claude Code のレビューコマンド)の指摘
- AI レビューの BOT(PR に自動でレビューを付けるツール)の指摘
- CI の失敗
自己改善を回すうちに、AI は判断を規則にするだけでなく、確かめる作業をスクリプトで自動化するところまで進めました。たとえば、日本語のテスト名が Linux のファイル名のバイト数の上限を超え、手元の macOS では起きない失敗が CI で出たことがあります。AI はテスト名の長さを事前に調べるスクリプトを作り、スキルの手順に入れました。
BOT の指摘がいつも正しいわけではありません。採らない指摘について、AI は採らない理由を規則としてスキルに書きました。毎回同じ判断をし直さずに済むためです。
スキルは移行を終えるまでに 45 回改訂され、56 行から 207 行に増えました。スクリプトも 1 本から 4 本に増えています。
後半は AI 任せで終わった
移行の PR は全部で 23 本でした。最初の数本を除き、レビューなしでマージしました。
最後は私の仕事がなくなり、見守るだけになりました。人はループの中で判断する立場から、ループの外から結果を見守る立場に移ったのです。
壊れても通るテストが見つかった
名前を本体から付け直すには、本体が何を確かめているかを読む必要があります。そのため、本体が実は何も確かめていないテストがいくつも見つかりました。スキルには、検証が弱いと気づいても移行では直さず PR 本文に記録する手順がありました。名前の変更とテストの修正が混ざらないようにするためです。AI はこの手順に従って各 PR の本文に記録しました。移行のあと、私がそれを 1 つの Issue にまとめ、AI に 10 本の PR で直させました。
@Test が付いておらず、実行されていなかったテストも見つかりました。ほかにも、次のようなものがありました。
Compose の isDisplayed() は真偽値を返すだけで、アサーションではありません。期待する文言がテストで用意したデータと食い違っていても通っていました。
- composeTestRule.onNodeWithText("An actual employee").isDisplayed()
+ composeTestRule.onNodeWithText("Another actual employee").assertIsDisplayed()
buildList の中で add を呼んでおらず、空のリスト同士を比べていました。
- buildList { PrivacyStatus.EVERYONE; PrivacyStatus.FRIENDS; … }
+ listOf(PrivacyStatus.EVERYONE, PrivacyStatus.FRIENDS, …)
AI は見つけた型をその都度スキルに足し、以降の単位で探すようにしました。
移行が終わったらスキルは消す
移行を終えたあと、スキルは削除しました。移行が目的のスキルなので、移行が終われば不要です。
スキルに積み上がった規則のうち、これから書くテストにも当てはまるものは、AI が移行の途中から規約のほうにも反映していました。規約に残したので、スキルを消しても学んだことは失われません。
まとめ
コードベースの移行を Agent Skill にし、人は最初の数本でフィードバックを返し、AI がそれをスキルに反映しました。最初は人がループの中に入る HITL で回し、レビューの代わりに機械の検証を置いてからは、人がループから外れても約 3,600 件の移行を終えられました。名前を本体から付け直す過程では、壊れても通るテストも副産物として見つかっています。
今回はテスト名の移行という、範囲の狭い作業でした。それでも、人の判断をスキルの規則に変え、規則で足りないところを機械の検証で補えば、人が外れても回るという手応えは得られました。今後はこの進め方を応用して、移行に限らない開発の AI ワークフローを作っていきたいと考えています。同じように悩む方の参考になれば幸いです。
ウォンテッドリーでは、一緒にプロダクト開発を行うエンジニアを募集しています。このストーリーに興味を持ってくれた方がいれば、ぜひお話ししましょう!