MagicPodがAIエージェントで取り組むテスト自動化のこれから

こんにちは、MagicPod CEOの伊藤(@ito_nozomi)です。

「MagicPod」は、ソフトウェアテスト（E2Eテスト）をノーコードで自動化できるクラウドサービスです。ノーコードでテストの作成・メンテナンスができるため、プログラミング知識がなくても簡単にテスト自動化を進められる、というのがMagicPodの大きな特徴ですが、それでも実際のところテスト作成の作業は簡単ではありません。

テストを作ったのに実行してみるとなぜか動かない、操作しようとしたボタンがどう見てもあるのにボタンがありませんというエラーが出る、1個ずつテストすると動くのに全部まとめてテストすると動かない、先週まで動いていたのに今日になって動かない、3日に1回だけ動かない…

ユーザーさんは、うまくテストができた時はふつうは何も連絡してきません。うまくいかなかった時にサポートに問い合わせが来ます。その結果、MagicPodのサポートでは、自動テストに関わるあらゆる苦しみを毎日目にするわけです。

エラーの原因は突き詰めると「画面データの状態に影響を受けるテストの作りになっている」という問題に集約されます。例えば、「『未読メール(9件)』というテキストのボタンをクリックする操作を覚えて実行したら件数が8件に変わっていて、ボタンがもう見つからない」みたいな話です。

こうした問題の解決のためにテスト手順の生成ロジックやテスト失敗時の自動修復の改良を日々行ってきましたが、完璧な機械的判断は難しく、ユーザーさんにテスト手順を手で編集してもらったり、運用の工夫や知識向上を進めてもらったりして何とかしてきたのが実情です。

そんな感じで日々MagicPodを運営してきたのですが、最近大きく状況が変わりました。それが生成AIをベースにした「AIエージェント」の技術です。

AIエージェント

これまでの生成AIは、質問に答えたり、コードを生成したり、便利だったのですが、エンジニアの業務を根本的に変えるものではありませんでした。しかしAIエージェントになるとこれが、人間の代わりに色々なシステムやブラウザの操作をやってくれ、人間がやるしかなかった面倒な作業を明確にAIで置き換えることができます。

特に自動テストにとってインパクトが大きいのが、ブラウザ操作の自動化です。「https://xxxのWebサイトに行って適当なユーザー情報を入れて新規ユーザーを作成してください」みたいなことを人間の言葉で指示するだけで操作を代わりにやってくれるAIエージェントが、すでにChatGPTなどの大手企業のサービスやオープンソースのライブラリとして登場しています。
この技術を使うと、画面操作の自動化がずっと簡単になります。
ただ、個人的には「テストを作るスピード」だけを考えると、文章で指示するよりも人間の画面操作をそのまま記録する方が早いのではという場面も多々あり（「他人に教えるより自分でやった方が早い」という感覚に似てますね）、AIエージェントの真価は当面は作った後にあるんじゃないかと思っています。
つまり、生成AIであれば「『未読メール(9件)』っていうボタンがあるけど、『9件』の部分は次回は変わるかもしれないから『未読メール』っていうテキストだけでボタンを特定した方がいいな」のように考慮しながらテストを作れるので、「よくわからないけどテストが失敗する」みたいなシチューエションを劇的に減らせる可能性があるのです。

これに加え、MCPやAgent Development Kitのような仕組みで、自社のサービスに適した形に生成AIを拡張するのが非常に簡単になってきています。

MagicPodでは、こうした変化を見据え、今回新たに調達した5億円を投入し、ノーコード自動テストとAIエージェントの融合に本格的に取り組んでいます。

これは単に流行っているからやるわけではなく、AIエージェントがソフトウェアテスト産業そのものを変えるパラダイムシフトだという確信があるからです。
自動テストに取り組まれている方なら分かると思いますが、自動テストは柔軟性に乏しく、今もテストの多くは圧倒的に手動で実施されており、グローバルで100兆円を超える手動テストの市場を置き換えられていません。
AIエージェント技術を取り込むことで、自動テストはより簡単に、より柔軟になり、初めて本当の意味での手動テストの置き換えとなり、その市場はこれまでの何十倍何百倍に拡大する可能性があるのです。

これを実現する上でMagicPodにとってカギとなるのが、資金調達のプレスリリースでも書いているのですが、「外部AIエージェント連携によるテスト作成フェーズの変革」と「内部AIエージェントによるメンテナンスフェーズの変革」の二つです。

テスト作成フェーズ

テスト作成フェーズでまず取り組むのは、Cline、Cursor、Claudeなどのエンジニア向けのAIエージェントがMagicPodの機能を使えるようにするための、「MCPサーバー」の開発です。

実際に開発に着手するのはもう少し先かなと思っていたのですが、今回のプレスリリース原稿を社内に共有したら弊社VPoPがMCPサーバーを作り始めてくれて、10日くらいでベータ版が完成していました笑。すでに公開されていて、使い方や活用事例も載っているので、興味のある方はこちらの記事を読んでみてください！
テスト作成はまだできませんが、すでに開発を進めています。ちなみにDevinは現在MCPサーバー未対応らしいので、今後に期待しましょう。

テスト作成フェーズでもう1つ今後重要なのは、MagicPodのノーコード形式のスクリプトをコード形式でも扱えるようにすることです。
これは製品の初期の頃から考えていて、エンジニアとQAのコラボレーションを促進するための重要な構想としてソフトウェアテスト自動化カンファレンスの登壇でも紹介していましたが、AIエージェント時代になって全く新しい意味を持ち始めました。

コード形式にしてGitレポジトリ上で管理すれば、開発者向けAIエージェントがテストスクリプトをより扱いやすくなると考えられます。
作成したテストスクリプトは、ノーコード形式で表示したり細かい微調整したりできるので、非プログラマが多いQAエンジニアにとってもブラックボックスになりません。MagicPodのスクリプトとしてメンテナンスするので、生成AIの持つ不確実性によってテストが不安定になることもありませんし、生成AIモデルの課金コストも発生しません。

コード化やGitHub連携は社内でも元々既定路線で、MagicPod側への履歴機能の搭載、ブランチ機能の搭載と、着々と進めてきているので、この路線を継続していきます。

メンテナンスフェーズ

作ったテストのメンテナンスのところにもAIエージェントの技術を投入します。特に重要なのは、アプリケーション側の画面の変更によってテストが失敗した時にAIがテスト側を修正する「自動修復」の強化です。

自動修復は今でもすでに簡単なメンテナンスの手間を削減してくれユーザーさんから人気の機能ですが、それでも修復できる変更は体感で全体の30%くらいで、デザインリニューアルレベルの修正が入った時や、ボタンなどの画面項目がそもそも全く違う画面に移動してしまった場合は、残念ながら手作業でのスクリプト修正が必要です。

生成AIやAIエージェントの技術をここに投入することで、テスト作成時のユーザーの意図やアプリケーションの内容を加味した修復が可能になったり、成功するまで自律的に何度もトライアンドエラーすることが可能になるので、修復の精度を飛躍的に高められると考えています（ユーザーの指示を起点としてアクションを行うわけでないので、厳密にはAIエージェントとは呼べないかもしれませんが）。

最後に

以上、これからのMagicPodの取り組みについて紹介しました。

AIエージェントや生成AIによる市場の変化は大きなチャレンジですが、同時に市場の変革者となる大きなチャンスでもあります。

Bolt.newのようなWebサービスを生成AIで作れるツールを試して思うのは、簡単に大枠は作れてもその後のチューニングにはまだまだプログラミングが必要で、知識がないとそういったサービスを実業務で使うのはハードルがあるということです。
生成AI x ノーコードなら、生成AIで簡単に作れて、非エンジニアでもチューニングができるのでこのハードルを乗り越えられます。
MagicPodはこのメリットを活かして、生成AI・AIエージェントによる自動テストという新しいパラダイムを世界に広めていきたいと思います！

MagicPodでAIエージェント開発に関わってみたいと思った方、現在開発メンバーを絶賛募集中です。ぜひご連絡お待ちしております！