QAエンジニアがテスト自動化ツール移行に挑戦！MagicPodの導入から運用で学んだこと

こんにちは！

KIYOラーニングでQAエンジニアをしている坪根です。

今回は「テスト自動化ツールの移行と運用」について、私の経験をお伝えします。

このような貴重な経験ができているのは、私が当社の一人目のQAエンジニアとして入社し、QA組織の立ち上げに携わることができているからだと思います。

このストーリーを通じて当社のQAエンジニアとして働くことに興味を持っていただければ幸いです。

なお、このストーリーは特定のテスト自動化ツールの導入を推奨するものではありません。

あらかじめご了承ください。

以前の当社の自動テストの活用状況

当社では元々Autifyを運用していました。

しかし当時契約していたプランを延長できず、当社にとっては実質的な値上げとなってしまいました。

そこでテスト自動化ツールの移行を検討しました。

Autify(オーティファイ), AIを用いたソフトウェアテスト自動化プラットフォーム - Autify(オーティファイ)

Autify(オーティファイ)はウェブアプリケーション、モバイルアプリケーションのE2EテストやUIテスト、リグレッションテストなどのソフトウェアテストを誰にでも簡単にノーコードで自動化できるクラウドサービスです。クラスブラウザテスト機能やAIメンテナンス機能で持続可能なテスト自動化を実現します。

https://autify.com/ja/

テスト自動化ツールの移行

今後のQA組織拡大を考慮し、コーディングスキルがなくてもテストケースのメンテナンスが行えるように「コーディング不要なツール」という条件を必須にしました。

様々なテスト自動化ツールを調査した結果、MagicPodとmablというツールが候補になりました。

そこで当時運用中だったAutifyとの比較や当社が求めるテスト自動化ツールの要件との「フィット＆ギャップ分析」を行いました。

MagicPod: AIテスト自動化プラットフォーム

MagicPod 公式サイト。モバイルアプリテスト、ブラウザ(ウェブアプリ)テストの両方に対応したAIテスト自動化クラウドサービスです。豊富な機能と高いメンテナンス性でリリースサイクルの高速化を支援します。

https://magicpod.com/

アジャイルチームのためのインテリジェントなテスト自動化ソリューション | mabl

mablのインテリジェントなテスト自動化により、信頼性の高いエンドツーエンドのテストを簡単に作成でき、アプリケーションの品質を向上させることができます。

https://www.mabl.com/ja/

分析結果をもとに各ツールについて簡単にまとめた結果が以下のとおりです。

Autify

• UIがわかりやすい。
• 予算の都合で並列テスト実行可能数が多いプランを契約できないため、テスト実行にかかる時間が増大することがネックになった。

MagicPod

• テスト実行回数が無制限なのが良い。
• テストでJavaScriptを実行できないが、「変数に現在時刻を元に生成したユニークな値を保存」することでテストデータに一意な値を指定できたので、問題にはならなかった。
• テストケース作成可能数に制限があり、追加するのに料金がかかる。

mabl

• パフォーマンステストやアクセシビリティのテストが可能であり高機能。
• 並列実行可能数が多いため、テスト実行にかかる時間が短縮できる。

分析結果を元に関係者と協議した結果、当社ではAutifyからMagicPodに移行することにしました。

分析結果の詳細を以下の表にまとめたので、ツールの移行を検討している方の参考になれば幸いです。

表①：ツールの機能に関する分析結果

表②：ツールの料金に関する分析結果

MagicPodに移行した理由

理由は2つです。

1つ目は料金が比較的安価なことです。

MagicPodのスタンダードプランは年契約の場合¥39,800/月（税別）※で利用可能です。

そのためAutifyやmablと比較して安価に導入できます。

以下の追加に料金はかかりますが、追加してもMagicPodの方が安価でした。

• テストケース作成数
• 画像差分チェックステップ数
• 並列テスト実行可能数
• 並列テスト作成可能ユーザ数

2つ目は自動テストの実行回数が無制限なことです。

Autifyやmablには月々のテスト実行回数に制限があるため、実行回数が不足すると都度有料オプションの実行回数をチャージする必要があります。

MagicPodはテスト実行回数のチャージが不要なので、実行回数の制限を気にすることなく運用できます。

※2023年11月時点での料金です。

MagicPodでやっていること

当社で提供している「スタディング」と「AirCourse」のリグレッションテストを実行しています。

当社では上記システムのリリース前に必ずリグレッションテストを実行するルールになっており、開発者自身がリリース前にMagicPodを使ってリグレッションテストを実行しています。

当社のシステムリリース頻度は高いため、テスト自動化ツールでリグレッションテストを実行することで効率化と品質保証の両方を実現できています。

リグレッションテストのテストケースは主要な機能が中心ですが、今後テストケースを拡充していく予定です。

また、毎日決まった時間にテスト環境にてテストを定期実行しています。

これにより手動テストで検出できなかったバグの流出を防いでいます。

回数制限を気にしなくてよくなったことで定期実行を実現できました🎉

資格合格パートナー「スタディング」｜オンライン通信講座で難関資格対策

スタディングは、勉強する時間が無い人に最適な資格講座です。スキマ時間を活用できる通信講座で、短期間で合格しましょう！スマートフォンやPCを使った効率の良い勉強方法を解説した合格法テキストや初回の無料講座を提供中。【中小企業診断士･司法書士･税理士･宅建など】

https://studying.jp/

AirCourse - 社員教育をカンタンに。クラウド型eラーニング

クラウド型eラーニング「AirCourse」なら、初期費用0円、1ユーザー/月額200円～の定額制で800コース4,500本以上の研修動画が受け放題。自社オリジナルのeラーニングコースも誰でも簡単に作成・配信。集合研修・オンライン研修管理やレポート機能などLMSとしての機能も充実。

https://aircourse.com/

終わりに

最後までお読みいただきありがとうございます。

テスト自動化ツールの移行に携わり、ツールの選定や運用に向けた取り組みなど、QAエンジニアとして貴重な経験ができました。

当社は現在QA組織の立ち上げ期であり、いろいろなことを任せていただける環境だからこそ経験できたのではないかと思います。

今回のストーリーを通じて当社で働くことに興味を持った方は、ぜひ当社の求人へご応募ください！

合わせて前回のストーリーもご覧いただければ幸いです。

社内初QAエンジニアが組織立ち上げに向けて奮闘中！あなたも一緒に活躍しませんか？ | システム統括部_エンジニア

初めに初めまして。3月1日にKIYOラーニングにQAエンジニアとして入社した坪根です。当社では一人目のQAエンジニアになります。約20名在籍するWebエンジニアが開発するサービスの品質を向上すべ...

https://www.wantedly.com/companies/kiyo-learning/post_articles/515531

参考リンク

MagicPod: AIテスト自動化プラットフォーム

Autify(オーティファイ), AIを用いたソフトウェアテスト自動化プラットフォーム - Autify(オーティファイ)

アジャイルチームのためのインテリジェントなテスト自動化ソリューション | mabl

資格合格パートナー「スタディング」｜オンライン通信講座で難関資格対策 (studying.jp)

AirCourse - 社員教育をカンタンに。クラウド型eラーニング