イントロ
猛スピードで出荷しているソフトウェアチームは、ユーザーが思いつくクリックやスワイプ、タイプミスのすべてを子守することはできません。だからこそ、モンキーテストプロセス管理ツールは、プロッドが爆発する前に "what-if "カオスを整理するための頼れる相棒なのです。
スマートなモンキーテスト自動化ツールをパイプラインにプラグインすることで、UIにランダムな入力を与えたり、無限の猿定理を再現したり、スクリプトテストでは想像もしなかったエッジケースクラッシュを表面化させたりする、バーチャルな霊長類の大群を解き放つことができます。欠陥のあるフローをピンポイントで特定する見事なモンキーテストから、本格的なストレステスト、さらにはユーザーエクスペリエンス全体を向上させる深堀りのゴリラテストまで、あらゆる驚きがフェアなゲームになります。
Testomat.ioのようなプラットフォームが提供するカオスモンキー・テスト管理ダッシュボードとその狂気を組み合わせれば、失敗がリアルタイムで飛び出すのを見ることができ、ユーザーが激怒してツイー トする前にそれをつぶすことができる。その方法について簡単に復習したいですか？モンキーテストの入門書をご覧ください。
次は、6つのキラー・スイートをGIF画像付きのスクリーンショットで紹介する。
クイックスキャン比較表
| 工具 | 最適 | CI/CDフック | ランダム・イベント・スライダー | 価格 |
| Testomat.io | パイプラインのカオステストとフルサイクルテストプロセスの監督 | ✔️ | 0 - 10 K | 無料 |
| アクアクラウド | エンタープライズ・パフォーマンス・テストと分析 | ✔️ | 0 - 5 K | 35ドル/ユーザー/月 |
| クエーゼ | 迅速なリリースのためのリーン回帰テスト・スイート | ✔️ | 0 - 3 K | 20ドル／ユーザー／月 |
| テストレール | 大規模なテストケース管理 | スクリプト/API | 0 - 2 K | 39ドル/ユーザー/月 |
| ゼファー・スケール | Jira ネイティブ・パフォーマンス・テスト・ダッシュボード | アドオン | 0 - 2 K | 10ドル／ユーザー／月 |
| プラクティテスト | テスト結果およびテストプロセス全体のエンドツーエンドの可視化 | ウェブフック | 0 - 1 K | 29ドル/ユーザー/月 |
*公示価格。業者はプロモーションを行うので、お得な情報がないかサイトをチェックすること。
1.Testomat.io
Testomat.ioは、あなたのパイプラインに直接モンキーテストの統合CI/CDをボルトインし、内蔵のApplication Exerciser Monkeyランナーを介してランダムなアクションのスマートモンキーテストバーストを解き放ちます。すべてのカオススピンは、ライブメトリクスを1つのボードに送り返すので、チームは、ユーザーがフローにぶつかるずっと前に、欠陥のあるフローを見つけることができます。
主な特徴
- ワンクリックストレステストスイッチ（ダイヤ ル100→10,000ランダムイベント）
- マージまたはナイトリービルドのたびに起動するカオスランスケジューラ
- Android StudioプラグインがIDEにクラッシュログを直接パイピング
- ホットな故障ゾーンをピンポイントで特定するランダム・アクションのヒートマップ
- 記録されたユーザー・パスから自動生成されるテスト・スイート
- 合否の傾向を示すパフォーマンス・テスト・グラフを内蔵
- リアルタイムアラートのためのSlack / Jiraウェブフック
長所
- GitHub、GitLab、CircleCI、Jenkins、Azure用のネイティブCI/CDフック
- CSV、XML、またはAPIからテストケースを高速インポート
- スプリントごとに色分けされた回帰テスト・ダッシュボード
- 単一タップだけでなく、欠陥のあるシーケンスのフラグを立てるスマートヒューリスティック
- スターター・ティアでもプロジェクトは無制限
- QAチームと開発チームのためのきめ細かな役割権限
- カスタム・カオス・スクリプトのためのフレンドリーなREST API
短所
- クラウドオンリー、オンプレミスは未導入
- プロ以上のプランにロックされた詳細分析
価格
Starterは3ユーザーまで無料。Proは1ユーザーあたり月額30ドルで、Enterpriseはカスタム見積もりで優先サポート付き。
2. アクアクラウド
aqua cloudは、すでに洗練された構造化テスト手法の上に、制御されたランダムテストと深いカットのファズテストを重ねます。このプラットフォームは、カオスバーストを紡ぎ出し、不正な入力をすべてログに記録し、データを追跡可能な要件につなぎ合わせます。
主な特徴
- ビジュアルなカオス・フロー・ビルダー（ドラッグ＆ドロップでランダムなイベントを作成可能）
- エントロピー・プリセット付きファズデータ・ジェネレーター
- バグ→要件を結ぶリアルタイム・トレーサビリティ・マトリックス
- ISO-27001ガードレールを備えたオンプレまたはSaaS展開
- パフォーマンス・テストのSLA違反のための内蔵SLAダッシュボード
長所
- 不具合に対するJiraとAzure DevOpsのシームレスな同期
- カオスの実行に失敗した後、ワンクリック で前回のグリーンビルドにロールバックできる
- どのコード変更が何を壊したかを示す、詳細な履歴の差分表示
- 自動タグ付けされたスクリーンショットにより、QAチームによる迅速なトリアージが可能
- どの言語でもカスタム・カオス・トリガーが可能な、洗練されたREST API
短所
- 小さい画面ではUIが重く感じる
- ファズ・ジェネレーター、中級プランで5万ドルのイベント上限を達成
- 学習曲線：トレーサビリティ・マトリックスは、前もって設定する必要がある
価格
Teamプランは1ユーザー/月あたり35ドルから（年払い）。Businessプランでは、ストレージとイベントの上限が1ユーザー/月あたり49ドルに引き上げられ、Enterpriseプランでは、ランダム・イベント・ストリームと24時間365日のサポートが無制限で利用できる。
3.Qase
Qase は、古典的な定義済みテストケースとスクリプト外のランダムキーを融合させ、カオスエンジニアリングのための軽量なテスト管理をチームに提供する。すっきりとした UI により、カバレッジを見失うことなく、手動からモンキーのテストに切り替えることができます。
主な特徴
- ランダムにタップ、スワイプ、シェイクするトグル式モンキーランナー
- モバイルSDKがクラッシュログをテスト実行タイムラインに直接プッシュ
- GitHub ActionsとGitLab CIアラートのパイプラインウィジェット
- 重大度マトリックスを内蔵し、カオスバースト中に重要な問題を自動マーク
- CSV、JSON、またはBigQueryへの合否統計のワンクリックでのエクスポート
長所
- 超クリーンなダッシュボード-新入社員は1時間で理解できる
- リグレッション・スイープの前に、何千ものケースを高速で一括編集。
- Jira、Trello、ClickUp、Asanaとのリアルタイム同期
- スマートな差分ビューで、どのコード変更がどのシナリオを壊したかを表示
- 無料ティアは無制限の公開プロジェクトをサポート-OSSアプリに最適
短所
- オンプレミスにインストールせず、クラウドのみ
- アンドロイド・モンキー・ランナー、中盤の5Kイベントでトップ通過
- 組み込みのパフォーマンスグラフがない-Grafanaプラグインが必要
価格
Starterは3ユーザーまで無料。Growthプランは月額22ドル、Businessは月額38ドルで、カオス・イベントの上限とプライオリティ・サポートが追加される。Enterpriseは、カスタムボリューム割引とSSOを交渉する。
4.テストレール
TestRailは、スクリプト・スイートのために多くのチームが頼りにしているベテランのスプレッドシート・キラーです。そのカオス・プラグインをスナップインすれば、負荷テストのスパイクとスクリプトなしのユーザー・インタラクションを同じタイムラインにストリーミングすることができま す。カオスプラグインをスナップインすれば、負荷テストのスパイクとスクリプトなしのユーザーインタラクションを同じタイムラインに流すことができます。
主な特徴
- ChaosプラグインがMonkeyRunnerのログを実行履歴にパイプする
- REST APIは、トレンドチャート用の負荷テストメトリクスを投稿します。
- イベントカウント、メモリデルタ、クラッシュハッシュのカスタムフィールド
- ビルド間のアサーションドリフトをハイライトするインライン差分
- エクゼクティブ・フレンドリーなステータス・デッキのためのスケジュールされたPDFエクスポーター
長所
- プロジェクト/ブランチを分離した成熟した権限モデル
- 膨大なケースバンクの一括編集を高速化
- "クイックテスト "ボタンは、失敗したランダムシーケンスを再生します。
- タイトなCIフック：Jenkins、CircleCI、TeamCity、Azure
- 豊富な定型レポート-追加のBIスイートは不要
短所
- カオス・ヘルパーはサードパーティのアドオンであり、ネイティブではない
- UIは、より洗練されたSaaSの新参者に比べて古く感じる。
- ユーザーごとの価格設定は、大規模な分隊ではすぐに積み上がる
価格
クラウドライセンスは1ユーザー/月あたり39ドル（年額）から。セルフホストライセンスは、20シート以上のボリュームディスカウントが適用され、1ユーザーあたり年間416ドルです。
5.ゼファー・スケール
Zephyr ScaleはJiraに直接統合され、ワークフローを爆破することなく、スプリント全体に馬鹿なモンキーテストを散りばめることができます。ランダムなタップは「無限の時間」UIを打ちのめし、すべてのクラッシュはそのトリガーとなった正確なコード変更にバックリンクされる。
主な特徴
- カオス・ステップ・テンプレートを備えたJiraネイティブ・テスト・ライブラリ
- ウェブ、API、モバイルターゲットをサポートするランダムアクション・ジェネレーター
- ストーリーとプルリクエストに不具合を自動バインドするトレースマトリックス
- タイムボックススロットル（X分またはYイベント後にカオスを止める）
- 合格率と変更されたコード行数を比較するトレンドガジェット
長所
- すでにJiraに住んでいるチームのためのゼロ・コンテキスト・スイッチ
- 既存のスクリプトから新しいスイートを数秒で作成する一括クローニング
- カスタムフィールドは、実行ごとにメモリスパイク、CPU負荷、クラッシュハッシュを追跡します。
- スマート・タグ・フィルターにより、レポート用のダム・フローとスマート・カオス・フローを分離
- REST APIは、結果をGrafanaまたはDataDogダッシュボードにプッシュします。
短所
- Jiraの要件は、スタンドアロンのユースケースがないことを意味する。
- ランダム・アクション・ジェネレーターの上限は、スタンダード・ティアでは2Kイベント。
- 複数のプロジェクトがカオステンプレートを共有する場合の複雑な権限設定
価格
Zephyr ScaleはJira Marketplaceアドオンです：
- スタンダード - 100ユーザーまで1ユーザー/月10ドル（年間課金
- プレミアム - 月額7ドルからのスライド制、10Kイベント・カオス・キャップのアンロック、SAML SSO
- 無制限のイベントと年中無休のサポートが受けられるエンタープライズ価格（要リクエスト）。
6.プラクティテスト
PractiTest は、スクリプト化されたカバレッジとオンザフライのアドホックテストをミックスし、"これは爆発するかもしれない "という直感が働いたときにいつでもモンキーランを実行できるようにする。このプラットフォームは、クラッシュをクリティカルな問題または「ノイズ」としてラベル付けし、Jiraを混乱させる前に偽陽性をフィルタリングする。結果は？クリーンなダッシュボードと、それを実際に読む開発者。
主な特徴
- テストサイクル内でワンタップでアドホックカオスを起動
- 偽陽性の可能性が高いクラッシュを自動的にフラグ付けするスマートフィルター
- クリティカルな問題とコミットIDをリンクする根本原因探索ツール
- ウェブ＋モバイル・スイート全体のトレンドに関するプロジェクト横断的な分析
- Power BIとLookerにデータをプッシュするネイティブBI統合
長所
- 洗練されたUI-新人テスターは数分で 生産的になる
- 再利用可能なテストコンポーネントでコピーペーストのオーバーヘッドを削減
- ホットフェイルのためのリアルタイムJira、Azure DevOps、Slack同期
- 合格率対アドホック・カオス・バーストを示すきめ細かいダッシュボード
- 厳格なコンプライアンスチーム向けのSOC2-Type IIクラウドホスティング
短所
- エアギャップ組織にはオンプレミオプションはない
- モンキー・イベント・キャップ（1回につき2K）（プロフェッショナル・レベル
- カスタムフィールドはEnterpriseでない限り20個まで
価格
- プロフェッショナル：1ユーザーあたり月額29ドル（年間）、カオスイベントの上限は2Kまで
- エンタープライズ：カスタム見積もり、無制限イベント、SSO、プレミアムサポート。
カオス・モンキー・スタックの正しい選び方
- 統合の深さ - そのツールは、あなたのソフトウェア開発パイプラインにエンドツーエンドでプラグインされていますか？GitHub/GitLabのネイティブアクション、チケット同期、アラートウェブフックをチェックし、カオスが横で生きるのではなく、開発プロセスにフィットするようにしましょう。
- イベント数 - 大きな「バナナ爆弾」≠より良い。演出を溶かすことなく、現実のトラフィックを模倣するために必要なランダムヒットの数（1Kか10Kか）を計る。
- 初期段階のカバレッジ - Aグレードのスタックでは、機能ブランチにランダムな嵐を放ち、雪だるま式にバグが増殖する前にバグを捕捉することができる。
- テスト結果分析 - ヒートマップ、時系列クラッシュグ ラフ、生のノイズを意思決定の燃料に変えるドリルダウンを探す。洞察がない＝価値がない。
- QAチームのスキル - ポイント・アンド・クリックのテスト手法が好きなスタッフなら、洗練されたUIを選ぶこと。スクリプト・ハッカーが多い？APIファーストのプラットフォームを選ぼう。
- ドメイン知識のフック - 銀行アプリ？医療機器？規制のエッジケースや特殊なテスト方法を尊重するカオスフィルターが必要だ。
Testomat.ioがトップである理由
Testomat.ioは、ネイティブのCIフック、10Kイベントのカオスバースト、ブランチレベルの実行、そして猿の騒動を鮮明なヒートマップに変えるダッシュボードなど、あらゆるチェックボックスに釘付けになる。初心者に優しく、かつAPIが豊富なので、手動テスターもスクリプトニンジャもくつろぐことができ、インサイトを犠牲にすることなく火をつけて忘れるようなカオスを求めるチームにとって、間違いなくNo.1の選択肢となる。
結論
カオスに対応できるQAは、「なぜ午前2時にクラッシュしたのか」という瞬間を削減し、リリースを円滑に保ちます。これらのモンキーテスト管理ツールを立ち上げるか、無料のTestomat.ioプレイグラウンドを立ち上げて、ユーザーが不具合を目にする前にサルを放しましょう。
よくあるご質問
モンキーテストとは何か？スクリプトがランダムな入力を発し、予測不可能なユーザー行動を模倣し、何が爆発するかを見るという、ルール無用の叩き台だ。
ソフトウェアテストにおけるモンキーテストとは何か？
その全容は、華麗なるモンキー・テストの入門書に掲載されてい る。歴史、セットアップのヒント、サンプル・コマンドについては、そちらを参照されたい。
モンキーテストとゴリラテストの違いは？
モンキー＝アプリ全体に広く散布されるカオス、ゴリラ＝1つの機能をレーザーフォーカスで叩く。モンキーテストの種類」を考えてみよう。
モンキーツールはモバイルテストにどう役立つのか？
タッチスワイプやセンサーのシェイクで携帯電話のビルドを叩き、あらゆるランダムなイベントを記録し、ユーザーが1つ星のレビューを残す前にアプリケーションのクラッシュにフラグを立てる。
最高のモンキーテストツールとは？
Testomat.ioは、CIパイプラインの中でカオスランを実行し、失敗をコミットにマップし、あなたの内なる霊長類を解き放つための無料のプレイグラウンドを同梱している。
