これは、ある製品の異なる二つのバージョンを一組にして、その性能を比較・評価するためのランダムな実験です。どちらの製品バージョンも本番環境（ライブ）で利用可能で、異なるユーザーにランダムに提供されます。トラフィック、相互作用、滞在時間などの指標に関するデータが収集され、ユーザーの行動の変化に基づいて2つの異なるバージョンの有効性を判断します。このテストは、あなたがターゲットとしている成果に関して、どちらのバージョンがより良いパフォーマンスをしているかを判断します。

シンプルに適用でき、素早く実行可能であり、多くの場合、2つのバージョン間のコンバージョン/アクティビティデータを比較するだけで結論を出すことができます。2つのバージョンに大きな違いがあってならないこと、さらに製品の大幅な変更には多数のA/Bテストを実行する必要があるかもしれないといった制限があります。 これは、The Lean Startup by Eric Ries.にあるように、"エンジンのチューニング"を可能にするプラクティスの一つです。 製品のデザイン、機能、動作などに関する重要な意思決定のために客観的な基準を提供するものです。製品の性能、ユーザーエクスペリエンス、製品が組織にもたらす結果を向上させるための方法として使われるものです。

常にペアで実行する限り、アプリケーションや製品の2つ以上の異なるバージョンを比較することができます。ペアは、2つのバージョン間で異なる1つの特性を除いて、同一である必要があります。 以下に関して、チームは注意する必要があります：

• ユーザーを差別化すること、例えば新規ユーザーとリピーター（コホート）。
• 結果を比較すること - 結果は必ずしもバージョン間の大きな差を指し示すものではなく、もう少し実行する必要がある場合や、違ったペアの組み合わせを試す必要がある場合もあります。
• 複数の要因が時間によって変化し、結果に影響を与える可能性があるため、常に同時にテストを実行すること。