新製品、新サービス、新機能、より良くする（成長、収益、経験など）ための変更、、、これら全ての発端は、アイデア、仮説、仮定から始まります。従来のトラディショナルなアプローチでは、ROI分析や投資分析に基づいて判断を行い、そのプロセスの中でさらに仮定を作っていました。

実験計画法とは、このような重要なアイデア・仮説・仮定をできるだけ早く検証しようというアプローチです。これらの中には、スプリットテストのように、現実の世界で証明されるまで「オープン」にしておきたい実験もあります。

つまり、実験計画法とは、貴重な学びを得るために、アイデア、仮説、仮定を、具体的に定義された一連の実験に変換し、それを実施するためのプラクティスです。

• 実験計画法は、解決策を進め、迅速に学習するためのフェイルセーフな方法です。
• 実験計画法は、製品を進化させるための迅速な方法を提供します。
• 実験計画法は、既存製品だけでなく、新製品においてもイノベーションを促進するのに役立ちます。
• 実験計画法では、小さな賭けをすることで、自律的なチームがリーダーシップの意図を実現可能にします。
• 実験計画法は、「作る・測る・学ぶ」のループを回すために必要不可欠なものです。

各項目（アイデア、仮説、仮定）に対して、複数の実験が必要な場合があります。実験とは、通常、製品やサービスのほんの一部を変更し、この変更が私たちの目標（ターゲットとする成果）にどのように影響するかを理解するためのものです。実験の回数は、何を学びたいのか、どの程度の特徴的な変化を導入するのかによって、実際に定義されます。

実験後に振り返ると、何がうまくいって、何がうまくいかなかったのかがわかるようにしたいはずです。実験の分析は、基本的に、構築する製品・サービスの方向性を決定するために使用されます。つまり言い替えると、実験というのは、方向転換をするための要素の一つなのです。

この分析にはデータが必要で、それは定性的なものでも定量的なものでもどちらでも可能です。どのような分析でも、データの質は、結論の質に直結するため重要であり、この質は実験の計画に左右されます。実験を計画する際には、成果を測定する方法、データを収集する方法（測定メソッド）も検討する必要があります。

実験ドキュメントの形式はそれほど重要ではありませんし、キャンバスについては様々な選択肢があります。重要なのは内容であり、どれだけうまく実験を設計できたかです。というのもは、結果が曖昧で判断できないような機会が多いからです。

良い実験には、次のような要素が最低限必要です:

• 仮説: 文章として明文化されている（仮定を表現していることが多い）
• 現在の状況: 現在の状況はどうなっているか（できるだけ測定可能な範囲で）?
• 目標の状況: 何を達成しようとしているのか（できるだけ測定可能な範囲で）?
• 障害: 目標の達成を阻むものは何か?何が干渉やノイズの原因になりうるか
• 合格条件: ポジティブな合格はどのように定義すればよいか？目標条件が常に達成されるとは限りません。では、実験が仮説を立証していると結論づけるのに十分な、つまり肯定的な結果を伴う合格を、どのように考えればよいのでしょうか？
• 計測: 進捗をどのように計測するか?
• 学び: 常に成果と学びを把握し、より高次の実験を目指すことが理想

そして、その結果を分析するために、実験を実施し、追跡し、測定します。理想を言えば、実験は成功か失敗かの二者択一になって欲しいですが、多くの場合、統計的手法を使ってデータを分析し、実験によってもたらされた変化と目標とする成果に対する変化との間に有意な相関関係があるかどうかを調べる必要があります。

NOTE: 成功した実験とは、仮定が正しいことを証明した実験ではありません。成功した実験とは、統計的に有意な結論を示す有効で信頼できるデータを得られた実験のことです。

なぜ、どうやって、他のプラクティスと組み合わせるか?

実験計画も実行しなければ意味がありません、これが他のプラクティスと組み合わせる最大の理由です。

実験には優先順位が必要であり、時間内にできることは限られています。Effort-ImpactあるいはHow-Now-Wowといった優先順位付けのマトリクスを組み合わせることで、多くのことが実施可能になります。

実験は、まずラピッドプロトタイピングやプロトタイピング、ユーザーリサーチとテストを通じて行われます。この組み合わせにより、一行でもコードを書けば、すぐに学びが得られるようになります。

実験は、本番環境でも行うことがあります。実際、本番環境でのテストは、実際のデータや顧客の行動によって裏付けられているため、アイデアや仮説、仮定を検証するための究極の方法と言えます。スプリットテストの実践は、非常に価値のある組み合わせです。

多くの場合、一連の実験がラピッドプロトタイピング/ユーザーリサーチを含むプロトタイピングの順序で行われるでしょう。そして、そこで「成功した」実験のサブセットは、スプリットテストを通すために本番環境へ持ち込むことになります。