Django×Pythonで実践するA/Bテスト検証　～p値だけに頼らない意思決定の考え方～

皆さん、こんにちは。
プラットフォーム事業部のOです。
今回は「Django×Pythonで実践するA/Bテスト検証」について、
p値の確認から意思決定までの実務フローに沿って解説します。

この記事は以下の方を対象としています。

★5 Djangoの開発経験が3年以上。
★4 Djangoの開発経験が1年以上。
★3 Webサイト開発経験あり。これからDjangoを学習します。
★2 Python 初級者。簡単なプログラムコードが書けます。
★1 プログラミング未経験。

はじめに

本記事では、DjangoとPythonを使ったA/Bテストとp値の実務活用について解説します。
単なる統計の説明ではなく、現場で実際にどう使うか、どのように判断するかに焦点を当てています。
実務では「数字が出たからOK」ではなく、その数字の意味を理解し、最終的な意思決定につなげる必要があります。
そのため、本記事ではコード・データ・解釈・判断まで一貫して説明します。

DjangoでのA/Bテストの実装背景

DjangoでWebサービスを運用していると、UI改善や導線改善の効果検証が必要になります。
多くの場合、改善は小さな変更であり、その効果は直感だけでは判断できません。
そのため、ユーザーをランダムに分けて結果を比較するA/Bテストが用いられます。
このとき重要になるのが「差があるかどうか」ではなく「その差に意味があるか」です。

モデル設計とデータ基盤

class Conversion(models.Model):
    pattern = models.CharField(max_length=1)
    is_converted = models.BooleanField()
    created_at = models.DateTimeField(auto_now_add=True)

このようなモデルを用意することで、どのパターンでどの結果が出たかを正確に記録できます。
データが正しく蓄積されることが、分析結果の信頼性に影響します。

A/B振り分けロジック

以下は、A/Bをランダムに振り分ける処理の簡単な例です。

import random
if random.random() < 0.5:
    pattern = "A"
else:
    pattern = "B"

ランダム性が担保されていることが統計的検定の前提となります。

データ取得と前処理

from app.models import Conversion
A = Conversion.objects.filter(pattern="A").values_list("is_converted", flat=True)
B = Conversion.objects.filter(pattern="B").values_list("is_converted", flat=True)

この形式にすることで、そのままNumPy配列に変換できます。
データの前処理は分析の中でも非常に重要であり、不備があると結果が歪む可能性があります。

実験結果の確認

A：12.0%（120/1,000件）
B：13.1%（131/1,000件）

差分：+1.1ポイント

一見するとBの方が優れているように見えますが、偶然の可能性も否定できません。

Pythonでの統計検定

from statsmodels.stats.proportion import proportions_ztest
conversions = [131, 120]
samples = [1000, 1000]

z_stat, p = proportions_ztest(
conversions,
samples)
 
print(p)

このコードによってp値を算出できます。
Pythonを使うことで、統計検定をプログラム上で実行できます。

p値の意味

p値は「差がないと仮定したときに、今回観測された差以上に極端な結果が得られる確率」を示します。
例えば、一般的な例としてp=0.02であれば、AとBに実際は差がないにもかかわらず、今回と同程度以上の差が偶然観測される確率は2%であることを意味します。
一般的には、有意水準を5%（0.05）に設定し、p値が0.05未満であれば「統計的に有意な差がある」と判断します。今回のA/Bテストでは、この基準を用いて、AとBに差がないと仮定した場合に、観測された差がどの程度起こりにくいかを評価できます。

実務でありがちな誤解

p値が小さい＝大きな効果がある、ではありません。
サンプルサイズが十分に大きければ、ごく小さな差でも有意になります。
逆にサンプルが少ない場合、本当は差があっても検出できないことがあります。
そのため、p値だけに依存するのは危険だと考えます。

分布と信頼区間の重要性

実務では平均だけでなく、データ全体の分布を見ることが重要です。
また信頼区間を確認することで、結果の不確実性を把握できます。
これにより、「どの程度信頼できる結果なのか」を判断できます。
この視点は、より高度な意思決定には欠かせません。

Djangoエンジニアとしての判断

• システム負荷やパフォーマンス
• 実装コストと保守性
• UX改善のインパクト
• ビジネス的な価値

これらを総合的に見て判断する必要があります。
統計だけで、プロダクトとしての適切な判断を行うことはできません。

ビジネスインパクトについての考え方

今回の+1.1ポイントの差は一見小さく見えます。
しかし、ユーザー数が多い場合、その影響は非常に大きくなる可能性があります。
例えば、月5万ユーザーに対して1.1ポイントの差がそのまま維持された場合、単純計算では約550件の差になります。
このように、数値は必ずビジネスに置き換えて評価します。

最終判断のプロセス

最終的には、p値だけではなく複数の観点から判断します。
統計的有意性、効果量、コスト、ビジネス価値をバランス良く評価します。
この「総合判断」が実務において重要だと考えます。

まとめ

A/Bテストでは、適切なデータ収集とランダムな振り分けを行ったうえで、データの性質に合った統計手法を選択することが重要です。今回のようなコンバージョン率（CVR）の比較では、二値データを扱うため、比率検定を用いて統計的有意性を確認する方法が適しています。

また、検定結果から得られるp値は意思決定を支援する重要な指標ですが、それだけで施策の良し悪しを判断することはできません。実務では、効果量や信頼区間、実装コスト、システムへの影響、さらにはビジネスインパクトなども含めて総合的に評価することが求められます。

DjangoとPythonを活用することで、A/Bテストの実施からデータ分析、結果の検証までを効率的に行うことができます。重要なのは数値そのものではなく、その結果をどのように解釈し、サービス改善やビジネス上の意思決定につなげるかです。