Как сравнивать два варианта запроса на живом трафике

import hashlib
from openai import OpenAI

client = OpenAI()

PROMPT_A = "Ты помощник службы поддержки. Отвечай кратко."
PROMPT_B = "Ты помощник службы поддержки. Отвечай кратко. Если не знаешь ответа — скажи об этом прямо."

def get_variant(user_id: str) -> str:
    """Стабильно делим пользователей на две группы по хешу ID."""
    digest = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
    return "B" if digest % 2 == 0 else "A"

def ask(user_id: str, user_text: str) -> dict:
    вариант = get_variant(user_id)
    system = PROMPT_A if вариант == "A" else PROMPT_B

    resp = client.chat.completions.create(
        model="gpt-4.1",
        temperature=0.3,
        max_tokens=512,
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": user_text}
        ]
    )

    ответ = resp.choices[0].message.content

    # Логируем для последующего анализа
    log = {
        "user_id": user_id,
        "variant": вариант,
        "user_text": user_text,
        "answer": ответ
    }

    return {"answer": ответ, "variant": вариант, "log": log}

from collections import defaultdict

def analyze_results(logs: list[dict]) -> dict:
    """Подсчитывает среднюю оценку и число запросов по вариантам."""
    группы = defaultdict(lambda: {"count": 0, "score_sum": 0})

    for запись in logs:
        вариант = запись["variant"]
        группы[вариант]["count"] += 1
        # score берётся из базы — оценка пользователя (1–5)
        группы[вариант]["score_sum"] += запись.get("user_score", 0)

    итог = {}
    for вариант, данные in группы.items():
        count = данные["count"]
        итог[вариант] = {
            "requests": count,
            "avg_score": данные["score_sum"] / count if count > 0 else None
        }

    return итог