from anthropic import Anthropic
import json

client = Anthropic()


def evaluate_context_precision(question: str, retrieved_docs: list) -> float:
    """Какая доля найденных документов реально полезна для ответа?"""

    docs_text = "\n\n".join([f"[{i+1}] {d['content']}" for i, d in enumerate(retrieved_docs)])

    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=512,
        messages=[{
            "role": "user",
            "content": f"""Вопрос: {question}

Найденные документы:
{docs_text}

Для каждого документа оцени: помогает ли он ответить на вопрос? (true/false)
Отвечай только JSON-массивом булевых значений, например: [true, false, true]"""
        }]
    )

    relevance = json.loads(response.content[0].text)
    return sum(relevance) / len(relevance)


def evaluate_answer_faithfulness(question: str, context: str, answer: str) -> float:
    """Опирается ли ответ на контекст или модель выдумывает?"""

    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=512,
        messages=[{
            "role": "user",
            "content": f"""Вопрос: {question}

Контекст (документация):
{context}

Ответ системы:
{answer}

Оцени каждое утверждение в ответе: подтверждается ли оно контекстом?
Выведи JSON: {{"score": 0.0-1.0, "issues": ["список проблем если есть"]}}
1.0 — всё подтверждается, 0.0 — ответ полностью выдуман."""
        }]
    )

    result = json.loads(response.content[0].text)
    return result["score"]


def evaluate_context_recall(question: str, context: str, reference_answer: str) -> float:
    """Содержит ли найденный контекст информацию для правильного ответа?"""

    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=256,
        messages=[{
            "role": "user",
            "content": f"""Вопрос: {question}
Правильный ответ: {reference_answer}
Найденный контекст: {context}

Можно ли дать правильный ответ, опираясь только на найденный контекст?
Выведи JSON: {{"score": 0.0-1.0}}
1.0 — контекст полностью достаточен, 0.0 — нужной информации нет."""
        }]
    )

    result = json.loads(response.content[0].text)
    return result["score"]

# Структура тестового датасета
test_dataset = [
    {
        "question": "Как откатить миграцию базы данных?",
        "reference_answer": "Используй команду alembic downgrade -1 для отката на одну миграцию назад",
        "relevant_doc_ids": ["doc_42", "doc_17"]  # какие документы должны быть найдены
    },
    {
        "question": "Что значит статус 429?",
        "reference_answer": "429 Too Many Requests — превышен rate limit. Подожди минуту и повтори запрос.",
        "relevant_doc_ids": ["doc_8"]
    },
    # ... ещё 50-100 вопросов
]


def run_evaluation(rag_system, test_dataset: list) -> dict:
    """Прогоняет датасет и считает агрегированные метрики"""

    precision_scores = []
    recall_scores = []
    faithfulness_scores = []

    for test_case in test_dataset:
        question = test_case["question"]

        # Получаем ответ от RAG
        retrieved_docs, answer = rag_system.answer_with_docs(question)
        context = "\n".join([d["content"] for d in retrieved_docs])

        # Считаем метрики
        precision = evaluate_context_precision(question, retrieved_docs)
        recall = evaluate_context_recall(question, context, test_case["reference_answer"])
        faithfulness = evaluate_answer_faithfulness(question, context, answer)

        precision_scores.append(precision)
        recall_scores.append(recall)
        faithfulness_scores.append(faithfulness)

        print(f"Q: {question[:50]}...")
        print(f"  Precision: {precision:.2f} | Recall: {recall:.2f} | Faithfulness: {faithfulness:.2f}")

    return {
        "context_precision": sum(precision_scores) / len(precision_scores),
        "context_recall": sum(recall_scores) / len(recall_scores),
        "answer_faithfulness": sum(faithfulness_scores) / len(faithfulness_scores),
    }


results = run_evaluation(my_rag, test_dataset)
print(f"\n=== ИТОГ ===")
print(f"Context Precision:    {results['context_precision']:.2f}")
print(f"Context Recall:       {results['context_recall']:.2f}")
print(f"Answer Faithfulness:  {results['answer_faithfulness']:.2f}")

# .github/workflows/rag-eval.yml
- name: Evaluate RAG quality
  run: python evaluate_rag.py --dataset tests/rag_dataset.json --threshold 0.75

# Если метрики ниже порога — пайплайн падает
# Деплоим только когда качество подтверждено