Как версионировать запросы к модели?

Question

Никита Вихров · Answer

## Как версионировать запросы к модели и не потерять результат

Запросы к модели — такой же код. Если не версионировать, невозможно понять,
почему качество изменилось и когда это произошло.

## Что хранить

Минимально — три вещи:
1. Текст системной инструкции.
2. Версию модели.
3. Параметры генерации (температура, максимум токенов и другие).

## Пример структуры

```python
from dataclasses import dataclass

@dataclass
class PromptVersion:
    version: str
    model: str
    system: str
    temperature: float
    max_tokens: int

PROMPT_V1 = PromptVersion(
    version="1.0.0",
    model="gpt-4.1",
    system="Ты помощник службы поддержки. Отвечай кратко и по делу.",
    temperature=0.3,
    max_tokens=512
)

PROMPT_V2 = PromptVersion(
    version="1.1.0",
    model="gpt-4.1",
    system="Ты помощник службы поддержки. Отвечай кратко и по делу. Не давай советов вне темы поддержки.",
    temperature=0.2,
    max_tokens=512
)

ACTIVE_PROMPT = PROMPT_V2
```

## Пример вызова с привязкой версии

```python
from openai import OpenAI

client = OpenAI()

def ask(user_text: str, prompt: PromptVersion) -> str:
    resp = client.chat.completions.create(
        model=prompt.model,
        temperature=prompt.temperature,
        max_tokens=prompt.max_tokens,
        messages=[
            {"role": "system", "content": prompt.system},
            {"role": "user", "content": user_text}
        ]
    )
    return resp.choices[0].message.content

ответ = ask("Как сбросить пароль?", ACTIVE_PROMPT)
print(ответ)
```

## Правила

- Храните файл версий в репозитории рядом с кодом.
- Никогда не редактируйте уже используемую версию — только создавайте новую.
- При изменении инструкции или модели — всегда поднимайте версию.
- Логируйте версию вместе с каждым ответом, чтобы знать, что именно работало.

Как версионировать запросы к модели?

Ответы

Как версионировать запросы к модели и не потерять результат

Что хранить

Пример структуры

Пример вызова с привязкой версии

Правила

Каталог