Что такое top-p и top-k?

Question

Никита Вихров · Answer

## Что такое top-p и top-k

`top-p` и `top-k` — это параметры, которые управляют тем, из какого набора токенов модель выбирает следующий. Работают вместе с температурой.

**top-k**: модель рассматривает только `k` наиболее вероятных токенов и выбирает среди них.

```
top-k = 5 → модель выбирает из 5 самых вероятных вариантов
top-k = 50 → выбирает из 50 вариантов, больше разнообразия
```

**top-p** (nucleus sampling): модель выбирает минимальный набор токенов, чья суммарная вероятность ≥ p.

```
top-p = 0.9 → берём токены, пока их суммарная вероятность не достигнет 90%
```

Разница: `top-k` всегда фиксированное число вариантов. `top-p` — адаптивное: если модель уверена в ответе, набор будет маленьким; если нет — большим.

На практике большинство пользователей не трогает эти параметры — достаточно температуры. `top-p` и `top-k` нужны при тонкой настройке поведения модели в продуктах.

Если коротко: `top-p` и `top-k` ограничивают «словарь» модели при генерации каждого токена, делая ответы более или менее предсказуемыми.

Что такое top-p и top-k?

Ответы

Что такое top-p и top-k