От текста до токена —
шаг за шагом

Каждый токен превращается в вектор из ~1500-12000 чисел (зависит от модели) — координаты токена в «пространстве смыслов». Показать все числа бессмысленно, вот иллюстрация первых нескольких для токена «cat»:

К вектору также добавляется позиция токена в тексте — иначе «cat sat» и «sat cat» превратились бы в один и тот же набор векторов.

Механизм внимания решает, на какие другие токены «смотреть» при обработке текущего — токен видит только себя и то, что было раньше, никогда то, что будет позже. Нажмите на строку, чтобы увидеть, куда смотрит этот токен.

Промпт: «The cat sat on the mat because it was ___». Модель не выбирает один ответ — она считает вероятность для каждого токена в словаре. Вот правдоподобное распределение для top-15 кандидатов:

Распределение из шага 4, но алгоритмы ниже — настоящие: то же самое считает любой сервер, отвечающий за генерацию текста в реальной модели.

Выбранный на шаге 5 токен дописывается к тексту — и весь процесс (шаги 1-5) повторяется заново для следующей позиции, уже с новым токеном в конце. Так, токен за токеном, модель порождает весь ответ.

В чате с любой моделью ваше сообщение и её ответ считаются в тех же токенах, что и на шаге 1 — «входящие» (то, что вы отправили) и «исходящие» (то, что модель сгенерировала). Именно токены, а не количество сообщений, лежат в основе лимитов: у бесплатных и платных тарифов (например, у Claude) есть свой бюджет токенов на скользящее окно времени — исчерпали лимит, ждёте, пока окно обновится. Конкретные цифры у каждого провайдера свои и меняются, но механизм всегда этот.

Важный нюанс: при каждом новом сообщении модели заново отправляется вся история диалога целиком, а не только последняя фраза — вот как растёт счётчик на реальном коротком диалоге (числа посчитаны тем же токенизатором, что и на шаге 1):

У модели нет памяти между вызовами API. Каждый вызов — с чистого листа: ощущение «мы продолжаем разговор» создаётся только тем, что на шаге 7 показано выше — всю историю пересылают заново при каждом сообщении. Строго говоря, модель не «помнит» прошлое — она заново читает его целиком при каждом ответе.

Из этого следуют реальные ограничения — стоит различать три разных причины:

Итог для вас как для собеседника: ощущение одного непрерывного разговора — а с точки зрения модели в какой-то момент могло начаться «с середины», без части или всех более ранних деталей. Отсюда — забытые договорённости, повтор уже отвеченных вопросов, потеря тона или темы. Это не «модель поглупела» — это отсутствие того, что ей физически не передали в этом конкретном вызове.