Главная / LLM Handbook / Что такое LLM
Что такое LLM
Коротко: LLM — нейросеть-трансформер с миллиардами параметров, которая по началу текста предсказывает следующий токен. Вся «умность» чата с моделью — повторение этого предсказания десятки раз подряд.
Как это работает
Цикл одного шага:
текст → токены (числа) → векторные представления → слои трансформера
→ логиты по всему словарю → вероятности → выбор одного токена → повторить
Ключевые факты, из которых вытекает всё остальное:
- Модель видит только токены — фрагменты слов, целые слова или символы. См. Токенизацию.
- Каждый следующий токен предсказывается из всех предыдущих (авторегрессия). Один прогон = один токен; ответ на 500 токенов = 500 прогонов. См. Инференс.
- Веса (параметры) — фиксированы на этапе инференса. «Знания» модели записаны в миллиардах чисел, полученных при обучении; в момент ответа модель ничего не запоминает и не обновляет.
- Вероятность, не правило. Модель не «знает» ответ — она выбирает правдоподобное продолжение. Отсюда и галлюцинации: правдоподобное ≠ истинное.
Почему это важно на практике
- Длина контекста — ресурс. Промпт и ответ вместе должны влезть в контекстное окно; всё, что не влезло, модель не видит вовсе.
- Параметр за параметром — память. Размер модели в байтах и скорость генерации напрямую определяются числом параметров и точностью их хранения (квантование).
- Случайность управляема. Один и тот же промпт даёт разные ответы из-за сэмплирования; с фиксированным seed ответ воспроизводим.
Связь с llama.cpp
llama.cpp — движок, который выполняет этот цикл на вашем железе: грузит веса в GGUF, считает слои на CPU/GPU и отдаёт токены через CLI или HTTP. Весь LLM Handbook объясняет «что происходит», llama.cpp Handbook — «как это настроить».
Что читать дальше
Рекомендуемый маршрут: Токенизация → Transformer → Инференс → KV-кэш. Параллельно можно практиковаться по туториалу «Запуск первой модели».
Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование
конфигураций под ваше железо — детерминированным калькулятором.