LLM-GUIDELLM × llama.cpp Конфигуратор …
Главная / LLM Handbook / Что такое LLM

Что такое LLM

Коротко: LLM — нейросеть-трансформер с миллиардами параметров, которая по началу текста предсказывает следующий токен. Вся «умность» чата с моделью — повторение этого предсказания десятки раз подряд.

Как это работает

Цикл одного шага:

текст → токены (числа) → векторные представления → слои трансформера
      → логиты по всему словарю → вероятности → выбор одного токена → повторить

Ключевые факты, из которых вытекает всё остальное:

  1. Модель видит только токены — фрагменты слов, целые слова или символы. См. Токенизацию.
  2. Каждый следующий токен предсказывается из всех предыдущих (авторегрессия). Один прогон = один токен; ответ на 500 токенов = 500 прогонов. См. Инференс.
  3. Веса (параметры) — фиксированы на этапе инференса. «Знания» модели записаны в миллиардах чисел, полученных при обучении; в момент ответа модель ничего не запоминает и не обновляет.
  4. Вероятность, не правило. Модель не «знает» ответ — она выбирает правдоподобное продолжение. Отсюда и галлюцинации: правдоподобное ≠ истинное.

Почему это важно на практике

  • Длина контекста — ресурс. Промпт и ответ вместе должны влезть в контекстное окно; всё, что не влезло, модель не видит вовсе.
  • Параметр за параметром — память. Размер модели в байтах и скорость генерации напрямую определяются числом параметров и точностью их хранения (квантование).
  • Случайность управляема. Один и тот же промпт даёт разные ответы из-за сэмплирования; с фиксированным seed ответ воспроизводим.

Связь с llama.cpp

llama.cpp — движок, который выполняет этот цикл на вашем железе: грузит веса в GGUF, считает слои на CPU/GPU и отдаёт токены через CLI или HTTP. Весь LLM Handbook объясняет «что происходит», llama.cpp Handbook — «как это настроить».

Что читать дальше

Рекомендуемый маршрут: Токенизация → Transformer → Инференс → KV-кэш. Параллельно можно практиковаться по туториалу «Запуск первой модели».

Живые вопросы — ассистенту
Ответы по статьям справочника с цитатами ID источников; моделирование конфигураций под ваше железо — детерминированным калькулятором.
🤖 Спросить ассистента 🧮 Подобрать конфигурацию