Как устроены большие языковые модели: простое объяснение

ИИ-ассистент пишет на десятке языков, составляет код и объясняет квантовую физику пятикласснику. Кажется, что внутри сидит некий разум. На самом деле внутри — большая языковая модель: система, обученная на гигантском количестве текста. В этом курсе мы разберём, как она устроена, — без единой формулы, на житейских аналогиях. Такое понимание сэкономит вам часы недоумения: станет ясно, почему ассистент силён именно в тексте и почему он ошибается так, а не иначе.

Как модель училась: миллиарды страниц и одна задача

Представьте человека, который прочитал целую библиотеку — от энциклопедий до форумов сантехников, — но не для того, чтобы запомнить тексты, а чтобы ухватить закономерности языка. На обучении модель триллионы раз решала одну и ту же задачу: ей показывали начало предложения, продолжение прятали, а она пыталась угадать следующее слово. Угадала неточно — внутренние «ручки настройки» чуть поворачиваются. После миллиардов таких попыток у модели появляется нечто вроде интуиции: как склонять слова, как строить аргумент, чем отличается инструкция от стихов.

Из этой механики следуют два важных факта:

• Модель не хранит прочитанное. Она хранит навык порождать похожий текст — как музыкант, который годами играл гаммы, а не переслушивал записи.
• У знаний есть дата среза. Обучение завершилось в определённый день, и всё, что случилось позже, модель не видела. Это как однокурсник, уехавший в экспедицию без интернета: основы с ним обсудить можно, вчерашние новости — нет.

Токены: как модель видит текст

Мы читаем буквами и словами, а модель — токенами. Токен — это кусочек текста: частое слово целиком, редкое — по частям.

Отсюда неожиданные следствия. Модели бывает трудно сосчитать буквы в слове: она видит не буквы, а куски. Точно перемножить длинные числа «в уме» ей мешает то, что число разрезано на части — как если бы вы считали столбиком на разорванном листе. Токенами же измеряются лимиты и стоимость: длинный запрос «дороже» короткого.

«Знает» много — но это не база данных

Ключевое недоразумение о языковых моделях: они не ищут ответ в хранилище документов. Модель отвечает «по памяти» — как человек, пересказывающий прочитанное без конспекта. Про популярное (строение атома, знаменитые цитаты) память крепкая: об этом написано миллионы раз. Про редкое (местный норматив, биографию малоизвестного специалиста) — размытая, и пробелы «дорисовываются» правдоподобными деталями. У людей это называется ошибкой памяти, у моделей — галлюцинацией.

Где всё это хранится? В параметрах — миллиардах чисел-«ручек», повернувшихся во время обучения. Правильная аналогия — не архив с папками, а опыт и интуиция опытного специалиста. Поэтому из модели нельзя «удалить» один конкретный факт — навык переучивают целиком.

Контекстное окно: рабочая память ассистента

Контекстное окно — это объём текста, который модель одновременно «держит перед глазами»: ваш вопрос, весь диалог, приложенные файлы. Представьте письменный стол: на нём умещается столько бумаг, сколько умещается. Что упало со стола — того для модели больше не существует.

Практические следствия:

• В очень длинном диалоге начало «уходит со стола» — ассистент может забыть, о чём вы договорились час назад.
• Новый чат — чистый лист: предыдущие разговоры модель не помнит.
• Большой файл может не поместиться целиком — приходится делить на части и обрабатывать по кускам.

Почему ассистент вежлив: оценки людей

Если бы обучение закончилось на предсказании слов, мы получили бы «эрудита-попугая»: он умело продолжил бы любой текст, включая бессвязный или вредный. Ассистентом модель делает второй этап — дообучение на человеческих оценках. Людям-разметчикам показывали пары ответов на один вопрос, и они отмечали, какой ответ полезнее, точнее и корректнее. Модель училась приближаться к тем ответам, которые нравятся людям, — миллионы раз подряд.

Поэтому ассистент уточняет задачу, предлагает варианты и умеет сказать «не знаю». У медали есть и обратная сторона: модель, приученная нравиться, может поддакивать и соглашаться с вашей ошибкой. Вежливость — не характер, а результат обучения, и доверие её не заменяет.

Ключевые выводы

• Модель обучена предсказывать следующий фрагмент текста; из этого рождаются и эрудиция, и галлюцинации.
• Текст модель видит токенами — отсюда странности с подсчётом букв, числами и очень длинными словами.
• Модель отвечает «по памяти», а не из базы данных; редкие факты она дорисовывает правдоподобно.
• Контекстное окно — «рабочий стол»: длинный диалог стирает начало, новый чат начинает с нуля.
• Вежливость и полезность — результат обучения на оценках людей, а не гарантия правильности.

Что дальше

Раз модель отвечает по памяти и иногда дорисовывает пробелы, следующим шагом пройдите курс «Галлюцинации: почему ИИ ошибается и как проверять ответы» — там собраны приёмы, ловящие ошибки до того, как они попадут в вашу работу. А туториал «Как выбрать модель под задачу» покажет, чем различаются модели и когда достаточно быстрой, а когда нужна мощная.