Языковая модель может уверенно сослаться на несуществующую статью или придумать деталь события. Такие ошибки называют галлюцинациями. RAG снижает этот риск, потому что перед ответом даёт модели материалы из выбранной базы.
RAG расшифровывается как Retrieval-Augmented Generation. Система ищет подходящие фрагменты документов, добавляет их в запрос и просит модель отвечать по найденному тексту.
Как устроен запрос
- Система преобразует вопрос в вектор.
- Поиск находит близкие по смыслу фрагменты в индексе.
- Модель получает вопрос и найденные материалы.
- Ответ содержит ссылки на исходные фрагменты.
Например, обычная модель может придумать детали битвы при Каррах. RAG-система с исторической базой найдёт сведения о Крассе, Сурене и поражении римлян, а затем сформирует ответ по этим источникам.
Главное преимущество здесь не уверенный тон, а возможность проверки. Пользователь открывает цитируемый фрагмент и видит, подтверждает ли он вывод.
Где применяют RAG
- в поддержке клиентов для ответов по инструкциям и прошлым обращениям;
- в юридической работе для поиска по документам и нормативным актам;
- в медицине для работы с разрешёнными клиническими материалами;
- во внутренних базах знаний компании;
- в исследовании больших архивов.
RAG не гарантирует правильный ответ. Поиск может выбрать неподходящий фрагмент, а модель может неверно его пересказать. Поэтому нужно отдельно оценивать качество поиска, полноту ответа и точность ссылок.
Что понадобится для своей системы
- подготовленная база документов;
- правила доступа к данным;
- модель эмбеддингов и поисковый индекс;
- языковая модель;
- тестовый набор реальных вопросов;
- интерфейс для просмотра источников.
Начинать лучше с небольшой базы и конкретного сценария. Так проще измерить качество и понять, где ошибается поиск.
