В июне 2023 года нью-йоркский адвокат Стивен Шварц подал в федеральный суд иск против авиакомпании Avianca. К документу он приложил подборку из шести судебных прецедентов, которые подтверждали его позицию. Все шесть нашёл ChatGPT. Все шесть оказались выдуманными — названия дел, номера, цитаты, реквизиты. Шварц получил штраф $5 000 и дисциплинарное производство. Это первый громкий случай, но далеко не единственный. С тех пор по всему миру задокументировано более 120 аналогичных инцидентов. В России — как минимум три, о которых пишут открыто.
Что такое галлюцинации нейросети и почему они неизбежны
ChatGPT, GigaChat, YandexGPT, Claude, DeepSeek — все они работают по одному принципу: предсказывают следующее слово на основе предыдущих. Модель не «знает» постановлений Верховного Суда. Она знает, как обычно выглядит ссылка на постановление: год, номер, цитата в кавычках. И когда вы спрашиваете её о нужной норме, она генерирует правдоподобную форму ответа — не потому что лжёт, а потому что для неё это просто продолжение текста.
Это и называется галлюцинацией: ИИ выдаёт сфабрикованную информацию с тем же уровнем уверенности, что и правдивую. Никаких маркеров «я не уверен». Никакого «я этого не помню». Просто связный, профессионально звучащий ответ — который при проверке оказывается полным вымыслом.
Stanford RegLab в 2024 году провёл эксперимент: задал трём ведущим LLM (GPT-4, PaLM-2, Llama-2) 200 000 юридических вопросов. Результат: от 58 до 82% ответов содержали галлюцинации — либо вымышленные дела, либо неверное толкование реальных, либо ссылки на несуществующие нормы. Даже специализированные юридические инструменты на базе этих моделей (LexisNexis AI, Westlaw AI) показали 17–33% галлюцинаций.
Галлюцинация — не баг нейросети. Это её фундаментальное свойство. Любая модель, которая генерирует текст, будет генерировать правдоподобную ложь — вопрос только в частоте.
Российские кейсы: что уже произошло
В октябре 2024 года в арбитражном суде одного из регионов Поволжья представитель истца сослался на «Постановление Пленума Верховного Суда № 47 от 2019 года», которого не существует. Судья проверил — и ходатайство было отклонено с занесением в протокол. Юрист потом признался коллегам: использовал GigaChat для подготовки позиции, не перепроверил.
В декабре 2024 года в деле о взыскании задолженности по договору поставки представитель ответчика приложил к возражениям цитату из «Определения СКЭС ВС РФ от 15.03.2022 № 305-ЭС21-29384». Номер дела был корректен по формату, но при проверке через kad.arbitr.ru оказалось: такого определения нет, дело по этому номеру — о другом совершенно споре, никак не связанном с поставкой. ИИ скомпоновал реальный номер с вымышленным содержанием.
Третий случай — самый показательный. Юрист крупной московской компании подготовил с помощью ChatGPT правовое заключение для совета директоров. В заключении были ссылки на шесть постановлений Президиума ВАС РФ. Совет директоров принял решение на основании этого заключения — на десятки миллионов рублей. Через два месяца внешний аудит обнаружил: четыре из шести постановлений выдуманы. Решение пришлось пересматривать. Юрист уволен.
Почему универсальные нейросети не подходят для юриспруденции
1. Модель обучена на общем тексте, а не на базе судебных актов
ChatGPT «видел» миллиарды страниц интернета: статьи, комментарии, форумы, новости. Среди них — немного судебной практики, и то в пересказе. У модели нет прямого доступа к ГАС «Правосудие», kad.arbitr.ru или КонсультантПлюс. Когда вы спрашиваете о конкретном постановлении, она не идёт его искать — она его сочиняет.
2. У ИИ нет понимания «я не знаю»
Человек, не помнящий точную цитату, скажет «кажется», «примерно», «надо проверить». Языковая модель такого механизма не имеет. Любой ответ выдаётся с одинаковой степенью уверенности — правдивый, вымышленный, частично верный.
3. Модель устаревает мгновенно
Обучение GPT-4 заканчивалось в апреле 2023. Все постановления Пленума ВС РФ, изменения в ГК, новая редакция КАС, актуальная практика 2024–2026 годов — за пределами её знаний. И там, где она не знает, она додумывает.
4. Нет аудита и ответственности
Если ChatGPT соврал и вы на этом погорели — OpenAI напомнит, что в пользовательском соглашении написано: модель не предназначена для юридических консультаций. Никакой ответственности, никакой компенсации. Дисциплинарное взыскание получите вы.
Как должен работать ИИ для юриста
Существуют системы, в которых нейросеть не генерирует ссылки сама — а ищет их в реальной базе судебных актов и возвращает то, что нашла. Это называется RAG — Retrieval-Augmented Generation. Принцип:
- Юрист задаёт вопрос — например, «найди практику по ст. 395 ГК с учётом разъяснений Пленума».
- Система ищет в базе постановлений и определений — не по памяти модели, а по реальному индексу.
- Найденные акты передаются модели как контекст.
- Модель формулирует ответ — с цитатами строго из того, что ей дали.
- В ответе — кликабельные ссылки на первоисточник, который можно открыть и проверить.
В такой архитектуре галлюцинации сводятся к нулю на уровне ссылок: модель физически не может процитировать постановление, которого нет в базе. Если она его не находит — так и пишет: «по вашему запросу релевантной практики не найдено».
Именно так работает ИИ-помощник в LexBridge. Каждая ссылка в ответе ведёт на реальный судебный акт, который можно открыть в один клик. Юрист видит источник — и несёт ту же ответственность за его использование, что и при работе с КонсультантПлюс или Гарантом. Никаких вымышленных номеров. Никаких сфабрикованных цитат.
Чеклист: как защититься, если работаете с любой нейросетью
- Никогда не вставляйте ссылки от ИИ в документ без проверки. Открывайте каждую цитату в первоисточнике — КонсультантПлюс, Гарант, kad.arbitr.ru, sudrf.ru.
- Проверяйте номер дела по формату и по факту. Реальный номер арбитражного дела — «А40-12345/2024». ИИ часто выдумывает дела с корректным форматом, но несуществующим содержанием.
- Не доверяйте цитатам в кавычках. ИИ «цитирует» самым уверенным тоном, но текст может быть полностью сочинён.
- Спросите ту же модель дважды — в разных формулировках. Если ответы расходятся — галлюцинация почти гарантирована.
- Используйте ИИ для черновиков и идей, не для финальных документов. Структура, формулировки, аргументация — да. Конкретные ссылки — нет.
- Если работаете с серьёзной практикой — используйте инструменты с верифицируемыми источниками. Это сейчас единственный способ получить от ИИ пользу без риска.
Вывод
ChatGPT и его аналоги — великолепные инструменты для брейншторма, переписывания, перевода, работы с текстом. Но в юриспруденции, где цена ошибки — репутация, дисциплинарное взыскание или проигранное дело, — они опасны. Не потому что плохие. Потому что устроены не для этого.
Юристу нужен ИИ, который не выдумывает. Не тот, который выглядит уверенно, а тот, который при отсутствии ответа честно говорит «не нашёл» — и при наличии возвращает рабочую ссылку. Такие системы есть. Они не пишут романы — они работают как умный поиск с объяснениями. И именно это нужно юридической практике.