МГУ предложил оценивать медицинский ИИ с учётом разногласий между врачами

Исследователи Центра искусственного интеллекта МГУ имени М. В. Ломоносова совместно с коллегами из AIRI и Национального медицинского исследовательского центра имени В. А. Алмазова разработали метод оценки диагностических ответов искусственного интеллекта, учитывающий разногласия между врачами. Подход позволяет сопоставлять предположения языковых моделей с заключениями нескольких специалистов и оценивать согласованность этих выводов с учётом различий во мнениях экспертов. Результаты исследования опубликованы в журнале Scientific Reports в 2026 году.

Оценивать диагностические системы ИИ непросто: по одному и тому же описанию симптомов врачи могут предложить разные диагнозы. Если принять заключение одного специалиста за единственный эталон, результат проверки модели будет зависеть от выбора эксперта. Дополнительную сложность создают различия в формулировках: диагностические предположения, совпадающие по смыслу, могут быть выражены разными словами.

Авторы предложили два относительных показателя, которые сопоставляют согласованность ответов языковой модели с заключениями врачей и степень согласия самих специалистов между собой. Кроме того, исследователи разработали алгоритм сопоставления диагностических формулировок. Он объединяет оценки языковых моделей, сведения из Международной классификации болезней и показатели текстового сходства, чтобы определять, какие диагнозы можно считать совпадающими по смыслу.

Метод проверили на 360 русскоязычных диалогах, имитирующих сбор медицинского анамнеза. В половине случаев беседы проводили медицинские специалисты, в остальных актёры изображали пациентов и общались с языковой моделью. Каждый диалог независимо оценивали семь врачей-ординаторов. Полученные заключения сравнили с диагностическими предположениями восьми языковых моделей.

В эксперименте согласованность ряда моделей с заключениями врачей оказалась сопоставима с согласованностью самих специалистов между собой. При этом разброс показателей согласованности между врачами был выше, чем между большинством моделей и экспертами. Результаты демонстрируют, что оценка медицинского ИИ по единственному экспертному заключению может не отражать всей картины. Вместе с тем совпадение мнений модели и врачей не доказывает правильность диагноза и не подтверждает безопасность применения системы в клинической практике.

«Если врачи расходятся во мнениях, оценка ИИ по ответу одного специалиста может дать неполную картину. Мы предлагаем учитывать и ответы модели, и степень согласия между самими врачами. Это помогает понять, насколько выводы системы соответствуют экспертным оценкам. Однако такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинической практике», — отметил старший научный сотрудник Центра ИИ МГУ Пётр Анохин.

Разработанный подход может применяться при создании и сравнении систем поддержки врачебных решений, которые анализируют текстовые диалоги и предлагают возможные диагнозы. Пока метод проверен на смоделированных русскоязычных беседах. Для оценки его применимости к другим языкам, видам медицинских данных и реальным клиническим сценариям необходимы дополнительные исследования.

Таким образом, исследователи предлагают изменить сам принцип проверки медицинского ИИ: оценивать его не только по совпадению с экспертным ответом, но и с учётом естественных разногласий между специалистами. Однако возникает принципиальный вопрос: если даже врачи не всегда согласны друг с другом, какой критерий должен определять, что диагностическая система действительно помогает лечить пациентов, а не просто убедительно воспроизводит мнения экспертов?