У научных публикаций появилась проблема, напоминающая спам: поток низкокачественных материалов, созданных с помощью искусственного интеллекта, становится всё труднее контролировать. И если раньше недобросовестным авторам приходилось тратить немало времени на подготовку поддельных исследований, то теперь значительную часть работы можно поручить языковой модели.
По одной из оценок, к 2025 году признаки влияния больших языковых моделей (LLM) обнаруживались в 57% научных статей — против 12% в 2023 году. Другое исследование показало, что более 12% рецензий на статьи для журнала Nature Communications в 2025 году могли быть полностью сгенерированы ИИ. При этом статистические признаки использования языковых моделей сами по себе не доказывают, что исследование сфабриковано или не имеет научной ценности. Проблема в другом: использование ИИ далеко не всегда раскрывается, а некоторые оценки указывают на появление сотен тысяч поддельных публикаций ежегодно.
«Под угрозой находится не только научная литература, но и наука в целом», — предупреждает Аманда Сулич, менеджер по обеспечению добросовестности исследований IEEE.
Однако одних статистических оценок недостаточно, чтобы понять масштаб угрозы. Насколько просто с помощью ИИ создать убедительную статью об исследованиях, которых в действительности не было? И способны ли издатели выявлять такие подделки, не перекладывая всю дополнительную работу на научных рецензентов?
Журналист Бенджамин Скас решил проверить это на практике. По аналогии с vibe coding — разработкой программ с помощью инструкций на естественном языке — он организовал эксперимент, который назвал vibe research: поручил ИИ сформулировать гипотезы, подготовить код и написать научную статью, стараясь свести собственное участие к минимуму.
К эксперименту присоединилась Дженни Махони, управляющий редактор междисциплинарного журнала открытого доступа IEEE Access. Редакция согласилась проверить, удастся ли провести созданную ИИ работу через процедуры контроля качества.
Эксперимент состоял из двух этапов. Сначала журналист попытался с помощью обычных бесплатных языковых моделей сфабриковать исследование. Затем он обратился к более сложной системе, которая не просто пишет текст, а самостоятельно планирует и выполняет вычислительные эксперименты.
Раунд 1. Как создать поддельное исследование
Чтобы условия были реалистичными, Скас использовал только доступные на тот момент бесплатные версии ChatGPT и Gemini. Он не мог вручную редактировать сгенерированный текст или обращаться к специалистам по составлению запросов для ИИ.
Тематику пришлось выбирать с учётом собственного образования: журналист остановился на оптических солитонах — световых импульсах, которые распространяются, практически не меняя своей формы. Этой области была посвящена его докторская работа почти двадцать лет назад.
Первая попытка оказалась неудачной. На просьбу написать оригинальную научную статью языковые модели выдавали слишком мало содержательного материала: без реальных экспериментов и результатов текст получался поверхностным и с трудом заполнял даже четыре страницы.
Тогда Скас изменил подход. Вместо одного большого запроса он стал поручать моделям подготовку отдельных частей статьи: аннотации, введения, описания методов и других разделов. Если одна модель отказывалась продолжать работу, журналист переключался на другую или просил описать следующий шаг в гипотетическом сценарии.
После примерно двух десятков запросов появилась внешне правдоподобная статья. Ещё несколько десятков обращений к моделям позволили подготовить иллюстрации и подписи, оформить список литературы и привести материал к требованиям IEEE Access.
При чтении текст выглядел убедительно. В нём не было очевидных стилистических ошибок, которые часто связывают с ИИ, — например, странных замен общепринятых научных терминов. Некоторые особенности машинного письма всё же просматривались: чрезмерно осторожные формулировки, перечисления из трёх элементов и шаблонные переходы между разделами. Но подобные признаки встречаются и в обычных человеческих текстах, поэтому сами по себе не позволяют надёжно определить авторство.
На этом этапе у журналиста даже возникла мысль, что предложенные моделями эксперименты можно было бы провести в действительности. Внешняя убедительность текста оказалась сильнее, чем можно было ожидать от столь простого процесса генерации.
Первая проверка: подделку выдали ссылки
Перед отправкой статьи в редакцию у журналиста возник закономерный вопрос: что он почувствует, если подделка пройдёт проверку? Успех означал бы, что издательские механизмы защиты не сработали, а рецензентам придётся ещё внимательнее искать признаки мошенничества.
В итоге статья не прошла проверку из-за так называемых ghost citations — несуществующих или недостоверных библиографических ссылок, которые языковые модели нередко создают, пытаясь подкрепить убедительно звучащие утверждения.
При последующей проверке с помощью Gemini система выявила семь сфабрикованных ссылок. Однако это оказалось не полным результатом. Инструмент STM Integrity Hub, использованный редакцией, обнаружил 12 проблемных ссылок, а другой проверяющий сервис, предоставленный MolecularConnections, не смог подтвердить 24 ссылки. Среди них была ссылка на работу, приписанную автору по имени Джон Смит.
«Я по образованию экспериментальный физик, поэтому это совершенно не моя область, но ничего явно неправильного с научной точки зрения я не заметила», — рассказала Махони. По её словам, многочисленные вымышленные ссылки сразу поставили под сомнение достоверность всей работы.
Эксперт по оптическим солитонам Гаэтано Ассанто, ранее сотрудничавший с журналистом в Университете Рома Тре в Италии, также отметил неоднозначное качество статьи. Текст выглядел профессионально, но математическая часть требовала специальных знаний для полноценной оценки. Кроме того, в аннотации было слишком много аббревиатур, а некоторые физические утверждения звучали излишне категорично, хотя оставались спорными.
Таким образом, первый этап эксперимента закончился неудачей для автора подделки. Однако причина провала оказалась важнее самого результата: поверхностно убедительную научную работу удалось создать с помощью бесплатных инструментов, а обнаружить её помогли проверка ссылок и экспертная оценка.
ИИ и гонка вооружений в научной публикации
На первый взгляд, система научного издательства выдержала проверку. Но это не означает, что проблема решена. Журналисту удалось создать статью об исследованиях, которые никогда не проводились, причём без специализированных навыков работы с ИИ.
По мере совершенствования моделей выявлять такие материалы становится сложнее. Инструмент, который сегодня обнаруживает характерные ошибки, завтра может оказаться бесполезным против более качественной генерации.
«Созданный сегодня инструмент обнаружения может оказаться неэффективным против статьи, сгенерированной ИИ завтра», — считает Луиджи Лонгобарди, директор IEEE по этике и нормам издательской деятельности.
В результате значительная часть ответственности остаётся на рецензентах. Но научное рецензирование и без того испытывает серьёзную нагрузку: ещё до массового распространения ИИ в 2022 году в мире обрабатывалось более трёх миллионов научных статей.
Одна из причин — культура publish or perish, то есть «публикуйся или погибни». Карьера исследователя, получение финансирования и профессиональное продвижение часто зависят от количества и престижности публикаций. Это стимулирует выпускать всё новые работы, иногда с небольшим научным приращением. Ещё до появления генеративного ИИ некоторые авторы прибегали к услугам так называемых бумажных фабрик — организаций, которые производят низкокачественные или сфабрикованные статьи. ИИ не создал эти проблемы, но значительно упростил масштабирование подобной деятельности.
По словам Махони, IEEE Access получает около 60 тысяч рукописей в год и принимает примерно 20% из них — около 12 тысяч статей. Каждая принятая работа проходит рецензирование как минимум двумя независимыми экспертами. Несмотря на широкую сеть рецензентов, с 2018 года среднее число приглашений, необходимых для привлечения рецензентов к одной статье, выросло на 50%.
Для учёных, которые проводят собственные исследования и преподают, рецензирование остаётся дополнительной неоплачиваемой работой. Теперь им приходится не только оценивать научную новизну и методологию, но и обращать внимание на возможные следы автоматической генерации.
После публикации научная работа также может подвергаться проверке со стороны сообщества. Здесь важную роль играют проекты PubPeer, позволяющий исследователям обсуждать недостатки опубликованных работ, и Retraction Watch, который отслеживает исправления и отзывы научных статей.
Даже специалисты, занимающиеся разоблачением научных нарушений, сталкиваются с вымышленными ссылками. Иван Оранский, сооснователь Retraction Watch и член совета фонда PubPeer Foundation, обнаруживал публикации, в которых ему приписывали несуществующие работы. В одном случае статья, критиковавшая рецензирование после публикации, содержала сфабрикованную ссылку на работу якобы самого Оранского.
Он считает, что ИИ скорее обострил давние проблемы научного издательства, чем создал их с нуля. Оранский сравнивает ситуацию с пожаром: культура «публикуйся или погибни» служит растопкой, бумажные фабрики — горючим, а ИИ ускоряет распространение огня.
Раунд 2. Когда ИИ не только пишет, но и проводит исследование
Первую подделку удалось обнаружить благодаря несуществующим ссылкам. Но что произойдёт, если система ИИ не станет выдумывать исследования, а действительно выполнит вычислительный эксперимент, получит результаты и подготовит статью?
Для проверки этого сценария журналист использовал FARS — Fully Automated Research System, автономную систему, предназначенную для автоматизации основных этапов научной работы. В отличие от обычной языковой модели, FARS организует взаимодействие специализированных ИИ-агентов, которые формируют идеи, планируют исследование, проводят эксперименты и готовят текст публикации.
Подобные инструменты, включая AutoResearchClaw, The AI Scientist v2, Zochi, AI Researcher и DeepScientist, стремятся автоматизировать всё большую часть научного процесса. Они могут искать публикации, формулировать гипотезы, работать с цифровыми наборами данных и симуляциями, анализировать результаты и собирать их в статью. Некоторые системы также подключаются к автоматизированным лабораториям, где можно получать экспериментальные данные из реального мира, например при поиске новых лекарств.
Для испытания FARS журналист выбрал тему, близкую к первой статье: моделирование динамики оптических солитонов с помощью больших языковых моделей. Через 21 минуту система подготовила исследовательское предложение с подробным обзором литературы. Затем журналист одним нажатием запустил эксперимент, описанный в предложении.
На следующий день система сообщила о завершении работы. Не проверяя результаты эксперимента, Скас нажал кнопку подготовки статьи. Ещё через два часа получил текст, готовый к отправке в журнал.
На первый взгляд новая работа выглядела даже убедительнее первой. Но под аннотацией сохранилась строка-предупреждение: «ВНИМАНИЕ: Эта статья была создана автоматизированной исследовательской системой». Журналист удалил её, указал себя в качестве автора и отправил материал Махони.
В отличие от первой статьи, во второй не оказалось вымышленных библиографических ссылок. Однако редакция всё равно сочла работу неприемлемой. Значительная доля источников представляла собой препринты — научные тексты, которые ещё не прошли рецензирование. По словам Махони, чрезмерная зависимость от таких материалов вызывала вопросы к качеству научной основы статьи.
Нашлись и другие недостатки. На одной иллюстрации красная линия была обозначена бессмысленным словом «lhewl». На другой изображённый «мозг» ИИ содержал случайные точки, похожие на артефакты генерации. Автоматические средства проверки не выявили этих проблем, но их заметила редактор.
Итак, второй эксперимент показал более сложную ситуацию. FARS не просто сгенерировала правдоподобный текст: система самостоятельно подготовила исследовательское предложение, выполнила вычислительную работу и сформировала статью. Однако автоматизация не гарантировала качества ни иллюстраций, ни выбора источников, ни конечного результата.
166 статей за 417 часов
FARS привлекла внимание исследовательского сообщества тем, что в ходе публичного развёртывания система подготовила 166 научных статей за 417 часов. Её разработала сингапурская компания Analemma.
«Мы создали FARS, потому что исследования по-прежнему ограничены человеческим вниманием, разрозненными инструментами, нехваткой технических специалистов и медленным циклом экспериментальной работы», — объясняет Сивэнь Су, менеджер по продуктовым операциям и партнёрствам Analemma. По её словам, система способна одновременно вести множество исследовательских направлений круглосуточно, без усталости и с высокой производительностью.
Важно, однако, не смешивать скорость создания рукописей с количеством научных открытий. В опубликованном описании FARS говорится о 166 подготовленных работах по 67 узким темам в области искусственного интеллекта и машинного обучения. Их качество оценивали добровольные рецензенты: в рамках исследования были собраны 282 структурированные оценки, охватывающие 140 статей. Результаты показали, что система способна производить материалы, заслуживающие научного рассмотрения, а в отдельных случаях — работы высокого уровня. Одновременно исследователи выявили повторяющиеся проблемы: узкую область экспериментов, методологические ограничения и недостатки, связанные с добросовестностью исследований.
Поэтому число созданных статей само по себе не доказывает, что система обеспечивает сопоставимый прирост проверенных научных знаний. Для этого нужны оценка методологии, воспроизводимость результатов и независимая экспертная проверка.
Су предлагает в перспективе перейти от традиционной модели, в которой каждая статья выступает самостоятельной единицей знания, к динамически обновляемой системе взаимосвязанных научных результатов. В такой модели отдельные вклады людей и машин могли бы связываться в единый граф знаний и развиваться на основе предыдущих результатов.
При этом роль человека не обязательно должна исчезнуть. Исследователи могут проверять ключевые этапы автоматизированной работы, контролировать корректность экспериментов и оценивать значимость выводов, тогда как машины будут выполнять часть рутинных процедур.
Как сохранить доверие к научным результатам
Махони также считает, что ИИ не следует запрещать или чрезмерно ограничивать. Исследователи уже используют его для поиска литературы, написания кода, анализа данных и решения других задач — и само по себе это не делает их работу недостоверной.
По её словам, ИИ может помочь автоматизировать проверку авторских данных, поиск дубликатов, выявление сомнительных формулировок и проверку библиографических ссылок. Инструменты семантического поиска уже помогают редакторам подбирать подходящих рецензентов для конкретных рукописей.
Но Махони не согласна с тем, что человеческое участие в научном процессе можно свести к минимуму. Главный вопрос заключается не только в том, представляет ли исследование интерес, но и в том, можно ли доверять его результатам и воспроизвести их.
Лонгобарди считает, что в будущем исследователям, возможно, придётся подтверждать не только полученные результаты, но и происхождение данных. Один из возможных подходов — создание систем, которые связывают результаты с оборудованием, использованным при проведении эксперимента, и автоматически фиксируют ключевые этапы работы. В качестве одного из вариантов рассматривается применение блокчейн-технологий, хотя сами по себе они не гарантируют достоверности исходных данных.
Отдельные элементы более прозрачной системы уже внедряются. Например, два подразделения Института коллоидов и интерфейсов Общества Макса Планка используют базу данных образцов с уникальными идентификаторами и QR-кодами. Школа химии и химической инженерии Университета Саутгемптона внедрила электронные лабораторные журналы. Такие решения помогают документировать происхождение материалов и ход экспериментов, облегчая последующую проверку.
Однако ни один из этих инструментов не решает проблему в одиночку. Даже безупречно оформленный журнал эксперимента не доказывает правильность научной гипотезы, а подтверждённое происхождение данных не гарантирует корректности их интерпретации.
Главный вывод эксперимента состоит не в том, что ИИ уже способен полностью заменить учёного. Он показал, что языковые модели могут создавать убедительные подделки, а автономные исследовательские системы — готовить публикации на основе самостоятельно выполненных вычислительных экспериментов. При этом обе категории инструментов оставляют ошибки, которые могут быть незаметны автоматическим проверкам.
Научному издательству придётся адаптироваться к ситуации, в которой внешний вид статьи всё меньше говорит о достоверности её содержания. Но если ИИ будет не только писать публикации, но и проводить исследования, одних проверок текста и ссылок станет недостаточно.
Возможно ли в будущем доверять научной статье без подробной истории происхождения данных и воспроизводимого описания эксперимента — или проверяемость самого научного процесса станет важнее репутации автора и престижности журнала?
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
