Исследование показало, что ИИ замедляет опытных разработчиков программного обеспечения

Исследовательская некоммерческая организация METR провела углубленное исследование, в котором изучалась работа группы опытных разработчиков в начале этого года. В ходе исследования разработчики использовали Cursor – популярного помощника по программированию с ИИ, чтобы помочь в выполнении задач на проектах с открытым исходным кодом, которые они хорошо знали.

Перед началом эксперимента участники исследования ожидали, что использование ИИ ускорит их работу. Они оценили, что ИИ сократит время выполнения задач на 24%. Однако после выполнения задач с помощью ИИ разработчики все равно считали, что сократили время выполнения задач на 20%. Реальные результаты исследования показали противоположное: использование ИИ увеличило время выполнения задач на 19%.

Ведущие авторы исследования, Джоэл Беккер и Нейт Раш, признались, что были шокированы такими результатами. Как отметил Раш до начала исследования, он ожидал двухкратного ускорения, что казалось очевидным.

Полученные данные бросают вызов распространенному мнению, что ИИ всегда делает опытных разработчиков более продуктивными. Это убеждение привело к значительным инвестициям в компании, продающие ИИ-решения для программирования. Однако новое исследование METR показывает, что такие преимущества не применимы ко всем сценариям разработки программного обеспечения.

Предыдущие исследования показали значительное увеличение производительности с помощью ИИ. Например, одно исследование показало, что использование ИИ ускоряет работу программистов на 56%, а другое — что разработчики смогли завершить на 26% больше задач в заданный срок. Однако это новое исследование показало, что опытные разработчики, которые хорошо знакомы с кодовыми базами открытого исходного кода, столкнулись с замедлением.

Замедление работы объясняется тем, что разработчикам приходилось тратить время на пересмотр и исправление предложений ИИ. Как отметил Беккер, ИИ часто предлагал правильные решения, но они не всегда были оптимальны для конкретной задачи. Это требовало дополнительного времени для корректировки.

Авторы исследования предупреждают, что такие результаты не обязательно будут наблюдаться в других сценариях разработки, например, при работе младших инженеров или при работе с кодовыми базами, которые разработчики не знают. В этих случаях ИИ может быть гораздо более полезным.

Тем не менее, большинство участников исследования, а также сами авторы, продолжают использовать Cursor и сегодня. Это объясняется тем, что ИИ делает процесс разработки более удобным и приятным, чем работа с пустой страницей. По словам Беккера, разработчики имеют цели, которые выходят за рамки простого выполнения задачи как можно быстрее. Поэтому они предпочитают использовать ИИ для упрощения процесса разработки, что делает его более увлекательным, сродни редактированию эссе, а не бесконечному созданию чего-то с нуля.

Если вам понравился материал, кликните значок - вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал - не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!