Так что пока можем быть спокойны — ИИ все еще не на том уровне, чтобы его стоило бояться
ИИ-инструменты для программистов вроде Copilot и Cursor обещают ускорить разработку кода, упростить тестирование и помочь с исправлением багов. Однако свежее исследование некоммерческой организации METR ставит под сомнение эти обещания.
Исследователи провели рандомизированное контролируемое испытание: они набрали 16 опытных open-source разработчиков и предложили им выполнить 246 реальных задач в крупных репозиториях, с которыми они регулярно работают.
Часть задач можно было решать с помощью ИИ (в том числе Cursor Pro), другая часть запрещала использование любых ассистентов.
Ожидания: разработчики прогнозировали, что с ИИ они справятся на 24% быстрее. Реальность: выполнение задач с ИИ оказалось на 19% медленнее.
Почему так?
Исследователи отмечают несколько причин:
- Разработчики тратили много времени на формулирование промтов и ожидание ответа от ИИ, а не на реальную работу.
- Большие и сложные проекты, на которых тестировали ассистентов, сбивали их с толку.
- Только 56% участников имели опыт работы с Cursor (хотя 94% пользовались LLM в той или иной форме). Новые инструменты требовали времени на адаптацию.
Другими словами, обещанное ускорение в «промышленных» задачах не проявилось.
Важные оговорки
Авторы исследования не делают категоричных выводов: они подчеркивают, что:
- В ряде прочих исследованиях ИИ действительно ускоряет работу программистов.
- Прогресс в LLM идёт очень быстро — буквально через три месяца результаты могут быть совсем другими.
- Само по себе исследование не означает, что ИИ неэффективен в большинстве случаев.
Однако эта работа — ещё одно напоминание, что текущие инструменты далеко не панацея.
Выводы
ИИ-инструменты всё ещё могут быть полезны, но массовое представление о том, что «ассистент ускоряет работу по умолчанию» — заблуждение. Особенно в случае с опытными разработчиками и большими проектами.