Эпоха LLM трещит по швам: со-основатель OpenAI и глава ИИ в *Meta объяснили, что будет дальше

Ребята интересными идеями поделились

Илья Суцкевер (со-основатель OpenAI) и Янн Лекун (Chief AI Scientist в *Meta) почти синхронно заявили: масштабирование LLM оказалось на пределе.

Это важный момент — индустрия десятилетие жила по формуле «больше данных → больше параметров → лучше модель». Теперь же оба лидера признают: следующий этап развития ИИ требует новых идей, а не просто новых кластеров с чипами H100.

Что говорит Суцкевер: эпоха масштабирования закончилась

Суцкевер делит историю ИИ на три периода:

• 2012–2020 это эпоха исследований. Здесь сфера получала новые архитектуры, CNN, внимание, RL.
• 2020–2025 это эпоха масштабирования. Законы масштабирования обеспечивают стабильный прирост качества.
• 2025 и далее — возвращение к исследованиям. GPU-фермы огромны, интернет конечен, эффект от роста моделей падает.

Главными лимитами актуальных LLM он назвал то, что высокий балл в бенчмарках ≠ надежность в реальных задачах. Также Суцкевер отметил, что обучение моделей все еще остается «черным ящиком, а обобщение все еще слабее человеческого — модели требуют тонны данных и сложные пайплайны пост-тюнинга.

Его новая компания SSI делает ставку именно на новые методы обучения, а не на «GPT-7, который такой же, но больше».

Что говорит Лекун: LLM — тупиковая ветвь

Лекун куда радикальнее. Он в принципе считает, что LLM глубоко ограничены. Связывает он это с тем, что они предсказывают следующий токен, а не понимают мир.

Еще к минусам нынешнего подхода он отнес тот факт, что каждый новый скачок дается все дороже, а отдача снижается. Ну и вишенка на торте — для настоящего интеллекта нужны world models. Т. е системы, которые учатся на видео, строят представления об объектах, времени и причинности.

К слову, *Meta активно продвигает архитектуру JEPA, нацеленную на обучение универсальных представлений, которые можно использовать для памяти, планирования и размышлений.

Почему это важно для разработчиков

Обе позиции сходятся на главном: мир ИИ меняется. Что это означает для тех, кто строит продукты?

1. GPU перестают быть главным преимуществом

Если масштабирование не дает прежнего прироста, то выигрыш дают:

• свои данные;
• UX;
• доменные сценарии;
• собственные пайплайны обработки.

2. Бенчмарки больше ничего не гарантируют

+2% к Abilities Arena вообще не означают меньше ошибок в рабочем процессе пользователя.

3. Стек ИИ станет более разнообразным

Появятся модели, которые:

• отвечают за физическое моделирование;
• выполняют планирование;
• работают поверх видео, а не текста;
• комбинируются с LLM в гибридные системы.

4. Главный актив — данные и обратная связь

По мнению экспертов, в ИИ-гонке победят не те, у кого лучший baseline-модель. Лидерство достанется тем, кто владеет качественными доменными данными, строит точные метрики качества и быстро (и итеративно) улучшает результат под свои процессы.

Что дальше: тихий перелом эпохи

Пятилетняя мантра «масштабирование — это все, что вам нужно» дала нам GPT-4, Claude, Gemini и всю текущую волну ИИ-продуктов. Но сегодня два главных человека в индустрии говорят: масштаб больше не тянет нас вверх (Суцкевер) и LLM не приведут к настоящему ИИ (Лекун).

Начинается новая глава — где инфраструктура остается огромной, но реальные прорывы делает не «больше», а «иначе». И если на первых этапах это может быть неприятно и больно, то в долгосрочной перспективе такой подход может принести еще больше интересных открытий.