«Удали всё, оставь граф». О чём на самом деле лекция Карпати в Стэнфорде
Андрей Карпати (Andrej Karpathy) — человек, который стоял у истоков OpenAI, руководил AI в Tesla и сейчас работает в Anthropic — записал часовую лекцию в Стэнфорде. Название звучит как провокация: «Delete Everything, Keep Graph». Смотришь и думаешь: очередной хайп про «vibe coding»? Нет. Это, на мой взгляд, одна из самых чётких попыток систематизировать всю ту кашу из промптов, агентов, RAG и «AI-инжиниринга», в которой мы все сейчас варимся.
Ниже — не расшифровка, а мой пересказ главных идей, которые Карпати выстраивает от простого к сложному. Если лень смотреть час — читай сюда. Если смотрел — проверь, совпадает ли твоё понимание с его раскладкой.
LLM — это не чат-бот, а универсальный компьютер
Первый и самый важный сдвиг мышления, который предлагает Карпати: перестаньте думать о большой языковой модели как о «помощнике», «оракуле» или «поисковике». LLM — это сырой вычислительный движок, который можно перепрограммировать на лету.
Раньше ты писал код на Python, компилировал, деплоил на сервер, и только потом программа делала что-то полезное. С LLM всё происходит в runtime: ты пишешь инструкцию на естественном языке — и «компьютер» тут же меняет своё поведение. Без перекомпиляции, без редеплоя.
«Treat the LLM as a raw computer you reprogram on the fly»
Это фундамент, на котором держится всё остальное. Если не принять эту ментальную модель, дальнейшие шаги будут восприниматься как магия.
Промпт — это новый синтаксис программирования
На втором уровне Карпати говорит: естественный язык стал полноценным языком программирования. Промпт — это не «вопрос модели» и не «поисковый запрос». Это программа, которую исполняет LLM.
Хороший промпт — это чёткая инструкция с контекстом, примерами (few-shot), ограничениями и ожидаемым форматом выхода. Плохой промпт — расплывчатый вопрос вроде «сделай мне хорошо», на который модель вынуждена додумывать сама, что хочет пользователь.
Карпати прямо говорит: промпт-инжиниринг как отдельная дисциплина со временем уйдёт. Но пока он здесь, нужно понимать его как код, а не как «общение с ИИ».
Агент — это LLM + память + инструменты + контекст
Третий уровень — переход от «модели, которая предсказывает текст» к «системе, которая делает работу». Карпати выделяет четыре обязательных компонента:
Цель (Goal) — что именно нужно достичь.
Контекст (Context) — текущее состояние задачи, вводные данные.
Память (Memory) — что система уже узнала и сделала в процессе.
Инструменты (Tools) — доступ к внешнему миру: поиск, код, API, базы данных.
Без этих четырёх LLM просто болтает. С ними — превращается в агента, который может планировать, действовать и адаптироваться. Именно здесь начинается настоящий AI-инжиниринг: не в красивых промптах, а в архитектуре вокруг модели.
Два цикла: думать ≠ учиться
Один из самых тонких и важных моментов лекции — разделение двух процессов:
Inference-time reasoning — когда модель «думает» во время ответа. Step-by-step рассуждения, chain-of-thought, планирование. Это происходит внутри одного запуска модели.
Weight optimization / Training — изменение весов модели на новых данных. Это настоящее обучение.
Карпати подчёркивает: эти циклы нельзя путать. То, что модель «подумала» над сложной задачей, — это не значит, что она «выучила» решение. И наоборот: обучение требует внешнего цикла с градиентным спуском, а не просто «порассуждать поглубже».
Это разделение критично для архитектуры систем. Если вы строите агента, вы должны понимать: где у вас «размышление», а где — «обучение».
Конечная точка: всё — это граф
И вот мы подходим к главной провокации лекции. Карпати утверждает: все эти слои — промпты, агенты, память, тулзы, оркестраторы, RAG — это временные костыли. В конечном счёте всё сводится к одной абстракции: ориентированному графу, по которому передаются сообщения.
Узлы графа — это сущности: модели, агенты, инструменты, блоки памяти. Рёбра — это потоки информации (message passing), причём структура этих рёбер зависит от данных. Это напрямую отсылает к механизму attention в трансформерах: attention — и есть message passing по графу.
«You can actually delete everything… Delete everything, keep Graph»
Что он имеет в виду? Не надо цепляться за текущие хайповые термины. Vibe coding, prompt engineering, agentic workflows — всё это этапы эволюции. Глубинная структура одна: информация течёт по графу от узла к узлу, и каждый узел трансформирует её.
Моя интерпретация
Мне кажется, Карпати здесь делает две вещи одновременно.
Во-первых, он даёт ментальную карту для инженеров. Когда перед тобой очередной фреймворк для «агентов» или «AI-приложений», ты можешь спросить себя: «А где здесь граф? Кто узлы, кто рёбра, что передаётся?» Если ответ неясен — архитектура хрупкая.
Во-вторых, он понижает градус паники. Сейчас выходит по три новых фреймворка в неделю, и создаётся ощущение, что если ты не освоил очередной «agent orchestrator», ты отстал. Карпати говорит: не отстал. Всё это разные способы нарисовать один и тот же граф. Понял граф — понял всё.
Стоит ли смотреть?
Если ты строишь что-то на базе LLM — однозначно да. Это не туториал по коду и не обзор новой модели. Это философия инжиниринга в мире, где «код» и «текст» слились воедино. Карпати за час проходит путь от «что такое LLM» до «как думать о распределённых системах агентов» — и делает это без воды.
Если у вас есть мысли по поводу «графа как единой абстракции» — пишите в комментариях. Лично я после этой лекции начал пересматривать архитектуру одного из своих проектов.
Discussion
No comments yet - start the thread.