Andrej Karpathy

前特斯拉 AI 总监、OpenAI 创始成员，AI 时代最会”把它讲清楚、再亲手造一遍”的人

基本介绍

Andrej Karpathy（安德烈·卡帕西，1986– ）是深度学习领域少数同时站在前沿研究、工业落地、大众教育三个位置上的人。他 1986 年生于捷克斯洛伐克（今斯洛伐克）的布拉迪斯拉发，15 岁随家庭移居加拿大多伦多；在多伦多大学读计算机与物理时第一次接触深度学习——“我旁听了 Geoff Hinton 的课和读书会”（Geoffrey Hinton 正是那里深度学习复兴的中心）。此后他在不列颠哥伦比亚大学（UBC）读硕士研究物理仿真中的运动控制，最终在斯坦福跟随 Fei-Fei Li 完成计算机视觉方向的博士，博士期间还在 Google Brain、Google Research 与 DeepMind 实习。

他的职业轨迹几乎是过去十年 AI 工业史的缩影：2015 年底作为创始成员加入 OpenAI；2017 年出任特斯拉 AI 高级总监，主导 Autopilot 的视觉神经网络与”数据引擎”；2023 年短暂回归 OpenAI 做 midtraining 与合成数据；2024 年离开后创办 AI 教育公司 Eureka Labs。

但他真正的稀缺性，一半在研究、一半在”翻译”。斯坦福 CS231n（卷积神经网络视觉识别）是全世界一代人的深度学习入门课；他那篇《循环神经网络的不合理有效性》让无数人第一次直觉地”懂了”序列建模；他”从零手写”的 micrograd、minGPT、nanoGPT、nanochat，让工程师第一次真正看清大模型内部在发生什么。在一个被炒作与黑箱充斥的领域里，他代表着一种稀缺气质：先把事情讲到极清楚，再亲手把它造出来。

关键时间线

• 1986：生于捷克斯洛伐克布拉迪斯拉发；约 2001 年（15 岁）随家庭移居加拿大多伦多。
• 2005–2009：多伦多大学，计算机科学与物理双专业；旁听 Geoffrey Hinton 的课，入门深度学习。
• 2009–2011：UBC 硕士，师从 Michiel van de Panne，研究物理仿真中的运动控制。
• 2011–2015：斯坦福博士，师从 Fei-Fei Li；轮转期接触 Andrew Ng、Daphne Koller、Sebastian Thrun。
• 2014：亲手给 ImageNet 测试集打标、测出人类误差约 5.1%，为”人类水平”立下一条可信基线（当年 GoogLeNet 约 6.7%）。
• 2015.05：发布《The Unreasonable Effectiveness of Recurrent Neural Networks》与 char-rnn，成为史上最有影响力的 ML 博文之一。
• 2015：设计并主讲斯坦福首门深度学习课 CS231n（选课人数 150→330→750，三年翻五倍）。
• 2015.12：作为创始成员加入 OpenAI，任研究科学家。
• 2017.06：出任特斯拉 AI 高级总监，直接向 Elon Musk 汇报，负责 Autopilot 视觉。
• 2017.11：发表博文 《Software 2.0》。
• 2021：CVPR 自动驾驶研讨会 keynote + 特斯拉 AI Day，系统讲解 HydraNet、数据引擎、鸟瞰空间感知。
• 2022.07：离开特斯拉（“五年间 Autopilot 从车道保持成长到城市街道”）。
• 2023.02：回归 OpenAI，做 midtraining 与合成数据。
• 2024.02：再次离开 OpenAI，公开澄清”没有任何戏剧性事件，只是想做自己的项目”。
• 2024.07.16：创办 Eureka Labs（“AI 原生学校”），首个课程 LLM101n。
• 2025.02.02：一条推文造出 “vibe coding”。
• 2025.06.17：YC AI 创业学校 keynote 《Software Is Changing (Again)》（Software 3.0）。
• 2025.10.13：开源 nanochat——“100 美元能买到的最好的 ChatGPT”，一套从训练到推理的极简全栈复现。
• 2025.10.17：做客 Dwarkesh Patel 播客，提出 “agents 的十年（而非一年）“。

核心理念与贡献

”亲手从零造一遍”——第一性原理的教育哲学

如果要用一句话概括 Karpathy 的方法论，那就是：理解一样东西的唯一可靠方式，是从零把它重写一遍。 他在 2025 年 Dwarkesh 访谈里把这层意思讲得很直白——“当你从零开始构建一样东西时，你被迫直面自己不懂、而且原本不知道自己不懂的部分。这总会带来更深的理解；否则你只是以为自己懂了。“在他看来，熟悉感会伪装成理解，只有重建能戳穿它。

这条信念是他一系列作品的共同源头，而且刻意保持”最小可读”：micrograd 用百行实现反向传播、makemore 与 minGPT/nanoGPT 把语言模型剥到骨架、《Neural Networks: Zero to Hero》视频系列一步步带人从零搭起大模型。他强调这不是为了自己的发现，而是一种教学蒸馏——“就是机械地把它造出来、再打磨到足够干净，好让别人能从中学习、觉得有用”。

2024 年创办的 Eureka Labs 是这套哲学的机构化：它主张”教师 + AI 共生”——由人类专家设计课程，再由 AI 助教把一对一辅导规模化，愿景是给全人类每个人一位费曼级的私人老师。首门课 LLM101n 就是要带学生”用 Python、C 和 CUDA 从零把一个类 ChatGPT 的应用端到端造出来”。它能否真正规模化、兑现承诺仍待验证，但方向与他二十年一贯的”造给你看、讲给你听”完全一致。

Software 2.0：神经网络是一种新的编程范式

2017 年的《Software 2.0》是他最具预见性的概念贡献。核心论点是：神经网络”不只是又一个分类器，而是我们开发软件方式的一次根本转变”。在传统的 Software 1.0 里，人一行行写显式指令；而在 Software 2.0 里，“源代码”变成了一个定义期望行为的数据集加一个网络结构骨架，“训练神经网络的过程，就是把数据集编译成二进制——也就是最终的网络权重”。

这一视角之所以重要，是因为它彻底重画了程序员的工作。既然”没有人在直接写这些代码”（权重成千上万，“我试过直接手写权重，挺难的”），那么真正的”软件开发”就变成了策划、扩充、清洗和打磨带标注的数据集。他据此预言了”Software 2.0 的 GitHub”（仓库是数据集、提交是标注修改）、以不确定性驱动的主动学习式 2.0 IDE，甚至断言”当我们造出 AGI 时，它几乎一定是用 Software 2.0 写成的”。这篇文章写在大模型浪潮之前五年，却精准预告了此后”以数据为中心的 AI”这一整条工程主线。他 2025 年造的 “vibe coding” 与 “Software 3.0”，本质上都是这条思路的延伸。

特斯拉时代：把 Software 2.0 变成一条产线，与”九的进军”

在特斯拉，Karpathy 把 Software 2.0 落成了具体的工程体系。数据引擎（Data Engine）是一个闭环飞轮：车队在真实道路上暴露出失败与罕见场景 → 这些场景被标注、并入数据集 → 网络重训、变强 → 循环往复。他把这套理想称作 “Operation Vacation”——目标是让网络”靠自己（加上标注员）“变好，工程师原则上可以退到一边，改进来自数据策划而非手写规则。架构上，特斯拉走纯视觉路线（相机而非激光雷达），用 HydraNet（一个共享骨干 + 众多任务头的多任务网络）统一处理，并逐步把预测从二维图像空间搬进共享的鸟瞰/向量空间，到 2022 年演进出实时的占据网络（Occupancy Networks）。

但特斯拉五年也给了他对 AI 进程最清醒的一课——“九的进军（march of nines）“。他的说法是：可靠性是一个九一个九地往上爬（90% → 99% → 99.9% …），而”每多一个九，都是同样巨大的一份工作量”。一个 demo 能在 90% 的情况下工作，那只是第一个九；后面每一个九都要重来一遍同样的努力。“我在特斯拉的五年，我们大概只走过了两三个九。“这句话精炼地道出了从 demo 到 product 的鸿沟，也成了他日后反对”AI 一两年内颠覆一切”这类短时间线叙事的核心论据。

Software 3.0：英语成了最热的新编程语言

进入大模型时代，他把 Software 2.0 再推进一层，形成了 Software 3.0 的三段论：1.0 是人写的代码，2.0 是从数据学出来的权重，3.0 是用自然语言（提示词）去编程大模型。于是有了那句被反复引用的话——“最热门的新编程语言是英语”。谁能用自然语言精确地指挥模型，谁就是新范式下的程序员；他还判断，大量现有软件都将被这三种范式（部分）重写。

围绕这层判断，他给了一套很有画面感的心智模型。他把 LLM 类比为一种新操作系统（LLM 像 CPU，上下文窗口像内存/工作记忆），当下则以”公用事业”的方式计量供应，很像 1960 年代分时计算的大型机时代——也就是说，AI 的”个人电脑时刻”还没到。他主张好的 AI 产品要给用户一个**“自主性滑杆（autonomy slider）”**（像 Cursor 从 Tab 补全到 Agent 模式、Perplexity 从搜索到深研），并把 AI 设计成一套”钢铁侠战衣”式的增强装备——人在回路里，而不是一个脱缰的自主机器人。他的顺口溜是：“Demo is works.any(), product is works.all()“——又一次呼应”九的进军”。

Vibe coding 与 context engineering：热词背后的克制

2025 年 2 月，他一条推文造出了 “vibe coding”：“有一种新的写代码方式，我称之为 vibe coding——你完全交给感觉、拥抱指数、忘掉代码本身的存在……我永远’全部接受’，不再看 diff 了……有时 LLM 修不好一个 bug，我就绕过去、或者随便让它改点东西直到 bug 消失。“这个词瞬间成为全行业热词，也成了他”影响力放大器”效应最典型的例子。值得注意的是他本人的用法相当克制：他明确把它限定在”一次性的周末玩具项目”，认真的软件仍需工程纪律；他后来更把专业场景下的正确形态称作”agentic engineering”——用 agent，但要有更多的监督与审视，“不对软件质量做任何妥协”。

同年 6 月，他为 Tobi Lütke 提的 “context engineering” 背书，认为它比 “prompt engineering” 更准确：真正决定模型表现的，不是一句巧妙咒语，而是”把恰当的信息、以恰当的形式、恰当地填进上下文窗口这门精细的艺术与科学”。这是从”魔法咒语”到”系统工程”的认知升级，也是他一贯工程主义的体现。

对 AI 进程的判断：agents 的”十年”，而非”一年”

Karpathy 刻意把自己放在炒作与唱衰之间。面对业界”2025 是 agents 元年”的口号，他反过来说这更应该是 “agents 的十年”：今天的 agent（他自己每天在用 Claude 和 Codex）确实惊艳，但”认知上是残缺的”——没有持续学习、记忆薄弱、一旦”走出数据流形”就泛化很差，把这些问题一一解决是十年尺度的工程。他也把 AGI 大致放在十年之后（2030 年代），但强调这是一场”已经持续了几十年的智能爆炸”——是连续的，而非某个奇点式的突变。

他还给了几个很传神的判断：大模型的能力是 “锯齿状智能（jagged intelligence）“——在某些任务上超人、在另一些琐碎任务上却会犯傻；大模型是互联网的一种有损压缩、是”人的灵魂的统计式模拟（people spirits）“；用他在 Dwarkesh 访谈里的话说，我们是在**“召唤幽灵，而不是在造动物”**——LLM 不是生物演化/在真实世界里做 RL 的产物，而是对互联网文本的模仿，是另一种智能。他甚至设想未来应剥掉记忆、只留一个约十亿参数的 “认知内核（cognitive core）“——纯粹的智能与算法，把事实外置到上下文里，因为过度记忆会让模型依赖”数据流形”、反而伤害真正的推理。

与 Sutton”苦涩的教训”的分歧：RL 是”用吸管吸监督”

他与 Richard Sutton“纯 RL / 苦涩的教训”式主张之间的公开对话，是理解他立场的一把钥匙。他对当下的强化学习评价很低——“强化学习糟透了，你是在用一根吸管吸监督：你做了一整段可能长达一分钟的 rollout，最后却只能把那一点最终奖励的比特，通过吸管吸回来、再摊派到整条轨迹上。“他也怀疑”智能 = RL”的等式：“人类基本不用强化学习……动物身上的 RL 很少，而且多是运动任务，不是智能任务。“他还警告用 LLM 当裁判去做 RL 几乎必然被”奖励黑客”攻破。

但他并不因此否定 Sutton 的终局愿景。在对 Sutton 访谈的公开回应里，他把自己的立场表述为一种互补：“模仿学习与 RL 是连续、互补的……如果 LLM 真的先一步走到 AGI，它们造出的后继系统几乎一定会建立在 Richard 的愿景之上。“这正是他一贯的中间派姿态：既信规模，也重结构、模仿与数据。

争议与批评

• “Vibe coding” 的双刃：这个词火了之后，被大量新手当成”不用懂工程也能造软件”的许可证，催生了一批脆弱、不可维护、有安全隐患的代码；有工程师在 Hacker News 上直指它”是个骗局——发明者是 AI 研究者，但不是软件工程师”。公允地说，Karpathy 本人把它限定在”周末玩具项目”，并对生产环境的滥用多次澄清；把它推成一场运动（甚至出现”Vibe Coder”招聘）是下游的演绎，而非他的本意。
• 明星研究者的”影响力放大器”效应：他一条推文就能定义一个行业词汇（Software 2.0、vibe coding、decade of agents）。这更多是对话语生态的批评——正如 Melanie Mitchell 所言，“没有理由让 AI 研究者成为我们唯一能听到的、谈论智能本质的人”；注意力经济奖励”更强、更笃定、更耸动的断言”，让少数早发声者过度塑造叙事，盖过更审慎的声音。这不针对他的操守，但他确是这一机制最典型的受益者与例证。
• 特斯拉从业者的乐观偏差：作为 Autopilot 前负责人，他对自动驾驶与 AI 能力的公开表述容易被质疑带有从业者乐观。有意思的是，他离开后的公开立场恰恰在反向修正这种偏差——用”九的进军”反复强调 demo 与可靠产品之间的巨大鸿沟。
• 教育理想 vs 商业落地：Eureka Labs 与 LLM101n 备受期待，但有教育界评论指出，“AI 原生学校”目前更像是”人类写的课程 + 一个 AI 助教”，其规模化能力与教学成效尚无已交付的产品可供检验。

核心人物关系

• Fei-Fei Li：斯坦福博士导师，ImageNet → CS231n 的视觉一脉师承。
• Geoffrey Hinton：多伦多本科时的深度学习启蒙脉络（旁听其课程与读书会）。
• Sam Altman、Ilya Sutskever：OpenAI 创始同僚（两度共事）。
• Elon Musk：特斯拉时期的直接上级、Autopilot 愿景推动者。
• Richard Sutton：RL 与”苦涩的教训”上的思想对手兼互补者。
• Yann LeCun：卷积网络一脉的深度学习同代人（对 LLM 亦持保留）。
• Dwarkesh Patel：2025 年长访谈的对谈者，其近期思想的重要一手出处。
• Tobi Lütke：“context engineering” 一词的提出者，他公开背书。
• 与 Paul Graham 同属”把复杂的事讲到极清楚”的写作/教育典范；与 Dan Shipper 都在定义”AI 原生”的工作与学习方式。

参考资料

长期渠道（X / 个人主页 / 博客 / GitHub / YouTube）见页面顶部”在哪里找到 TA”；这里只列具体作品。

核心文章 ★

• Software 2.0（2017）——神经网络作为新编程范式的奠基之作。
• The Unreasonable Effectiveness of Recurrent Neural Networks（2015）——史上最有影响力的 ML 博文之一。
• A Survival Guide to a PhD（2016）——研究品味、雄心与表达的自述。
• Some thoughts on the Sutton interview（2025）——对”苦涩的教训”/纯 RL 的公开回应。

演讲与长视频 ★

• Software Is Changing (Again) / Software 3.0（YC AI 创业学校，2025）。
• Deep Dive into LLMs like ChatGPT（2025，约 3.5 小时科普长视频）。
• Intro to Large Language Models（2023）与 State of GPT（微软 Build，2023）。
• AI for Full-Self Driving at Tesla（CVPR’21 自动驾驶研讨会 keynote）——数据引擎、HydraNet、鸟瞰空间。

代码与教学 ★

• Neural Networks: Zero to Hero 视频系列，及 micrograd / makemore / minGPT / nanoGPT。
• nanochat（2025）——“100 美元能买到的最好的 ChatGPT”，从训练到推理的全栈极简复现。
• LLM101n / Eureka Labs——AI 原生学校的首门课。

访谈 ★

• 做客 Dwarkesh Patel 播客（2025）——“agents 的十年”、对 RL 的批评、AGI 时间线、“召唤幽灵而非造动物”。

（批判性 / 背景）

• （批判）A semantic history of “vibe coding”——该词如何从一条推文滑向被滥用。
• （背景）AI skeptics and AI boosters are both wrong（2025）——定位他”介于炒作与唱衰之间”的立场。

总结

Karpathy 的独特之处，在于同时坐在前沿研究、工业落地、大众教育三把椅子上：他做过最难的（特斯拉自动驾驶）、定义过范式（Software 2.0/3.0）、又愿意花大量时间把这一切从零讲给所有人听。他造的词（vibe coding、context engineering、decade of agents）之所以能瞬间成为行业共识，正因为背后有真功夫，也有”讲清楚”的诚意；而他对 RL 的批评、对”九的进军”的强调、对时间线的克制，又让他在一个容易被口号裹挟的领域里保持了难得的工程理性。在”炒作”与”唱衰”之间，他示范的是一种第一性原理的气质——先把它造一遍，再讲给你听——这也是他对”AI 时代该如何学习与工作”最深的回答。