THE AI CHRONICLE
Special Edition · YC 2025
人工智能时代的软件:
三次范式革命
3
种编程范式
1.0→3.0
范式演进
1960s
历史类比
By Andrej Karpathy · 整理:
@晓辉博士 + AI
· Vol. CXLII No. 1 ·
🎬 演讲视频
The AI Chronicle
2025.06.17
Opinion
2 / 15
软件正在再次发生变化
70年来最根本的变革,已经在短短几年内发生了两次
By ANDREJ KARPATHY
软件在过去70年里没有发生如此根本性的变化,但在最近几年里,它已经快速地改变了两次。因此,有大量的工作需要完成,大量的软件需要编写和重写。
— Andrej Karpathy
现在是一个非常独特且有趣的时期,进入这个行业。根本原因在于,软件正在再次发生变化。如果我们把 GitHub 地图放大来看,这里是各种不同的代码库,所有这些都是已编写的代码。几年前,我观察到一种新型软件正在出现。
Software 1.0 — 传统编程
传统的编程方式,您为计算机编写的代码。这是我们熟悉的 GitHub 上的代码库,所有这些都是已编写的计算机执行数字任务的指令。
v1.0
确定性逻辑
Software 2.0 — 神经网络权重
基本上是神经网络,特别是神经网络的权重。您不是直接编写这些代码,更多的是调整数据集,然后运行优化器来创建参数。Hugging Face 基本上就是 Software 2.0 领域的 GitHub。
v2.0
数据驱动
Software 3.0 — 提示即程序
神经网络通过大型语言模型变得可编程。您的提示现在是编程大型语言模型的程序,这些提示是用英语编写的——这是一种非常有趣的编程语言。
v3.0
自然语言
The AI Chronicle
2025.06.17
Feature
3 / 15
三种编程范式的对比
同一个任务——情感分类——的三种实现方式
如果您要进行情感分类……
可以编写一些 Python 代码来实现(Software 1.0),或者训练一个神经网络(Software 2.0),再或者直接提示大型语言模型(Software 3.0)。这里有一个少样本提示的例子,您可以想象通过改变它来以稍微不同的方式编程计算机。
GitHub 上的代码不仅仅是代码了,其中还夹杂着大量的英文。因此,我认为一种新型代码的类别正在不断增长。
— Karpathy
令人惊讶的事实
这不仅是一种新的编程范式,更令我惊讶的是,它是用我们的母语——英语编写的。几年前,当我意识到这一点时,我发了一条推文:英语正在成为最高效的编程语言。
精通所有三种范式
我们有三种完全不同的编程范式。如果您即将进入这个行业,精通所有这些范式是非常好的主意,因为它们各有优缺点。您可能希望用 Software 1.0、2.0 或 3.0 来编写某些功能——您是要训练神经网络,还是仅仅提示大型语言模型?
The AI Chronicle
2025.06.17
Case Study
4 / 15
Software 2.0 如何吞噬 Software 1.0
特斯拉自动驾驶:一个范式迁移的活案例
起点:C++ 主导
在特斯拉工作时,我们正在开发自动驾驶系统。当时自动驾驶系统中存在大量的 C++ 代码(Software 1.0),其中还有一些神经网络用于图像识别。
迁移:神经网络蚕食 C++
随着时间的推移,当我们改进自动驾驶系统时,神经网络的能力和规模都在增长。此外,所有的 C++ 代码都被删除了,许多最初用 Software 1.0 编写的功能都被迁移到了 Software 2.0。
结果:多摄像头融合
将来自不同摄像头和不同时间的信息进行拼接的工作都是由神经网络完成的,我们因此能够删除大量的代码。Software 2.0 堆栈几乎是字面意义上地"吃掉"了 Software 1.0。
启示:每一次范式迁移都会重写大量代码,而当前的迁移(2.0→3.0)规模更大、速度更快。
The AI Chronicle
2025.06.17
Analysis I
5 / 15
LLM 作为公用事业
Andrew Ng 的洞察:AI 是新时代的电力
AI 是新时代的电力。正如 100 年前电力改变了每一个主要行业,AI 现在也将改变每一个主要行业。
— Andrew Ng
大型语言模型实验室投入大量资本来训练模型,相当于建设电网,然后通过 API 提供智能服务,按量付费,如按百万 token 付费。
OpenAI、Gemini、Anthropic = 发电站
它们投入大量资本支出(CAPEX)来训练大型语言模型,相当于建设电网。然后通过 API 向我们所有人提供智能服务,这需要运营支出(OPEX)。
OpenRouter = 电力转换开关
在电力领域,您会有一个转换开关,可以将电力来源从电网切换到太阳能、电池或发电机。在 LLM 领域,我们可能有 OpenRouter,可以轻松地在不同类型的大型语言模型之间切换。
The AI Chronicle
2025.06.17
Analysis II
6 / 15
LLM:实验室与操作系统的双重身份
🔬 实验室特性
构建大型语言模型所需的资本支出非常大,不仅仅是建造一些发电站。技术树正在迅速发展,研发秘密集中在大型语言模型实验室里。我们生活在一个深度技术树、研发秘密集中的世界。
但软件的防御性较弱
这个类比也有点模糊,因为这是软件,而软件的防御性较弱——它具有很强的可塑性。一个突破可能很快就会被复制或超越。
🖥️ 操作系统特性
大型语言模型就像是一种新的操作系统。LLM 是一种新型计算机,它就像 CPU 的等效物,上下文窗口就像内存,然后 LLM 正在协调内存和计算,利用所有这些能力来解决问题。
分时系统类比
使用分时系统是合理的,我们都在云端运行计算机时,只是批处理的一个维度。这与当时计算机的形态非常相似:操作系统都在云端,所有数据都通过流式传输,并且进行批处理。
终端 = 文本对话
每当我直接通过文本与 ChatGPT 交流时,我感觉就像通过终端与操作系统对话。但您不会想直接用终端——Cursor 才是您想要的应用程序。
The AI Chronicle
2025.06.17
Disruption
7 / 15
LLM 颠覆技术传播方向
消费者先于企业采用——这在技术史上前所未有
传统技术传播路径
传统上,新技术首先被军方采用,然后是企业,再到中小企业,最后才是普通消费者。从互联网到个人电脑,每一项技术都遵循这一路径。
LLM 的反向传播
大型语言模型的情况正好相反。它们首先被普通消费者用于日常任务——如"如何煮鸡蛋"之类的查询——而企业和政府在采用所有这些技术方面都落后了。
这种颠覆性的传播方向可能说明了我们希望如何使用这项技术,以及首批应用程序在哪里。
技术民主化的新速度
这是一种全新的技术传播模式,它使得技术民主化的速度前所未有地快。任何人只要能上网,就能使用世界上最强大的 AI 能力——这不需要企业级合同,不需要 IT 部门审批。
LLM 的总结特性
大型语言模型是复杂的操作系统,它们类似于 20 世纪 60 年代的计算——我们正在重新进行计算。但为什么要直接与操作系统交互呢?拥有一个专门的应用程序会更有意义。
The AI Chronicle
2025.06.17
Autonomy
8 / 15
部分自主软件的未来
从自动驾驶到 AI Agent:自主性滑块正在向右移动
特斯拉的经验
我对部分自主性并不陌生,我在特斯拉为此工作了五年。自动驾驶也是一个部分自主性产品,它具有许多特性——仪表盘上有自动驾驶的 GUI,会显示神经网络看到了什么。我们也有自主性滑块,为用户完成越来越多的自主任务。
传统软件的改造
在 Photoshop 中,差异会是什么样子?现在许多传统软件都有各种开关和各种东西,这些都是为人类设计的,所有这些都必须改变,并变得对大型语言模型可访问。
在未来十年左右,我们将看到自主性滑块从左向右滑动。这将非常有趣,我迫不及待地想和大家一起构建它。
— Karpathy
§
增强模式
— 人类主导,AI 辅助(如 Cursor)
§
代理模式
— AI 主导,人类监督(如 Codex)
§
自主模式
— AI 独立完成任务(未来)
The AI Chronicle
2025.06.17
Metaphor
9 / 15
钢铁侠类比:增强与代理
AI 既是增强人类的战衣,也是可以独立行动的 Agent
战衣的双重性
我一直很喜欢钢铁侠,我认为它在很多方面都非常准确地预示了技术将如何发展。钢铁侠战衣既是增强——托尼·斯塔克可以驾驶它——它也是一个 Agent。在一些电影中,战衣非常自主,可以自行飞行并找到托尼。
氛围编程的治愈视频
Hugging Face 的 Tom Wolf 分享了一段我非常喜欢的视频,这些孩子正在进行氛围编程(Vibe Coding)。我觉得这是一个非常治愈的视频。你怎么能看到这个视频,然后对未来感到悲观呢?
未来是美好的。当你看到孩子们用自然语言指挥 AI 编程,你会对未来充满信心。
— Karpathy
◆
增强(Iron Man)
— 人类穿战衣,能力倍增
◆
代理(Jarvis)
— AI 独立执行任务
◆
融合(Friday)
— 人与 AI 无缝协作
The AI Chronicle
2025.06.17
Infrastructure
10 / 15
为 Agent 构建:面向未来的数字基础设施
让 AI 更容易访问所有信息——这仍然相当昂贵且困难
GitHub 的人类界面问题
当我访问 GitHub 仓库,比如我的 nanoGPT 仓库时,我无法将其提供给大型语言模型并询问有关它的问题,因为它是一个 GitHub 上的人类界面。
URL 转换工具
当您将 URL 从 GitHub 更改为 get.ingest 时,它实际上会将所有文件连接成一个巨大的文本,并创建目录结构——这样 LLM 就能直接消费了。
DeepWiki:自动文档生成
也许更戏剧性的例子是 DeepWiki——来自 Devin 的工具。它不仅仅提供文件的原始内容,而且会对 GitHub 仓库进行分析,并为您的仓库构建完整的文档页面。您可以想象,这对于复制粘贴到 LLM 中会更有帮助。
长期需求
未来 LLM 绝对有可能——这甚至不是未来,而是现在——它们将能够四处浏览并点击东西。但我仍然认为,让 LLM 更容易访问所有这些信息是非常值得的。许多软件会有一个长尾效应——它们不会适应应用程序,因为这不是像实时播放器那样的仓库或数字基础设施。
The AI Chronicle
2025.06.17
Editorial
11 / 15
我们正处于 LLM 的 1960 年代
是时候开始构建了
新型操作系统
这些大型语言模型有点像公用事业,有点像晶圆厂,但它们尤其像操作系统。现在还处于早期阶段,就像操作系统的 1960 年代。
易犯错的操作系统中
这些大型语言模型有点像那些易犯错的操作系统——它们会幻觉、会犯错、会有 bug。但就像早期的 Unix 一样,核心架构是对的,剩下的只是时间和迭代的问题。
重写代码的时代
现在是进入这个行业的绝佳时机。我们需要重写大量的代码,这些代码将由专业人士和程序员编写。正如软件从 1.0 迁移到 2.0 时特斯拉删除了大量 C++ 一样,现在的迁移规模更大。
Transformer 是一种神经网络,它以 token 为单位进行处理,每次处理一个。就像早期计算机以比特为单位一样——范式虽简单,但足以构建整个生态系统。
— Karpathy
❶
三种范式并存
— 1.0/2.0/3.0 各有所长
❷
LLM = 新型操作系统
— 公用事业 + 实验室 + OS
❸
传播方向反转
— 消费者先于企业
❹
自主性滑块
— 从增强到代理到自主
❺
为 Agent 构建
— 数字基础设施改造
EXCLUSIVE
"这些大型语言模型有点像公用事业,
有点像晶圆厂,
但它们尤其像操作系统。
现在还处于早期阶段,
就像操作系统的1960年代。
"
— Andrej Karpathy · YC 2025
SPECIAL REPORT
"这是非常有趣的编程语言——
我们的母语,英语,
正在成为最高效的编程语言。
"
— Andrej Karpathy · Software 3.0
EDITORIAL
"在未来十年左右,
我们将看到
自主性滑块从左向右滑动
。
这将非常有趣,
我迫不及待地想和大家一起构建它。"
— Andrej Karpathy · Autonomy Slider
THE AI CHRONICLE
Software Is Changing (Again)
我们正处于大型语言模型的 1960 年代
——是时候开始构建了
Andrej Karpathy · YC 2025 · 整理:
@晓辉博士 + AI
·
🎬 演讲视频