# AI发展历程介绍AI的发展历程。 ### 从符号主义到世界模型的发展历程 **从“写规则”到“学世界”：AI 的八十年演进** 今天的大语言模型、图像/视频生成模型和世界模型，并非横空出世。它们是同一条技术主线上不断叠加的几类能力：**理解符号 → 学习表示 → 生成数据 → 建模世界**。这条主线走了大约 80 年，中间经历过两次“寒冬”和三次范式转移。 #### 奠基期（1940s–1950s）：思想准备 | 时间 | 事件 | 意义 | |---|---|---| | 1943 | McCulloch & Pitts 提出形式神经元模型 | 首次用数学描述“神经单元”，连接主义源头 | | 1948 | 香农《通信的数学理论》、维纳《控制论》 | 信息论 + 反馈控制，为智能的形式化铺路 | | 1950 | 图灵《计算机器与智能》、图灵测试 | 把“机器能否思考”变成可讨论的问题 | | 1951 | Minsky 建造 SNARC（随机神经模拟强化计算器） | 最早的硬件神经网络尝试 | 这一阶段没有实用系统，但确立了两个此后长期对立的阵营：**符号主义**（智能=符号推理）与**连接主义**（智能=网络学习）。 #### 符号主义的黄金期与第一次寒冬（1956–1980） **1956 年达特茅斯会议**被公认为 AI 的诞生。McCarthy 等人相信“学习的每个方面都可以被精确描述，以至于可以用机器模拟”。 随后二十年是符号方法的天下： - **逻辑与搜索**：Newell & Simon 的 Logic Theorist、General Problem Solver，用状态空间搜索解决难题。 - **Lisp 语言（1958）**：成为 AI 研究的通用语言。 - **早期视觉与语言**：SHRDLU（1970）在积木世界里能听懂自然语言指令，惊艳一时——但只在“微世界”里有效。 - **感知机（1958，Rosenblatt）**：第一个可学习的神经网络，引发媒体狂热。 **转折发生在 1969 年**：Minsky & Papert 在《Perceptrons》中严格证明单层感知机无法学习 XOR 等非线性问题，而当时没有有效的多层训练算法。加上 Lighthill 报告（1973）批评 AI 未能兑现承诺，经费大幅削减，**第一次 AI 寒冬（约 1974–1980）**到来。 教训很深刻：**缺乏可扩展的学习算法 + 算力不足 + 过度承诺 = 泡沫破裂**。这个模式后来还重演了一次。 #### 知识工程时代与第二次寒冬（1980–1993） 研究重心从“通用智能”转向“领域知识”： - **专家系统**：MYCIN（诊断血液感染）、DENDRAL（化学结构）、R1/XCON（DEC 公司配置订单，每年节省数千万美元）。这是 AI 第一次大规模商业落地。 - **知识表示**：产生式规则、框架、本体、CYC 项目（试图手工编码全部常识知识，耗时数十年仍未完成）。 - **日本第五代计算机计划（1982）**：投入巨资做逻辑推理机，最终未达目标。 问题在于：**知识获取是瓶颈**（专家难以把经验写成规则），系统脆弱、无法迁移、维护昂贵。1987 年 Lisp 机市场崩落，PC 崛起，**第二次 AI 寒冬（约 1987–1993）**开始。 同时期的另一条暗线在积蓄力量： - **1986 年 Rumelhart、Hinton、Williams 重新普及反向传播（BP）算法**，多层网络终于能训练。 - **1989 年 LeCun 用卷积网络识别手写邮政编码**。 - **1997 年 Hochreiter & Schmidhuber 提出 LSTM**，解决了循环网络的梯度消失问题。 #### 统计学习的胜利（1990s–2000s）：范式一 —— 从“推理”到“概率” 这是最容易被低估、却最关键的一次转向。研究者承认“世界充满不确定性”，改用概率与统计建模： - **隐马尔可夫模型、贝叶斯网络**：语音识别（HMM+GMM）走向实用。 - **统计机器翻译（IBM 模型、基于短语的 SMT）**：取代了早期的规则翻译。 - **支持向量机、集成学习**：在小样本高维问题上表现优异。 - **PageRank（1998）**：用链接结构的统计信号重塑信息检索。 - **推荐系统**：Netflix Prize（2006）让矩阵分解进入大众视野。 **意义**：AI 不再依赖人写的规则，而是**从数据中自动估计参数**。这为后来的“大数据 + 大模型”奠定了方法论基础。同期 AlphaGo 式的思路也已萌芽：1997 年深蓝击败卡斯帕罗夫（暴力搜索+人工评估函数），2016 年 AlphaGo 则用蒙特卡洛树搜索与深度网络结合取胜。 #### 深度学习的崛起（2006–2012）：范式二 —— 从“特征工程”到“表示学习” - **2006 年 Hinton 提出深度置信网络的逐层预训练**，“Deep Learning”一词正式流行，解决了深层网络初始化难题。 - **GPU 加速**：NVIDIA CUDA（2006）让并行矩阵运算变得廉价。 - **数据基础设施**：ImageNet（2009，李飞飞团队，1400 万标注图像）提供了前所未有的规模基准。 - **2012 年 AlexNet**（Krizhevsky、Sutskever、Hinton）在 ImageNet 上将错误率从 26% 降到 15%，使用 ReLU、Dropout 和双 GPU。**这一刻被普遍视为现代 AI 的起点。** 此后三年迅速收敛为两大架构： - **CNN 主导视觉**：VGG（2014）、GoogLeNet（2014）、ResNet（2015，残差连接使网络可达上百层）。 - **RNN/LSTM 主导序列**：用于语音、翻译、文本生成。 **核心洞见**：不再由人设计特征（如 SIFT、HOG），而是让网络**自己学会分层表示**——底层是边缘纹理，高层是语义概念。这构成了今天一切大模型的共同内核。 #### 注意力与 Transformer（2014–2017）：通向大语言模型的关键钥匙 这一阶段出现了三个决定性突破： **1. 生成对抗网络 GAN（Goodfellow，2014）** 首次实现高质量的无监督生成，催生了 DCGAN、StyleGAN（2019，人脸生成以假乱真）、CycleGAN。它证明了“生成”可以靠对抗博弈来学习，但也暴露出训练不稳定、模式坍塌的问题——**这为后来的扩散模型留出了空间**。 **2. 注意力机制与 Transformer（Vaswani 等，《Attention Is All You Need》，2017）** 抛弃循环与卷积，完全用自注意力处理序列。优势在于：**高度并行、能捕获长距离依赖、易于扩展到海量数据**。这是所有后续进展的地基。 **3. 预训练 + 微调的两阶段范式** - Word2Vec/GloVe（2013）：词的分布式表示，“国王 − 男 + 女 ≈ 女王”。 - ELMo（2018）：上下文相关的词表示。 - **GPT（2018）**：Transformer 解码器 + 无监督语言建模预训练。 - **BERT（2018）**：双向掩码语言模型，在理解任务上全面领先。 至此，**“先在海量无标注数据上自学通用表示，再用少量标注数据适配任务”**成为标准配方。迁移学习让一个模型通吃多种任务成为可能。 #### 规模化定律与大语言模型（2019–2022）：范式三 —— 从“小模型精调”到“大模型涌现” **OpenAI 的 Scaling Laws（Kaplan 等，2020）**给出了一个近乎工程化的结论：模型性能随参数量、数据量、计算量呈幂律提升，且**越大越好，没有明显的饱和点**。这直接把 AI 研究变成了资源与工程问题。 演进路线清晰： - **GPT-2（2019，15 亿参数）**：证明无监督模型能生成连贯长文，因担心滥用一度未完全开源。 - **GPT-3（2020，1750 亿）**：**In-context Learning（上下文学习）**出现——不更新权重，仅凭几个示例就能完成新任务。“涌现能力”开始被讨论。 - **T5、PaLM、LaMDA** 等并行探索统一文本到文本框架与对话方向。 - **开源侧**：EleutherAI 的 GPT-Neo/J、Meta 的 OPT、BLOOM，降低了研究门槛。 **对齐问题浮出水面**：单纯放大模型会得到“会说但不听话”的系统。于是： - **InstructGPT / ChatGPT（2022）**：引入 **RLHF（基于人类反馈的强化学习）**，结合监督微调与奖励模型，把能力转化为可用性。 - **2022 年底 ChatGPT 发布**：AI 第一次以自然对话形态进入大众生活，标志生成式 AI 时代的开启。 - 随后：**指令微调、LoRA 等参数高效微调、RAG（检索增强）、函数调用与工具使用、Agent 框架**，把语言模型从“聊天机器人”变成“可调度的认知引擎”。 **小结大语言模型的三条支柱**：Transformer 架构 + 互联网级语料 + 算力集群，外加 RLHF 作为“人机接口”。 #### 图像生成：从 GAN 到扩散模型（2020–2022） 生成图像的路线经历了一次清晰的迭代： | 阶段 | 代表 | 特点与局限 | |---|---|---| | GAN 时代（2014–2020） | DCGAN、StyleGAN、BigGAN | 质量高但训练不稳定、难覆盖多样分布 | | 自回归像素/patch 模型（2016–2021） | PixelCNN、VQ-VAE-2、DALL·E（初代） | 原理简洁，但生成慢、分辨率受限 | | **扩散模型（2020–）** | DDPM（Ho 等，2020）、Score-based（Song 等） | 训练稳定、覆盖好，缺点是采样慢 | | 效率与可控性突破（2021–2022） | DDIM 加速、Latent Diffusion/Stable Diffusion（2022）、Classifier-free Guidance、ControlNet | 把扩散移到潜空间，消费级 GPU 可用；实现姿态/边缘精确控制 | | 文本对齐（2021–2022） | CLIP（对比图文预训练）、DALL·E 2、Imagen | 用 CLIP 文本编码器做条件，实现真正的“文字作画” | **关键机制**：扩散模型学习“去噪”——从纯噪声一步步还原出图像。训练目标是预测噪声，本质上是学习数据的**得分函数（score）**。相比 GAN 的对抗博弈，这是一个稳定的最大似然类目标，因此能在极大数据集上可靠扩展。 #### 视频生成与世界模型（2023–至今） ##### 视频生成的技术栈 视频比图像多了一个时间维度，难点在于**时序一致性**（物体不能闪烁、变形、违反物理）。突破来自三点： 1. **架构统一到 Transformer**：ViT（2020）把图像切成 patch 当 token 处理；**DiT（Diffusion Transformer，Peebles & Xie，2022）**证明扩散模型的 U-Net 主干可被 Transformer 替代，且**缩放性质更好**。这为“图文视统一用一个架构”铺平了道路。 2. **时空 patch 化 + 潜空间扩散**：把视频切成立体块（空间+时间），压缩到潜空间再做去噪，大幅降低计算量。 3. **数据与时长**：从几秒低分辨率片段，到 1080p、数十秒乃至分钟级，背后是海量视频语料与长序列注意力优化（如 DiT 变体、混合专家、帧间因果注意力）。 代表节点：Runway Gen-1/Gen-2、Pika、**Sora（2024，基于 DiT 与时空潜变量，支持可变分辨率与时长）**、Kling、Veo、HunyuanVideo 等。同期还有**一致性模型、流匹配（flow matching）、蒸馏采样**等加速技术，把几十步采样压到个位数步数。 ##### 世界模型：从“生成像素”到“预测状态” “世界模型”一词源于 LeCun 等人对自主智能的构想：**智能体需要一个内部模型，能预测自身行动带来的后果**，从而进行规划而不必在现实中试错。 发展脉络： - **早期概念**：Ha & Schmidhuber（2018）用 VAE + RNN 在赛车环境中学习 latent dynamics，并在此latent空间中规划。 - **游戏环境中的成功**：Dreamer 系列（Hafner 等）在 Atari/Minecraft 上仅靠学到的模型就达到接近真实交互的水平；MuZero（2020）在不了解环境规则的情况下，靠隐空间搜索下围棋、国际象棋、将棋并超越人类。 - **LeCun 的 JEPA 路线（2022–2024）**：Joint Embedding Predictive Architecture，主张**不要在像素层面预测**（像素细节冗余且难学），而是在抽象表征层面预测，并用能量-based 方法避免表征坍塌。I-JEPA（图像）、**V-JEPA/V-JEPA 2（视频）**展示了无需生成像素即可学到可用于动作条件的世界表征。 - **生成式世界模型**：Genie（Google DeepMind，2024）从无标注视频中学习，能把任意图片变成可交互的 2D 环境；后续工作尝试用视频生成模型充当“可微分模拟器”，通过想象未来轨迹来做决策（如 VPT、DreamVid 思路）。 - **具身与机器人**：RT 系列、VLA（Vision-Language-Action）模型把语言指令映射为动作序列，世界模型成为其中的预测模块。 **当前的共识与分歧**：一派认为“足够强的视频生成器本身就是世界模型”（能生成符合物理的画面≈理解了物理）；另一派认为**生成逼真≠理解因果**，模型可能只是记住了统计规律（“好莱坞布景”而非“物理引擎”），必须在表征层显式建模不变量与因果结构。这场争论仍在进行中，也是未来几年最重要的研究方向之一。 --- ### 演进主线与阶段对照 #### 贯穿始终的四条暗线 除了算法，还有三个常被忽略却同等重要的因素： 1. **算力**：从 CPU 到 GPU 再到 TPU/专用加速器，算力约每 3–4 个月翻倍（远超摩尔定律）。没有 CUDA 生态和千卡集群，Transformer 只是漂亮的数学。 2. **数据**：ImageNet → Wikipedia/Common Crawl → LAION（图文对）→ 大规模视频语料。**每一代模型的跃升都伴随着新规模数据集的出现**。同时数据也开始成为瓶颈，促使人们研究合成数据、数据配比与去重。 3. **开源与工程文化**：PyTorch/TensorFlow、Hugging Face、Weights & Biases 等工具链，以及论文+代码的快速复现文化，把研究周期从“年”压缩到“周”。 4. **评测与竞争**：ImageNet、GLUE/SuperGLUE、Atari、SQuAD、HELM、MT-Bench……可比较的基准让进步可测量，也带来了“刷榜”与 Goodhart 定律的新问题。 #### 一张总览表 | 年代 | 主导范式 | 代表性成果 | 局限 | |---|---|---|---| | 1950s–70s | 符号主义 / 搜索推理 | Logic Theorist、SHRDLU | 无法处理不确定性、常识缺失 | | 1980s | 知识工程 / 专家系统 | MYCIN、XCON | 知识获取瓶颈、不可迁移 | | 1990s–2000s | 统计学习 | HMM、SVM、SMT、PageRank | 依赖人工特征、天花板明显 | | 2006–2012 | 深度表示学习 | AlexNet、ResNet、LSTM | 需大量标注、算力敏感 | | 2014–2017 | 注意力与生成 | GAN、Transformer、Seq2Seq+Attn | 长程仍受限、生成质量不稳 | | 2018–2021 | 预训练 + 迁移 | BERT、GPT-2/3、CLIP、DDPM | 对齐差、成本高、幻觉 | | 2022–2023 | 规模化 + 对齐 | ChatGPT、RLHF、Stable Diffusion、LoRA/RAG | 事实性、可控性、能耗 | | 2023–至今 | 多模态生成与世界建模 | Sora、DiT、V-JEPA、VLA Agent | 因果理解、长时一致性、评估标准缺失 | --- ### 现代 AI 的核心概念地图 这些概念可以用一套模型结构、训练目标和外部组件的框架来理解：**一个纯粹的预测引擎（decoder-only），两头挂着可替换的小前端和小后端，中间用三个不同的目标函数去训（下一个 token / 噪声 / 下一状态），外面再套一层人类偏好和外部记忆。** 下面先给概念清单，再给流程。 --- #### 概念清单（按"它解决什么问题"排序） ##### 第 0 层：输入接口——Tokenizer / Embedding / Encoder 这三者最容易被混为一谈，但它们干的是三件完全不同的事： | | 干什么 | 输出 | 是否可学习 | 关键性质 | |---|---|---|---|---| | **Tokenizer** | 把原始信号切成符号 | 整数序列 | 通常不学（BPE 只统计一次） | 划定字母表；错误**不可逆** | | **Embedding** | 把符号变成连续向量 | $\mathbb{R}^d$ | 可训 | 查表矩阵；无压缩、无正则、位置间不交换信息 | | **Encoder** | 从冗余信号里提取不变量 | 上下文相关表示 | 必须学 | 有瓶颈或有双向注意力；负责"看懂" | **一句话区分**：Tokenizer 决定模型能看见哪些字母，Embedding 给这些字母发坐标卡，Encoder 决定这些坐标之间有什么关系。 > 文本的 tokenizer 和 embedding 是白送的（统计切分+查表）；图像、视频、音频的则必须自己学——这就是"其他模态要自费"的技术含义。 ##### 第 1 层：隐空间范式——VAE 普通自编码器学的是"怎么记"，VAE 学的是"数据的分布长什么样"。它在重建损失之外加了一项 KL，强制 latent 接近标准高斯 $\mathcal{N}(0,I)$： $$\mathcal{L}=\mathbb{E}[\log p(x|z)]-D_{KL}(q(z|x)\|p(z))$$ 代价是画面变糊，收益却是根本性的：**隐空间变成了连续、可插值、可采样的语义空间**。从此"生成"这件事被统一成"在已知简单分布上采样"。 它的工程命运是：**原始形态早已不单独存在，但核心功能被所有后代继承**。画质不够就接 GAN（VQ-GAN），多峰不行就换扩散（Latent Diffusion），需要离散 token 就换 VQ（VQ-VAE），需要因果结构就放弃重建（JEPA）。它是生成式 AI 的线粒体。 ##### 第 2 层：主引擎——Decoder-only Transformer 它的设计只有两样：**因果掩码 + 下一个 token 预测**。由此带来的关键性质是——**编码从"前置专用模块"变成了"主网络前几层的附带产物"**，编完的结果缓存在 KV cache 里。 它赢的原因常被说错：并非因为结构简单省算力，而是因为**续写任务里每个 token 只被读一次，预编码反而是纯开销**。Encoder-decoder 的优势只在"有两段需要反复互读的序列"时才成立（如翻译）。 但它有两个硬缺口： 1. **在像素和动作上太慢且多峰处理差**（自回归串行，MSE 会输出两个解的平均值）。 2. **理解能力弱于生成能力**（最后一个 token 的表示被因果性污染，做检索、判别不够用）。所以 Janus、LLaVA 这类模型边界上都会挂一个独立的视觉编码器。 ##### 第 3 层：三个目标函数 | 目标 | 数学形式 | 解决什么 | 代表 | |---|---|---|---| | **下一个 token** | $-\log p_\theta(x_t\|x_{ ID ──Embedding──> 〈decoder-only〉──CE──> 下一 token 图像·理解：图 ──【patchify+ViT encoder(冻结)+MLP projector】──┐ 文本：文本 ──【BPE】──> ID ──Embedding───────────────────────┤──> 拼接序列 ──> LLM ──CE──> 答案 │ 图像·生成：图 ──【VAE encoder(冻结)】──> latent z₀ │ 提示词：──【CLIP/T5 encoder(冻结)】──> 条件向量 │ z = √ᾱₜz₀ + √(1-ᾱₜ)ε ◄── t 随机采样 │ ────────────────┬─────────────────────────────────────┘ ▼ 〈DiT/U-Net〉◄── cross-attention / AdaLN 注入条件 │ ε̂ vs ε ──MSE/flow-matching loss 视频：同上，换成 3D/时空 VAE（8×8×4≈256:1，时间维因果卷积）+ Video DiT 音频：波形 ──【neural codec encoder + RVQ】──> 声学 token 【HuBERT/w2v-BERT】──> 语义 token ──Embedding 双查表──> 〈AR 主干/flow 头〉──> 双头损失 ``` **四个共同点**：①前端全部冻结或离线；②主干只有一个是可训的；③损失全是"预测某样东西"；④多模态靠条件注入（cross-attention / AdaLN / 拼接序列）打通，不靠共享权重。 ##### 推理（最容易搞错的一环） ``` 文本：prompt ──【BPE】──> ID ──Embedding──> 〈backbone〉──> LM Head ──采样──> 新 token ▲ │ └──── KV cache ◄─────┘ （直到结束符 → 【detokenizer】） 图像/视频生成：纯噪声 x_T ~ N(0,I) ← 注意：没有任何 encoder 参与 ──〈DiT〉迭代去噪 10~50 步（CFG 外推贴合提示词） ──【VAE/3D-VAE decoder(冻结)】──> 像素 图像/视频理解：新图 ──【ViT(冻结)】──> 视觉 token ──projector──> 拼入文本序列 ──> LLM 音频（全双工）：对方语音 ──【codec encoder】──> 声学 token ──> 主干 ──> 我方语义 token ──【vocoder】──> 波形 （"听"的一端 encoder 在，"说"的一端只有 decoder） ``` **五条必须记住的实操结论**： 1. **生成侧推理时，图像/视频 encoder 一次都不调用。** 输入是纯噪声，只有末端 decoder。所以评估成本该数扩散步数、分辨率、序列长度，而不是 encoder。 2. **理解侧 encoder 永远在，但通常冻结。** 换掉它（CLIP ViT-L → ViT-H）往往只需重训 projector；换 tokenizer 则要重训整个模型——两者迁移成本差两个数量级。 3. **坏前端的损失不可逆。** 压缩失真会被后续生成过程放大而不是平均掉（SDXL 换回 SD1.5 的 VAE 立刻倒退）；encoder 的失真是分布式软损失，后面还能救一点。 4. **KV cache 就是编码结果的缓存。** 前缀算过一次就复用，这是 decoder-only 能实时控制机器人的物理基础。 5. **RAG 插在"Embedding 之后、主干之前"。** 它复用同一个 embedding 模型做检索——所以 RAG 的天花板由 embedding 决定，正如 LLM 的天花板由 tokenizer 决定。而且向量检索只能回答"像不像"，回答不了"对不对"和"谁更新"，时间与否定是它的几何盲区。 --- ### 底层规律与整体认识 #### 贯穿全部概念的三条底层规律 1. **不再手工规定正确答案，而是定义一个简单可扩展的目标，让大参数函数自己在数据里找解。** 偏好排序是一个标量，预测噪声是一个 MSE，预测下一状态是一个重建损失。目标越简单，规模化后的涌现越强。 2. **编码器按岗位配发，解码器承担规模。** 凡是输出像素/波形的一端，encoder 都是脚手架（训练完就扔）；凡是"要看懂"的一端，encoder 必定保留且常冻结。中间那段无条件预测器是唯一共同放大的部分。 3. **代理指标与真实目标之间的缝隙，总会在规模化之后被钻空子。** RLHF 里的 reward hacking、生成模型里"看起来物理其实不物理"、具身里的 sim2real gap、RAG 里检索相关性与答案正确性的偏差——是同一个问题的四种表象。填补这条缝隙，是接下来十年最重要的工作。 --- #### 现状总结 **今天的主流配置是：tokenizer 作为每个模态的入场券（文本免费，其余自费）；encoder 作为理解任务的必需品与生成任务的弃子；embedding 作为离散去连续的必经关口；中间那段纯粹、无条件、不断变长的预测器作为唯一共同放大的部分；RLHF 划出可行轨迹，RAG 外挂事实模块。** 剩下的未解难题只剩三个，且同构： - **对齐**：标量偏好能不能覆盖行为空间？（reward hacking） - **表征**：续写出来的未来算不算理解？（干预测试） - **落地**：想象出来的策略能不能接到真实的肌肉上？（sim2real gap） 我个人最看好的方向是三者都在往那儿靠的东西：**能量基/价值感知的表征 + 连续动作头 + 自举数据闭环**——让世界模型输出的不只是下一个画面，还有"这个状态好不好、为什么"，让策略先在想象里练一万次再动手。这条路理论上最干净，实践上也最苦，因为它绕不开真实交互，没法只用视频和算力买通。