2021 · Discrete
Structured Denoising Diffusion Models in Discrete State-Spaces
离散状态空间扩散的统一起点,建立 transition kernel 与 absorbing mask 的基本语言。
START HERE
先读 12 篇主干论文,理解范式怎样从离散扩散走向大模型、混合架构与 flow maps,再按自己的问题深入。
必读建立主干;推荐补齐分支;前沿追踪新进展;背景提供必要上下文。
2021 · Discrete
离散状态空间扩散的统一起点,建立 transition kernel 与 absorbing mask 的基本语言。
2022 · Continuous
第一波连续文本扩散的代表作,展示 embedding-space diffusion 的可控生成能力。
2024 · Discrete
建立 score-entropy / ratio-estimation 路线,是理解现代离散扩散目标的核心论文。
2024 · Discrete
现代 masked DLM 的简洁强基线,适合把理论目标与实际训练配方连起来。
2025 · Hybrid
用 block factorization 展示 AR 与全序列 diffusion 之间不是二选一,而是一条连续谱。
2026 · Continuous
2026 年连续路线回归的代表性工作,系统比较连续与离散建模。
2026 · Continuous
用现代训练与评测重新审视连续扩散的规模化结论。
LATEST VERIFIED
“最新”按论文首次公开日期排序,避免旧论文因新版修订重新跳到榜首。
综述与导读
Sophia Tang, Chanhyuk Lee, Floor Eijkelboom +1
Paper ↗潜空间与层级表示
William Xingxu Chen, Alexi Gladstone, Zeyu Michael Li +2
Paper ↗推理与系统
Chanakya Ekbote, Artidoro Pagnoni, Devendra Singh Sachan +5
Paper ↗连续 Token 扩散
Oscar Davis, Daan Roos, Alice Bizeul +5
Paper ↗流映射与蒸馏
Jiayu Liu, Ruizhi Zhao, Tianyun Ji +3
Paper ↗潜空间与层级表示
Hermann Kumbong, Ishan S. Khare, Iddah Mlauzi +6
Paper ↗BROWSE BY RESEARCH FAMILY
以离散扩散、连续扩散、Flow 与混合架构为方法主线,并将系统、智能体等研究问题纳入同一索引。点击任一类别即可进入对应论文列表。
直接在 token 状态上进行 multinomial、masked 或 CTMC 扩散。
xₜ ∈ 𝒱ᴸ19 papers ↘在 one-hot、bit 或 token embedding 空间中加入连续噪声。
zₜ ∈ ℝᴸˣᵈ15 papers ↘组合 AR、离散与连续过程,包括 block diffusion 与模型转换。
AR ↔ DLM11 papers ↘用 flow maps、consistency 与蒸馏压缩生成轨迹。
many steps → few12 papers ↘在 contextual、segment、sentence 或 thought latent 上生成。
token → concept12 papers ↘采样、缓存、speculative decoding、并行推理与开放框架。
latency ↓ throughput ↑7 papers ↘研究 dLLM 作为智能体骨干、规划器或世界模型时的多轮决策、工具调用与交互效率。
plan ↔ act ↔ observe5 papers ↘THE LIBRARY
按标题、作者或标签搜索;按类别与阅读层级过滤。每条记录链接到论文的一手页面。
为什么读以连续语言表示、训练目标和推理策略为主线,系统梳理连续扩散与流语言模型,并连接少步生成、流映射、蒸馏和可微引导。适合作为连续 dLLM 方向的综述入口,对照理解并行解码中的依赖建模、规模化进展与评测问题;项目主页另提供交互式研究地图和分类文献列表。
为什么读在潜在推理状态上学习能量函数,以能量梯度驱动递归更新、梯度范数决定停止、能量值筛选候选解,并通过状态空间探索训练覆盖多种有效解。适合作为研究 dLLM 潜空间迭代精炼、自适应计算与候选选择的背景阅读。实验聚焦数独、迷宫、N 皇后和图着色,向语言建模与更大规模推理任务的迁移仍是开放问题。
为什么读研究自回归 Transformer 的循环位置、逐轮低秩适配器与跨循环并行,比较参数量、训练计算和解码效率之间的取舍。文中的并行化发生在循环阶段,生成仍为自回归;可作为研究 dLLM 参数共享、迭代计算与效率评测的架构背景,论文未验证这些设计在扩散模型中的效果。
为什么读分析自条件如何缓解训练与推理的状态分布失配,以无需额外前向计算的 DoubleCat 和加入离散揭示的 SemiCat 改进连续语言生成,并研究 token 可辨识性与 embedding 几何,为连续 dLLM 的训练设计提供消融依据。
为什么读将 drifting 推广到连续 token 表示序列,通过依赖当前生成上下文的吸引与排斥场,直接训练一次前向生成整段文本的映射。它并非对已有扩散轨迹的蒸馏,可与 Flow Maps 和少步 dLLM 对照阅读。
为什么读用多尺度残差 VQ-VAE 将文本编码为层级离散潜变量,再由 Transformer 逐层生成、层内并行预测。它并非扩散去噪,而是潜空间语言生成的重要对照路线,适合比较表示压缩、顺序生成深度与每步计算成本对质量和速度的影响。
为什么读将 CoBit 的连续比特流扩散用于图文、语音—文本和蛋白质序列—结构建模。各领域分别训练模型,在每个模态组合内共享去噪器与预测头,通过保留观测比特实现联合生成和训练所覆盖的条件生成,适合研究连续语言扩散向多模态统一表示与生成的扩展。
为什么读将连续 token 扩散扩展到 3B/8B 规模,以 AR 权重热启动并联合学习低维 embedding;分析 CFG、score temperature 与少步蒸馏对数学推理和代码生成的作用,为比较连续与离散 dLLM 的生成质量、多样性和推理成本提供大规模实验依据。
为什么读提出训练-free 的稀疏跳率 proposal control,为离散扩散与 dLLM 的 tilted sampling 提供保持目标路径不变的机制;当前在有限状态 CTMC 与 Ising 任务验证,代表从权重重采样走向 proposal 设计的最新方向。
为什么读首次对 masked、uniform 与 Gaussian 三类 dLLM 的并行采样能力给出细粒度理论比较,并证明不同范式之间可出现可证分离。
为什么读以时间无关的离散 Beckmann flow 直接学习固定点生成映射,无需教师模型蒸馏即可实现一到少步语言生成,并将额外函数评估转化为迭代精炼。
为什么读从延迟、能耗、带宽和可靠性出发梳理 dLLM 在移动边缘智能体中的系统机会与开放问题。
COURSES & LEARNING
学习资源与论文分开收录。优先选择能系统连接扩散语言模型理论、方法与实践的课程、长文和公开材料。
Author · Sophia Tang, Shiyi Wang
从离散生成的一步与少步瓶颈出发,以单纯形上的自治流和 Beckmann 守恒条件解释如何直接从数据学习时间无关流的端点映射,并介绍无需教师模型的一步生成与固定点迭代细化。
为什么推荐它是 Discrete Beckmann Transport 论文的交互式直觉伴读,适合串联单纯形 flow、flow map、无教师蒸馏替代方案,以及语言建模与推理中的一步生成。
Author · Sander Dieleman
从扩散 ODE 的局部速度积分出发,统一解释 Flow Map、Consistency Models 与 MeanFlow,系统比较 compositionality、Lagrangian 与 Eulerian 三类一致性条件,以及蒸馏、从零训练、少步采样、奖励引导和离散数据扩展。
为什么推荐适合在 Flow Matching 基础之后进入一步与少步语言生成;其中 Discrete data 一节直接串起 Categorical Flow Maps、Flow Map Language Models、Discrete Flow Maps 与 CDCD。
Instructor · Pranam Chatterjee
以离散状态建模为核心的研究生课程,从概率输运、ODE/SDE 与连续扩散和 flow 出发,系统讲授离散扩散、离散 Flow Matching、引导、一步与少步 Flow Maps、最优输运、随机控制和 Schrödinger Bridges。
为什么推荐课程同时提供推导、代码、例题与前沿研究材料,适合在完成核心论文路径后建立更完整的数学框架。
Author · Alex Wang
从外积记忆和最小二乘出发,将线性层、MLP 与 self-attention 解释为联想记忆,用检索干扰与容量比较不同结构,并配有交互演示和实验代码。
为什么推荐作为 Transformer 架构的背景阅读,帮助区分权重中的参数化记忆与上下文中的非参数化检索,而非扩散方法教程。文中的容量估计基于随机键值与单层检索假设,不等同于训练后语言模型的知识容量。
Author · Goomba AI Lab
回顾从层级 RNN、S4 与 SaShiMi 到 H-Net 的研究过程,解释固定宽度压缩用于语言时遇到的问题,以及信息量启发式、可微离散选择和端到端动态分块之间的联系。
为什么推荐适合在阅读 H-Net 技术细节前理解其问题来源,为 dLLM 的表示压缩、层级建模与计算分配提供背景。建议按 Past、Future、Cartesia From Tokens to Bytes 的顺序阅读。
Author · Goomba AI Lab
围绕动态分块提出多模态时间对齐、语言推理、长上下文与混合架构的研究设想,并讨论 H-Net 与 speculative decoding 的结构联系及训练、推理中的工程挑战。
为什么推荐适合为层级 dLLM 和多模态生成整理研究问题,区分理论计算量与实际运行效率。文中的多项判断是作者提出的假设,可与后续 Cartesia 系列中的规模化证据对照阅读。
Author · Cartesia Research
介绍 H-Net 如何从原始字节中学习动态分块与多层抽象,并通过受控的 BPE 对照、规模化实验和交互图分析计算效率及上下文相关的分块行为。
为什么推荐适合为 dLLM 的表示压缩与层级设计建立背景。可与 CoBit 对照:H-Net 从字节中学习分块,CoBit 则将已有 token 编码为比特流;两者改变语言表示的方式不同。建议先读本篇,再读下篇的分词与评测分析。
Author · Cartesia Research
比较字节 Transformer、不同预分词设置的 BPE、H-Net 与 BLT-like 模型,分别分析计算量到预训练损失、预训练损失到下游表现的关系,并解释提示边界与分词边缘化如何影响评测。
为什么推荐适合在上篇之后阅读,为比较 token、byte 和压缩表示的 dLLM 提供实验设计思路:统一数据、计算预算与字节归一化指标,同时区分预训练效率和下游迁移表现。文中的证据来自自回归预训练实验。
MAINTENANCE
按 dLLM、masked diffusion、flow map、agentic dLLM、tool use 等关键词检索 arXiv 候选。
自动化只创建候选清单;相关性、主分类和“为什么值得读”由实验室成员确认。
数据校验、去重与构建检查通过后,网页自动更新;用 first-posted 日期维护 Latest。
SOURCES & CREDIT
完整导入其 81 条参考文献,并保留原始编号。
作为 Flow Map 进阶导读;dLLM 直接相关论文保留来源编号,通用基础方法归入 Diffusion + Flow Reading Map。
作为领域 watchlist 与交叉核查来源;本站分类、数据与中文导读独立整理。
标题、作者、首次公开日期和链接以一手论文页面为准。