A RESEARCH INDEX · OCTOBER 2026

扩散语言模型
论文与学习资源

面向学生与研究者的开放学术索引。沿方法脉络建立知识结构,以首次公开日期追踪进展,并将论文、课程与长文连接为可执行的阅读路径。

START HERE

核心论文
阅读路径

先读 12 篇主干论文,理解范式怎样从离散扩散走向大模型、混合架构与 flow maps,再按自己的问题深入。

SCOPE

必读建立主干;推荐补齐分支;前沿追踪新进展;背景提供必要上下文。

09

2025 · Hybrid

The Diffusion Duality

连接高斯连续扩散与 uniform-state 离散扩散,是理解混合方法的重要桥梁。

↗
10

2026 · Flow maps

Categorical Flow Maps

把 flow maps 推到 categorical setting,理解一步或少步生成的关键入口。

↗
完成主干后,进入完整论文库 121 papers→

LATEST VERIFIED

最近加入

“最新”按论文首次公开日期排序,避免旧论文因新版修订重新跳到榜首。

BROWSE BY RESEARCH FAMILY

方法分类与
时间索引

以离散扩散、连续扩散、Flow 与混合架构为方法主线,并将系统、智能体等研究问题纳入同一索引。点击任一类别即可进入对应论文列表。

THE LIBRARY

全部论文

按标题、作者或标签搜索;按类别与阅读层级过滤。每条记录链接到论文的一手页面。

121 篇论文

2026alphaXiv
综述与导读

A Survey on Continuous Diffusion and Flow Language Models

Sophia Tang, Chanhyuk Lee, Floor Eijkelboom, Jinwoo Kim

为什么读以连续语言表示、训练目标和推理策略为主线,系统梳理连续扩散与流语言模型,并连接少步生成、流映射、蒸馏和可微引导。适合作为连续 dLLM 方向的综述入口,对照理解并行解码中的依赖建模、规模化进展与评测问题;项目主页另提供交互式研究地图和分类文献列表。

survey 综述continuous diffusion and flow language models 连续扩散与流语言模型language representations 语言表示few-step generation 少步生成
↗
2026arXiv
潜空间与层级表示

Energy-Based Reasoners: Your Recurrent Reasoner Should Be an Energy-Based Model

William Xingxu Chen, Alexi Gladstone, Zeyu Michael Li, Heng Ji +1

为什么读在潜在推理状态上学习能量函数,以能量梯度驱动递归更新、梯度范数决定停止、能量值筛选候选解,并通过状态空间探索训练覆盖多种有效解。适合作为研究 dLLM 潜空间迭代精炼、自适应计算与候选选择的背景阅读。实验聚焦数独、迷宫、N 皇后和图着色,向语言建模与更大规模推理任务的迁移仍是开放问题。

EBRenergy-based reasoning 能量驱动推理latent reasoning 潜空间推理looped models 循环模型
↗
2026arXiv
推理与系统

How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference

Chanakya Ekbote, Artidoro Pagnoni, Devendra Singh Sachan, Shruti Bhosale +4

为什么读研究自回归 Transformer 的循环位置、逐轮低秩适配器与跨循环并行,比较参数量、训练计算和解码效率之间的取舍。文中的并行化发生在循环阶段,生成仍为自回归;可作为研究 dLLM 参数共享、迭代计算与效率评测的架构背景,论文未验证这些设计在扩散模型中的效果。

looped-transformer 循环架构weight-sharing 参数共享loop-specific LoRAParallel Loop Transformer (PLT)
↗
2026arXiv
连续 Token 扩散前沿

On the Design Space of Continuous Diffusion Language Models

Oscar Davis, Daan Roos, Alice Bizeul, Amitis Shidani +4

为什么读分析自条件如何缓解训练与推理的状态分布失配,以无需额外前向计算的 DoubleCat 和加入离散揭示的 SemiCat 改进连续语言生成,并研究 token 可辨识性与 embedding 几何,为连续 dLLM 的训练设计提供消融依据。

continuous-diffusionself-conditioningembedding-geometrytoken-identifiability
↗
2026arXiv
流映射与蒸馏前沿

One-Step Text Generation by Seq-Drifting

Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh +2

为什么读将 drifting 推广到连续 token 表示序列,通过依赖当前生成上下文的吸引与排斥场,直接训练一次前向生成整段文本的映射。它并非对已有扩散轨迹的蒸馏,可与 Flow Maps 和少步 dLLM 对照阅读。

one-step-generationSeq-Driftingcontinuous-token-representationscontext-dependent-supervision
↗
2026arXiv
潜空间与层级表示前沿

Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation

Hermann Kumbong, Ishan S. Khare, Iddah Mlauzi, Andrew Woen +5

为什么读用多尺度残差 VQ-VAE 将文本编码为层级离散潜变量,再由 Transformer 逐层生成、层内并行预测。它并非扩散去噪,而是潜空间语言生成的重要对照路线,适合比较表示压缩、顺序生成深度与每步计算成本对质量和速度的影响。

NCMcoarse-to-finenext-scale-predictionresidual-VQ-VAE
↗
2026arXiv
多模态邻接工作前沿

Multimodal Co-Generation With Continuous Bitstream Diffusion

Georgios Batzolis, Georgios Kontos, Bruno Trentini, Pranam Chatterjee +3

为什么读将 CoBit 的连续比特流扩散用于图文、语音—文本和蛋白质序列—结构建模。各领域分别训练模型,在每个模态组合内共享去噪器与预测头,通过保留观测比特实现联合生成和训练所覆盖的条件生成,适合研究连续语言扩散向多模态统一表示与生成的扩展。

CoBitcontinuous bitstream diffusion 连续比特流扩散multimodal co-generation 多模态联合生成partial denoising
↗
2026arXiv
连续 Token 扩散前沿

Large Language Continuous Diffusion Models

Zhihan Yang, Wei Guo, Jean-Marie Lemercier, Simon Welker +13

为什么读将连续 token 扩散扩展到 3B/8B 规模,以 AR 权重热启动并联合学习低维 embedding;分析 CFG、score temperature 与少步蒸馏对数学推理和代码生成的作用,为比较连续与离散 dLLM 的生成质量、多样性和推理成本提供大规模实验依据。

Sigmacontinuous-diffusion3B/8Bblockwise-generation
↗
2026NeurIPS
离散与掩码扩散前沿

FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models

Yinuo Ren, Haoxuan Chen, Grant M. Rotskoff, Jiequn Han +1

为什么读提出训练-free 的稀疏跳率 proposal control,为离散扩散与 dLLM 的 tilted sampling 提供保持目标路径不变的机制;当前在有限状态 CTMC 与 Ising 任务验证,代表从权重重采样走向 proposal 设计的最新方向。

inference-time controlFeynman-KacSMCtraining-free
↗

COURSES & LEARNING

课程与
学习资源

学习资源与论文分开收录。优先选择能系统连接扩散语言模型理论、方法与实践的课程、长文和公开材料。

01Blog · 长文

Discrete Beckmann Transport · Interactive Blog · 2026 · 理论进阶

How to Train a One-Step Language Model Without a Teacher

Author · Sophia Tang, Shiyi Wang

从离散生成的一步与少步瓶颈出发,以单纯形上的自治流和 Beckmann 守恒条件解释如何直接从数据学习时间无关流的端点映射,并介绍无需教师模型的一步生成与固定点迭代细化。

为什么推荐它是 Discrete Beckmann Transport 论文的交互式直觉伴读,适合串联单纯形 flow、flow map、无教师蒸馏替代方案,以及语言建模与推理中的一步生成。

Discrete Beckmann TransportOne-Step Language ModelingAutonomous FlowFixed-Point RefinementTeacher-Free
02Blog · 长文

Sander Dieleman · Blog · 2026 · 理论进阶

Learning the integral of a diffusion model

Author · Sander Dieleman

从扩散 ODE 的局部速度积分出发,统一解释 Flow Map、Consistency Models 与 MeanFlow,系统比较 compositionality、Lagrangian 与 Eulerian 三类一致性条件,以及蒸馏、从零训练、少步采样、奖励引导和离散数据扩展。

为什么推荐适合在 Flow Matching 基础之后进入一步与少步语言生成;其中 Discrete data 一节直接串起 Categorical Flow Maps、Flow Map Language Models、Discrete Flow Maps 与 CDCD。

Flow MapsConsistency ModelsMeanFlowDistillationContinuous dLLMs
03Course · 课程

University of Pennsylvania · Fall 2026 · 2026 · 研究生课程 · Math-first

CIS 6270: Discrete Generative Models

Instructor · Pranam Chatterjee

以离散状态建模为核心的研究生课程,从概率输运、ODE/SDE 与连续扩散和 flow 出发,系统讲授离散扩散、离散 Flow Matching、引导、一步与少步 Flow Maps、最优输运、随机控制和 Schrödinger Bridges。

为什么推荐课程同时提供推导、代码、例题与前沿研究材料,适合在完成核心论文路径后建立更完整的数学框架。

Discrete DiffusionDiscrete Flow MatchingFlow MapsSchrödinger Bridges
04Blog · 长文

Alex Wang · Interactive Blog · 2026 · 基础背景 · Transformer 与联想记忆

You could have invented transformers from memory

Author · Alex Wang

从外积记忆和最小二乘出发,将线性层、MLP 与 self-attention 解释为联想记忆,用检索干扰与容量比较不同结构,并配有交互演示和实验代码。

为什么推荐作为 Transformer 架构的背景阅读,帮助区分权重中的参数化记忆与上下文中的非参数化检索,而非扩散方法教程。文中的容量估计基于随机键值与单层检索假设,不等同于训练后语言模型的知识容量。

Associative MemoryTransformerSelf-AttentionMLPMemory Capacity
05Blog · 长文

Goomba Lab · H-Nets 系列(上) · 2025 · 架构背景 · 动态分块的研究脉络

H-Nets - the Past

Author · Goomba AI Lab

回顾从层级 RNN、S4 与 SaShiMi 到 H-Net 的研究过程,解释固定宽度压缩用于语言时遇到的问题,以及信息量启发式、可微离散选择和端到端动态分块之间的联系。

为什么推荐适合在阅读 H-Net 技术细节前理解其问题来源,为 dLLM 的表示压缩、层级建模与计算分配提供背景。建议按 Past、Future、Cartesia From Tokens to Bytes 的顺序阅读。

H-NetDynamic ChunkingHierarchical Sequence ModelsState Space ModelsDifferentiable Selection
06Blog · 长文

Goomba Lab · H-Nets 系列(下) · 2025 · 研究展望 · 层级建模与推理效率

H-Nets - the Future

Author · Goomba AI Lab

围绕动态分块提出多模态时间对齐、语言推理、长上下文与混合架构的研究设想,并讨论 H-Net 与 speculative decoding 的结构联系及训练、推理中的工程挑战。

为什么推荐适合为层级 dLLM 和多模态生成整理研究问题,区分理论计算量与实际运行效率。文中的多项判断是作者提出的假设,可与后续 Cartesia 系列中的规模化证据对照阅读。

H-NetMultimodal AlignmentSpeculative DecodingLong ContextEfficiencyResearch Directions
07Blog · 长文

Cartesia · From Tokens to Bytes 系列(上) · 2026 · 架构背景 · 字节建模与层级表示

From Tokens to Bytes I: Scaling Hierarchical Networks

Author · Cartesia Research

介绍 H-Net 如何从原始字节中学习动态分块与多层抽象,并通过受控的 BPE 对照、规模化实验和交互图分析计算效率及上下文相关的分块行为。

为什么推荐适合为 dLLM 的表示压缩与层级设计建立背景。可与 CoBit 对照:H-Net 从字节中学习分块,CoBit 则将已有 token 编码为比特流;两者改变语言表示的方式不同。建议先读本篇,再读下篇的分词与评测分析。

H-NetByte-Level ModelingDynamic ChunkingHierarchical RepresentationsScaling Laws
08Blog · 长文

Cartesia · From Tokens to Bytes 系列(下) · 2026 · 评测背景 · 分词与泛化

From Tokens to Bytes II: Learning from Raw Data

Author · Cartesia Research

比较字节 Transformer、不同预分词设置的 BPE、H-Net 与 BLT-like 模型,分别分析计算量到预训练损失、预训练损失到下游表现的关系,并解释提示边界与分词边缘化如何影响评测。

为什么推荐适合在上篇之后阅读,为比较 token、byte 和压缩表示的 dLLM 提供实验设计思路:统一数据、计算预算与字节归一化指标,同时区分预训练效率和下游迁移表现。文中的证据来自自回归预训练实验。

TokenizationPretokenizationLoss-to-Loss ScalingBits per BytePrompt BoundaryH-Net

MAINTENANCE

论文收录与
更新机制

发现候选

每周检索

按 dLLM、masked diffusion、flow map、agentic dLLM、tool use 等关键词检索 arXiv 候选。

确认内容

人工审核

自动化只创建候选清单;相关性、主分类和“为什么值得读”由实验室成员确认。

发布记录

校验上线

数据校验、去重与构建检查通过后,网页自动更新;用 first-posted 日期维护 Latest。

SOURCES & CREDIT

资料来源与引用说明