Sana：NVIDIA 高效图像与视频生成框架

GitHub: NVlabs/Sana

Sana 想解决的，不是"能不能生成 4K 图"，而是"普通显卡能不能生成 4K 图"。1.6B 参数量、8GB 显存跑 4K、秒级出图，整个系列的项目定位都压在效率这一端，再以它为轴铺开图像、视频、世界模型一整条产品线。下面先给一张产品地图，再逐条拆解它怎么做到、适合谁用、什么时候不必用它。

这套框架其实分三条主线

把 Sana 拆开看，它不是一个模型，而是分布在三条独立主线上的产品矩阵。先分清再讲细节：

三条主线服务不同读者：图像线给"要快出图、要跑得动"的人，视频线给"研究视频与世界模型"的人，Sol-RL 给"要自己微调"的人。后文按主线分别讲，最后用一个生成任务把它们串起来。

图像主线：怎么把 4K 塞进 8GB

Sana-Image：小模型 + 硬压缩

1.6B 参数的模型支持最高 4096×4096 分辨率。要理解"小模型跑大图"，得先分清两个独立环节：显存压力和计算量。参数量决定权重占多少显存，分辨率决定去噪计算量。Sana 用两条路分别应对。

• 4bit 量化：权重从 BF16 压到 4bit，配合 model offload 把不参与当前计算的部分换出显存，8GB 显存才装得下 4K 推理。这两招省的是权重显存，不是计算量。
• Linear DiT：用线性注意力替代传统 attention，把去噪阶段的算力成本降下来，长序列（4K 图、长视频）才跑得动。这是架构层面的减负，和量化省的是两回事。

Sana-1.5：不训练，用推理时计算换质量

ICML 2025 收录。推理阶段把计算资源分配调整得更合理，换来生成质量提升，不需要额外训练。适用场景明确：不想动模型、愿意多花推理时间的人。

Sana-Sprint：单步生成

ICCV 2025 Highlight。把多步去噪收敛到接近单步，目标是实时或近实时交互——例如交互式图像编辑这类"等不了几秒"的场景。以下性能数据均为项目方声明，属示意性质，见文末口径说明。

视频主线：从图到世界模型

Sana-Video：720p 长视频

ICLR 2026 Oral。用 LTX-VAE 做视频压缩，支持文生视频和图生视频。它和 Sana-Image 的差别不只是多一维时间轴，而是 VAE 压缩目标从"单帧重建"变成"帧间一致压缩"，这是长视频不抖的关键。

Sana-WM：可控世界模型（2026-05 新发布）

2.6B 参数的可控世界模型，支持 720p、1 分钟视频生成，带 6-DoF 相机控制。论文：arXiv:2605.15178。定位不是又一个"生成视频的模型"，而是给 Embodied AI 和 World Modeling 提供可操控的场景推演基准——相机能动，意味着可用来测试"模型怎么在环境里预测下一步"。

一个任务怎么流过系统：生成一张 4K 图

把抽象机制缝起来看一次真实流程，以 diffusers 后端跑一张 4K 图为例：

1. 装载：SanaPipeline.from_pretrained 加载 4K 权重，4bit 量化 + accelerate 的 offload 让峰值显存落进 8GB。
2. 文本编码：提示词转成条件向量，作为去噪过程的引导。
3. VAE 压缩：DC-AE 先把要做的工作压到低分辨率隐空间，降低每步去噪规模。
4. 线性去噪：Linear DiT 在隐空间逐时间步去噪。这里省下的算力直接决定这条流程能不能在消费级 GPU 上跑。
5. VAE 解码回图：隐空间重建回 4096×4096 像素，落盘。

一句话：量化管显存装不装得下，Linear DiT 管算力跟不跟得上，DC-AE 管中间量有多大。三者砍的是不同账本，别混为一谈。

benchmark 怎么读

本文涉及的延时与显存数据（如"20 秒生成 4K"“8GB 显存”）都来自项目方声明或仓库示意，不是我们独立复现的结果。能据此判断的只有两件事：这类模型确实把 4K 的门槛拉到了消费级 GPU，以及单步生成确实把时延压到了秒级。

不能据此推出两件事：第一，不同框架之间孰快孰慢的精确排名——测的环境、batch size、提示长度不同，数字不可直接相减；第二，Sana 与 FLUX、SD3.5 在主观画质上的高低——效率数字回答不了质量偏好的问题。

快速上手

# diffusers 方式
from diffusers import SanaPipeline, SanaPAGPipeline

pipe = SanaPipeline.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers")
image = pipe("a beautiful sunset over the ocean").images[0]

# 4K 生成（8GB 显存可用）
pipe_4k = SanaPipeline.from_pretrained("Efficient-Large-Model/Sana_1600M_4Kpx_BF16_diffusers")
image_4k = pipe_4k("a detailed landscape at 4k resolution").images[0]

# SGLang 服务
python -m sglang.launch_server --model-path Efficient-Large-Model/Sana_1600M_1024px_BF16
# OpenAI 兼容 API，curl 调用
curl -X POST http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "a cat"}]}'

后端怎么选，落在三个维度上：有没有 NVIDIA GPU、跑图还是跑视频、要实时还是要可接受几秒延迟。diffusers 是研究与开发的通用 Python API；SGLang 提供 OpenAI 兼容接口、适合生产部署；ComfyUI 是节点式工作流、更适合艺术创作者。

谁该用、谁可以等

按采用优先级排：

1. 消费级 GPU 且要高分辨率出图：这是 Sana 的主场。8GB 就能跑 4K 的前提是它最先兑现的。
2. 要实时交互式出图：Sana-Sprint 的价值就在这。愿意多花推理时间要更高的质量，再看 Sana-1.5。
3. 做视频/世界模型研究：Sana-Video 与 Sana-WM 的分量在这类场景才体现出来。

可以等等、或者不必用的：

• 产量型生产服务：先自测 SGLang 在自己负载下的显存与吞吐，别直接信项目页的数字。
• 画质优先而非效率优先：追求主观质量上限、且接受更高显存与成本时，FLUX、SD3.5 仍是候选，Sana 的强项不在这个象限。

学习目标

读到这里你应该能：

1. 区分 Sana-Image、Sana-1.5、Sana-Sprint、Sana-Video、Sana-WM、Sol-RL 六块，说清各自解决什么问题、何时该选哪个。
2. 按硬件（GPU 型号、显存）与场景选择后端：diffusers、SGLang、ComfyUI。
3. 用 diffusers 生成 1024px 与 4K 图像，并能解释 8GB 显存跑 4K 的原理（4bit 量化 + model offload）。
4. 用 Sana-Video 生成 720p 视频、用 Sana-WM 生成带相机控制的 1 分钟视频。
5. 讲清 Sana 的适用边界：在哪些场景它更合适，什么时候该转向 FLUX、SD3.5。

自测题

1. Sana 六大模块分别适用什么场景？

2. 如何选择 Sana 的后端？要看哪些因素？

3. 用 diffusers 生成 4K 图像，关键代码是什么？

from diffusers import SanaPipeline

pipe = SanaPipeline.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers")
image = pipe("a beautiful sunset over the ocean").images[0]

pipe_4k = SanaPipeline.from_pretrained("Efficient-Large-Model/Sana_1600M_4Kpx_BF16_diffusers")
image_4k = pipe_4k("a detailed landscape at 4k resolution").images[0]

4. 用 SGLang 部署并调用 Sana，关键命令是什么？

python -m sglang.launch_server --model-path Efficient-Large-Model/Sana_1600M_1024px_BF16
curl -X POST http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "a cat"}]}'

5. Sana 的技术特色分别带来什么优势？

练习

练习 1：在 4090 工作站上部署

场景：一台带 RTX 4090（24GB 显存）的工作站，要用于 4K 图像生成。

任务：

1. 选后端（diffusers 还是 SGLang），说明理由。
2. 写出安装命令。
3. 用一个简单示例验证安装。

练习 2：生成 4K 并评估显存

场景：生成 4K 图，确认显存占用是否控制在 8GB 内。

任务：

1. 写生成 4K 图的关键代码。
2. 说明如何评估显存占用。
3. 显存不足时如何优化。

进阶路径

读到这里，下一步可以选：

1. 读 SanaPipeline 源码：弄明白 Linear DiT、DC-AE 的具体实现，理解效能数字从哪来。
2. 打开 diffusers 调试日志：观察 4K 生成过程中显存占用的变化曲线。
3. 压推理性能：4bit 量化、model offload、FlashAttention 逐项试，记录各自对时延和显存的影响。
4. 包成 API 服务：用 FastAPI 或 Flask 把 Sana 部署成可调用的服务。
5. 研究视频生成：读 Sana-Video 论文，看图像模型如何扩展到视频、帧间一致怎么解决。
6. 参与社区：在 GitHub 提 issue 或 PR，修 bug、补功能、改进文档。

资料口径说明

1. 本文基于 Sana 仓库 README、论文（ICLR 2025/2026 等）与源码。实现会随版本演进变化，以最新 main 分支为准。
2. 性能数据与硬件要求在本文中是示意性的，源自项目方声明；实际以你的提示长度、分辨率、batch size 自测为准。本文不将其当作可跨框架对比的确凿 benchmark。
3. 第三方服务的认证流程以各服务商官方文档为准，本文只做概览。
4. 与 FLUX、SD3.5 等其他框架的比较基于公开信息，可能随版本更新变化。如果对比信息过时，欢迎指正。

结尾判断

Sana 在"质量 vs. 效率"的取舍里明确站在效率这一端：1.6B 级别的模型、8GB 显存的约束、秒级出图，把高分辨率 AI 生图从 H100 拉到消费级 GPU 上。它的价值不是在所有维度超越同类，而是在"普通硬件上快跑出高分辨率"这条路上做得最激进、生态最完整。真要判断要不要用，先问自己：我是不想买大显存，还是想要最好的画质——前者的答案是 Sana，后者要另行比较。