PersonaPlex：NVIDIA 全双工对话语音模型完全指南

读完这篇指南，你会做到：

• 说清全双工语音模型和「ASR → LLM → TTS」级联方案的差别，以及为什么延迟和打断体验差这么多
• 说出 PersonaPlex 在 Moshi 基础上加了什么，Mimi 编解码器、Helium 骨干、双流结构和两层 Transformer 分别干什么
• 装好依赖、从源码编译仓库，在本地跑起实时交互服务器
• 区分 18 个预置声音的分类与命名规律，按场景挑对声音
• 用文本提示词定义角色、用语音片段克隆音色，实现"人设 + 声音"双维控制
• 跑离线评估：从 wav 输入到 wav 输出，验证角色提示词的效果

0. 这篇指南适合谁，以及它讨论的范围

适合想用开源方案做实时语音对话、又想要自定义人设的工程师。文中命令与接口以官方仓库 main 分支 README 为准（2026-09-27 抓取，仓库最近一次推送在 2026-03-02）；你本地克隆到的版本如果有出入，以你手上的仓库为准。

1. 项目概述

1.1 是什么

PersonaPlex 是 NVIDIA 开发的实时全双工语音对话模型。它用文本角色提示词定义"你是谁、怎么说话"，用音频声音条件规定"用什么音色说"，让语音助手既有自然人的语感，又能随场景切换身份。论文把这两路输入合称为混合系统提示词（hybrid system prompts）：角色条件走文本，声音条件走语音样本——后者本质上就是零样本语音克隆。

1.2 它解决了什么问题

要明白 PersonaPlex 的价值，先看它之前两条路的短板：

级联方案（ASR → LLM → TTS）

• 语音识别（ASR）转文字 → 语言模型（LLM）出答案 → 语音合成（TTS）转回音频
• 每多一个环节就多一次延迟，逐级累积后明显高于端到端方案
• 中间只传文字，语气、停顿、情绪这类副语言信息全部丢失
• 严格的是"我说完你再说"的回合制，处理不了打断和重叠说话

全双工模型（如 Moshi）

• 单一模型边听边说，Kyutai 实测 Moshi 理论延迟 160 毫秒、在 L4 GPU 上端到端约 200 毫秒
• 但这类模型通常锁定单一角色和单一音色，无法用于客服、教学等需要区分身份的务实场景

PersonaPlex 把两者结合：保留全双工的自然感，又通过提示词和音色条件解开角色限制。此前的方案选择是二选一，它是两者都要。

1.3 核心数据

1.4 与其他方案的对比

论文实验的结论是：在角色一致性、说话人相似度、延迟和自然度四个维度上，PersonaPlex 超过了当时的端到端双工模型和「LLM + 语音」混合系统。他们还把 FullDuplexBench 基准从单一助手角色扩展到了多角色客服场景，专门衡量角色条件的成色。

2. 核心技术：为什么能做到自然对话

2.1 全双工意味着什么

半双工是"一方说完、另一方接话"的严格轮换；全双工允许同时听说、随时打断。下面用一组示意对话对比两种体验：

# 半双工（传统语音助手）：
用户: "明天几点能到？"      ← 把话说完，等回应
助手: "预计明天上午十点。"   ← 说完，机器等下一句
用户: "能再早点吗？"        ← 再走一轮

# 全双工（PersonaPlex）：
用户: "那能不能提前——"      ← 说到一半被打断思路
助手: "你是想问能不能加急？"
用户: "对，可以的话——"
助手: "已申请加急，明早送到。"

全双工的价值不只是"快"，而是把对话从排队机变成人与人之间的你来我往：能确认、能插话、能用"嗯嗯"“哦"这类反馈词表示在听。这些恰恰是级联方案丢失的东西。

2.2 它如何一边听一边说

PersonaPlex 继承 Moshi 的双流结构：一路流跟踪用户音频，一路流跟踪智能体自己的文本和音频。智能体的文本流有个形象的名字——内心独白（inner monologue）：模型在出声的同时显式预测自己正在说的词，Kyutai 报告这种设计能明显提升生成质量。两条流进入同一个模型，所以它开口的同时仍能接收并理解用户的输入——用户一旦插话，模型能根据最新的声音调整回应。

音频以 24 kHz 采样，通过 Mimi 神经编解码器把波形转成离散 token。Mimi 把 24 kHz 音频压到 12.5 Hz 的 token 流（码率 1.1 kbps），完全流式工作，帧延迟 80 毫秒；编码器和解码器里都加了 Transformer，第一个 codebook 通过蒸馏对齐 WavLM 的表征，让一组 token 同时携带语义和声学信息。

模型本体是两层 Transformer：大的 **Temporal Transformer（7B，底座是 Helium LLM）**负责跨时间步的依赖，小的 Depth Transformer 负责同一时间步内各 codebook 之间的依赖。

2.3 架构图

  用户音频（24 kHz）
       │
       ▼
 ┌───────────┐  音频 token   ┌─────────────────────────────┐
 │    Mimi   │ ───────────▶ │ Temporal Transformer（7B）   │
 │  编码器    │              │ 底座：Helium LLM             │
 └───────────┘              │                             │
                            │  用户流：   音频 token        │
                            │  智能体流： 文本 + 音频 token  │
                            │           （文本 = 内心独白）  │
                            │                             │
                            │  Depth Transformer（小型）：  │
                            │  同一时间步内的 codebook 依赖  │
                            └──────────────┬──────────────┘
                                           ▼
                                    智能体音频 token
                                           │
                                    ┌──────▼──────┐
                                    │  Mimi 解码器 │
                                    └──────┬──────┘
                                           ▼
                                  智能体语音（24 kHz）

（图为本文自绘示意，结构对应官方架构图；ASCII 无法画出的细节以论文和官方图为准。）

2.4 双重控制：文本角色 + 声音条件

• 文本角色提示词：决定说什么、什么身份、什么风格，例如"你是这家店的客服，负责确认订单”。
• 声音条件（voice conditioning）：一段音频对应一种声音特征，音高、语速、口音随之确定。给一段语音样本，就能让回复沿用同样音色——也就是零样本语音克隆。

两者解耦：同一句人设提示词可以配不同音色，同一音色也可以放到不同人设里。

3. 预置声音

3.1 分类与命名

官方固定打包的声音按"自然（NAT）/ 多样（VAR）“和性别分四组：

NAT 组更接近日常说话、更适合通用助手；VAR 组性格差异更明显，适合创意角色。命名即地址：前缀表类别和性别，末位是同组内的编号。

3.2 按场景选声音

没有绝对答案——先把预置声音各试一轮，记住差异后再定。

4. 角色提示词：怎么写

模型在固定的助手角色和多个客服角色上训练过，提示词直接复用官方给出的风格即可。训练数据两条线：合成对话用开源 LLM 生成提示词和对话、TTS 合成语音；开放闲聊则来自 Fisher English 真实语料，配 LLM 标注的提示词。

4.1 默认助手角色

官方固定的助手提示词：

You are a wise and friendly teacher. Answer questions or provide advice in a clear and engaging way.

它同时用于 FullDuplexBench 基准中"用户打断处理（User Interruption）“类别的评估。

4.2 客服类角色

客服提示词把组织、姓名、规则一起写进提示词。官方示例（可直接改）：

You work for CitySan Services which is a waste management and your name is Ayelen Lucero.
Information: Verify customer name Omar Torres. Current schedule: every other week.
Upcoming pickup: April 12th. Compost bin service available for $8/month add-on.

You work for AeroRentals Pro which is a drone rental company and your name is Tomaz Novak.
Information: PhoenixDrone X ($65/4 hours, $110/8 hours), and the premium SpectraDrone 9
($95/4 hours, $160/8 hours). Deposit required: $150 for standard models, $300 for premium.

规律很清楚：说明你代表谁、你的名字、需要遵守的业务规则和关键数据。字越多、约束越具体，模型越不容易跑偏。

4.3 随意聊天类角色

开放对话用较短的提示词即可，官方示例：

You enjoy having a good conversation.

You enjoy having a good conversation. Have a reflective conversation about career changes
and feeling of home. You have lived in California for 21 years and consider San Francisco your home.
You work as a teacher and have traveled a lot. You dislike meetings.

这条语料线解释了模型为什么擅长自然、随意的长对话。短提示词对应 FullDuplexBench 的停顿处理（Pause Handling）、反馈词（Backchannel）、平滑接话（Smooth Turn Taking）三个类别。

4.4 分布外泛化

因为模型是在 Moshi 权重上微调、底层是 Helium 骨干，它对超出训练分布的提示词也能给出合理回应。官方在 WebUI 里展示的"火星宇航员"例子就是这种即兴能力：同样的架构，输入一个训练时没见过的科幻场景，模型仍能接住话并维持人设。

You enjoy having a good conversation. Have a technical discussion about fixing a reactor core
on a spaceship to Mars. You are an astronaut on a Mars mission. Your name is Alex. You are already
dealing with a reactor core meltdown on a Mars mission. Several ship systems are failing, and
continued instability will lead to catastrophic failure. You explain what is happening and you
urgently ask for help thinking through how to stabilize the reactor.

这不是承诺，而是行为倾向：模型能"即兴发挥”，但结果不保证正确，也不受事实约束。

5. 安装

5.1 前置：Opus 编译依赖

Opus 是音频编解码的编译依赖（注意它与模型内部的 Mimi 编解码器是两个东西，前者用于本地音频处理）：

# Ubuntu / Debian
sudo apt install libopus-dev

# Fedora / RHEL
sudo dnf install opus-devel

5.2 从源码安装

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex

# 安装依赖
pip install moshi/.

Blackwell GPU 如果遇到问题，按官方 issue 建议补充安装对应 CUDA 版本的 PyTorch：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

5.3 接收模型许可

模型权重在 HuggingFace 上，需要先接受许可：

# 1. 登录并接受许可
#    https://huggingface.co/nvidia/personaplex-7b-v1

# 2. 设置认证 Token
export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>

6. 使用

6.1 启动实时交互服务器

临时生成 SSL 证书并以 https 方式启动：

SSL_DIR=$(mktemp -d)
python -m moshi.server --ssl "$SSL_DIR"

脚本会打印一个访问地址。本地运行直接访问 localhost:8998；远端运行时以脚本打印的链接为准。

显存不足时用 CPU 卸载：把模型层卸载到 CPU，需要先装 accelerate：

pip install accelerate

SSL_DIR=$(mktemp -d)
python -m moshi.server --ssl "$SSL_DIR" --cpu-offload

6.2 在浏览器中使用 WebUI

打开服务器打印的地址即可开始实时语音对话。角色提示词在界面中填写——官方在 WebUI 里预置了"火星宇航员"等示例提示词（见 4.4）；声音由预置声音嵌入指定（见第 3 节）。

6.3 离线评估

离线脚本读入一段 wav，输出同时长的 wav 和转录文本。先设置 Token：

export HF_TOKEN=<TOKEN>

纯助手模式（固定角色）：

python -m moshi.offline \
    --voice-prompt "NATF2.pt" \
    --input-wav "assets/test/input_assistant.wav" \
    --seed 42424242 \
    --output-wav "output.wav" \
    --output-text "output.json"

客服模式（指定角色提示词）：

python -m moshi.offline \
    --voice-prompt "NATM1.pt" \
    --text-prompt "$(cat assets/test/prompt_service.txt)" \
    --input-wav "assets/test/input_service.wav" \
    --seed 42424242 \
    --output-wav "output.wav" \
    --output-text "output.json"

显存不足同样可加 --cpu-offload；纯 CPU 跑离线评估可装 CPU 版 PyTorch。

7. 完整示例：构建一个角色语音助手

以"意大利餐厅服务员"为例，走一遍角色和声音的组合。提示词仿照 4.2 的官方格式自拟：

You work for Roma Italiano which is an Italian restaurant and your name is Marco.
Specialities: Margherita pizza ($14), Spaghetti Carbonara ($16), Tiramisu ($8).
We offer outdoor seating and takeout. Open Tue-Sun 11am-10pm.

声音选自然男声 NATM0（WebUI 中选定，或命令行里 --voice-prompt "NATM0.pt"）。开始对话后大致是这样的效果（示意，非真实输出）：

用户: "你们有素食吗？"
AI:   "有。玛格丽塔披萨是素的，另外意面可以做成素版。"

再换一个"火星宇航员"角色——提示词直接用 4.4 的官方文本，声音换 NATF2——可以演示分布外泛化（对话片段同为示意）：

用户: "反应堆温度还在涨？"
AI:   "对，已经高过安全线了。先查冷却回路，我需要你帮我确认阀门状态。"

角色靠文本提示词，音色靠声音条件。改人设就改文本，改声音就换条件，两者独立。

8. 常见问题排查

启动时报 SSL 或端口错误：

# 用临时证书重新启动
SSL_DIR=$(mktemp -d)
python -m moshi.server --ssl "$SSL_DIR"

GPU 显存不足：

pip install accelerate
python -m moshi.server --ssl "$SSL_DIR" --cpu-offload
# 纯 CPU 离线评估可装 CPU 版 PyTorch
pip install torch --index-url https://download.pytorch.org/whl/cpu

HuggingFace 认证失败：

echo $HF_TOKEN          # 确认已设置
export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>   # 未设置则补上

音色不理想： 先在预置声音里多试几个。官方对两组的定位是：NAT 更自然、更接近日常对话，VAR 更多样——拿不准就从 NAT 组开始。注意音频质量不只取决于声音，还受输入音频质量和网络环境影响。

9. 总结

PersonaPlex 的价值在于同时解决了两个此前互斥的问题：全双工的自然度，和角色/音色的可定制性。它的全双工来自 Moshi 的架构与权重，角色控制来自文本提示词，音色控制来自语音条件，底层 Helium 骨干提供了超出训练分布的泛化。

它适合的场景：

• 客户服务：带业务规则、需要区分身份的电话机器人
• 在线辅导：清晰、可打断的讲解助手
• 角色扮演 / 娱乐：自定义人设与音色的语音伙伴
• 无障碍交互：自然打断的语音操作

它有明确边界：

• 7B 参数量，需要 GPU（可用 CPU 卸载缓解显存）
• 分布外泛化不保证事实正确
• 音色与角色由提示词约束，效果依赖提示词质量

官方资源：

• 代码：https://github.com/NVIDIA/personaplex
• 模型权重：https://huggingface.co/nvidia/personaplex-7b-v1
• 论文：https://arxiv.org/abs/2602.06053
• 官方 Demo 与介绍：https://research.nvidia.com/labs/adlr/personaplex/
• 社区：https://discord.gg/5jAXrrbwRb

附：改完本文后你应该能自己验证的清单

• 说出级联方案丢掉了哪两类信息（延迟损耗、副语言信息）
• 解释双流结构如何实现"边听边说”，以及内心独白指什么
• 说出 Mimi 编解码器与 Opus 在本文中的不同角色
• 说出 Temporal Transformer 和 Depth Transformer 各管什么
• 独立写一个带业务规则的服务角色提示词
• 从离线评估命令跑通一次 wav → wav

参考来源与口径说明

• 仓库元数据（stars 10,581、forks 1,473、创建于 2026-01-05、最近推送 2026-03-02、语言 Python、代码 MIT）：GitHub API，2026-09-27 读数。
• 命令、18 个声音列表、全部官方提示词（助手 / CitySan / AeroRentals / 闲聊 / 火星宇航员）、Opus 依赖与 Blackwell 备注说明：NVIDIA/personaplex main 分支 README，2026-09-27 抓取。
• 模型元数据（nvidia/personaplex-7b-v1、下载量 194,423、base_model 为 kyutai/moshiko-pytorch-bf16 的微调、权重许可 NVIDIA Open Model）：HuggingFace API，2026-09-27 读数。
• 论文要点（混合系统提示词、开源 LLM + TTS 合成训练数据、FullDuplexBench 多角色扩展、角色一致性 / 说话人相似度 / 延迟 / 自然度的实验结论）：arXiv:2602.06053 摘要。
• 双流结构、内心独白、Temporal Transformer 7B 与 Depth Transformer 分工、Mimi 参数（24 kHz / 12.5 Hz / 1.1 kbps / 80 毫秒帧延迟 / WavLM 蒸馏）、Moshi 延迟（理论 160 毫秒、L4 GPU 实测约 200 毫秒）：kyutai-labs/moshi main 分支 README（Model architecture 与 Mimi 节）。
• 2.3 架构图与 2.1、第 7 节的对话片段为本文示意，非模型真实输出；第 7 节意大利餐厅提示词为本文仿官方格式自拟。
• 本文为项目解读与使用指南，非官方文档；英文引文均为原文及其中文翻译。