Gen-SC

想象一个场景：你在深海作业的潜水器上，需要把一张人脸照片传回岸上。带宽极其有限（几 kbps），信道噪声很大（SNR 5–10 dB），但你真正需要的不是"像素级精确"的图像——你只需要让岸上的人知道：这个人长什么样、什么表情、什么年龄。

传统图像传输的目标是"逐像素还原"。JPEG 压缩后用 LDPC 纠错，或者 DeepJSCC 端到端编码，本质上都在做同一件事：把图像的每个像素尽可能准确地传过去。但在上述场景中，这个目标是错的——你不需要像素，你需要语义。

Gen-SC（Wei et al., 2024）提出了一个极端但优雅的方案：把图像压缩成一句话传输，接收端用微调的扩散模型从这句话重建图像。传输数据量减少 99%，而语义准确率仍保持在 80% 以上。

Gen-SC 的 Pipeline 由三个模块组成，每个模块都有明确的设计动机。

模块 1：语义编码器（BLIP）

发送端用 BLIP 图像描述模型将图像转换为文本描述。选择 BLIP 的理由很直接：它是统一的视觉-语言预训练模型，零样本泛化能力强，生成的描述与图像语义高度对齐。

例如，一张人脸图像会被描述为："A woman with brown hair, smiling"。这个描述只有几十个字符，而原始图像有 512×512×3 = 786,432 个像素值。

模块 2：语义传输器（BART-SC）

文本描述通过 BART-SC 端到端文本信道编码器传输。BART 是一个预训练的去噪自编码器，它的预训练目标就是在噪声条件下恢复文本——这与信道噪声的场景天然契合。

BART-SC 的训练损失是标准的语言模型交叉熵：

其中 $s_t$ 是文本序列的第 $t$ 个 token，$\boldsymbol{h}$ 是经信道传输的嵌入向量。信道模型为 AWGN + 衰落：$y = h \cdot x + n, \quad n \sim \mathcal{N}(0, \sigma^2)$。

BART-SC 联合优化了文本编码、信道编码和文本解码，比分离式方案（先压缩文本再纠错）更鲁棒。

模块 3：语义解码器（DreamBooth + LoRA 微调的 SDXL）

接收端用微调的 SDXL 扩散模型从恢复的文本描述生成图像。这里的关键问题是：标准的 Stable Diffusion 生成的是"通用"图像，但通信场景需要生成"特定人"的图像。

解决方案是 DreamBooth + LoRA 微调。DreamBooth 用少量图像（10 张）教模型"认识"特定主体，LoRA 用低秩矩阵高效更新模型权重：

其中 $R=128$，学习率 $10^{-5}$，10 张图像 × 10 epochs。微调后 LPIPS 降低约 0.1，语义分类准确率 >80%。

这个 Pipeline 的核心优势是极端压缩：原始图像有 786,432 个像素值，而文本描述只有几十个 token。传输数据量减少 99%，但语义信息（谁、什么表情、什么特征）被完整保留。

一个直觉类比：如果你要告诉远方的朋友"张三笑了"，你不需要发送张三的高清照片——你只需要说"张三笑了"这四个字，朋友的脑子里（如果有张三的记忆）就能"生成"出张三微笑的画面。Gen-SC 的 SDXL 就是那个"有记忆的大脑"。

文本传输质量：BART-SC 的优势

BART-SC 在所有 SNR 下均优于 baseline。核心原因是 BART 的去噪预训练天然适配噪声信道——它本来就是从损坏的输入中恢复文本的。

图像感知质量：DreamBooth 微调的效果

DreamBooth 微调显著提升图像质量。在 SNR=5dB 下，微调后 LPIPS 从 0.3 降到 0.2，改善 0.1。

语义分类准确率

即使在严重噪声下，语义信息仍能有效保持。性别分类最准确（~95%），表情分类最困难（~87%）。

Gen-SC 的独特之处在于三个"端到端"：

• 端到端文本信道编码（BART-SC）：不是先压缩文本再纠错，而是联合优化编码+信道+解码
• 端到端生成模型微调（DreamBooth + LoRA）：不是用通用 SD，而是针对目标主体微调
• 端到端语义评估：不是只看 PSNR/LPIPS，而是用年龄/性别/表情分类准确率衡量语义保真度

局限性

1. 表情重建偏差：SDXL 倾向将中性表情误判为负面表情。这可能是因为训练数据中负面表情的人像更多（"皱眉"比"面无表情"更有辨识度）。

2. 年龄粒度粗糙：文本描述很难精确表达年龄。"A woman in her 30s" 可能对应 25–40 岁的范围，而实际年龄可能是 28 岁。

3. 场景受限：实验仅验证 CelebA 人像。对于其他类型图像（风景、物体、医学影像），BLIP 的描述质量可能下降，SDXL 的生成质量也可能不如人像。

4. 微调依赖：需要 10 张目标域图像进行 DreamBooth 微调。在实际通信场景中，发送端和接收端需要共享微调好的模型，增加了部署复杂度。

5. 推理延迟：SDXL 扩散模型需要多步采样（默认 50 步），推理时间在秒级。对于实时通信场景（如视频通话），这个延迟是不可接受的。

开放问题

1. 如何在语义效率与细节保真之间取得平衡？Gen-SC 用 99% 的压缩率证明了"语义比像素更高效"，但也暴露了根本张力：当图像包含细微纹理（如电缆缺陷、医学影像中的微小异常）时，文本描述无法捕获足够的细节，扩散模型会"想象"出不存在的内容。这是生成式语义通信尚未解决的核心问题。

2. 能否扩展到非人像场景？BLIP 对人像的描述质量很高（"A woman with brown hair, smiling"），但对风景或物体的描述可能不够精确（"A landscape with mountains" 丢失了大量细节）。需要更细粒度的视觉-语言模型。

3. 能否实现端到端联合训练？当前 Gen-SC 的三个模块是独立训练的（BLIP 零样本、BART-SC 单独训练、SDXL 单独微调）。如果能端到端联合训练，可能进一步提升性能。

Gen-SC 用"图像→文本→图像"的极端语义通信范式，实现了 99% 压缩率下的语义级图像传输。BART-SC 端到端文本信道编码在所有 SNR 下优于传统方法，DreamBooth + LoRA 微调的 SDXL 在 10 张图像上实现个性化生成。但这个方案也暴露了生成式语义通信的核心张力：效率与保真度之间的权衡——当你的目标是"让对方知道这是谁"时，文本是完美的载体；但当你的目标是"让对方看到每个像素"时，文本是灾难性的压缩。