demo_system_algorithm/docs/seafusion.md

SeAFusion — 语义感知红外与可见光图像融合

概述

SeAFusion（Semantic-Aware Fusion） 是一种任务驱动的图像融合框架，将融合过程置于高级视觉任务（如语义分割）的优化循环中，使融合图像不仅视觉质量优秀，更能直接提升下游任务性能。

核心特性

特性	说明
模型类型	红外与可见光图像融合
输入形式	配准后的红外图像 + 可见光图像
输出形式	融合后的单张 RGB 图像
核心创新	任务驱动融合 + 语义感知设计

模型架构

graph LR
    A["红外图像 IR"] --> C["共享编码器"]
    B["可见光图像 VI"] --> C
    C --> D["语义感知融合模块"]
    D --> E["图像解码器"]
    E --> F["融合图像"]
    D --> G["辅助分割头"]
    G --> H["语义分割结果"]

• 任务驱动融合 — 融合过程以提升下游任务（分割/检测）性能为目标
• 语义感知设计 — 利用语义信息引导融合策略，保留关键语义区域的纹理
• 实时高效 — 轻量化设计，适合边缘部署

输入图像特性

模态	特点	优势
红外（IR）	热成像，不受光照影响	夜间、雾天等低可见度条件下目标清晰
可见光（VI）	高分辨率纹理细节	色彩丰富，细节保留好

目标应用场景

• 自动驾驶 — 全天候环境感知与目标检测
• 智能安防 — 夜间监控与目标识别
• 遥感分析 — 多模态遥感图像融合

参考来源

• 论文：SeAFusion: Semantic-Aware Real-Time Infrared and Visible Image Fusion
• 框架：PyTorch

---

输入 / 输出规格

模型接口

方向	名称	数据类型	说明
输入	IR	UINT8	红外图像（Y 通道）
输入	VI	UINT8	可见光图像（Y 通道）
输出	Fusion	FP32	融合结果（Y 通道）

模型在 YCbCr 色彩空间的 Y（亮度）通道上进行融合，CbCr 通道直接取自可见光图像。

---

后处理流程

flowchart TD
    A["IR 图像 Y通道"] --> D["模型推理"]
    B["VI 图像 Y通道"] --> D
    C["VI 图像 CbCr通道"] --> F
    D --> E["融合 Y 通道"]
    E --> F["通道拼接 Y + CbCr"]
    F --> G["YCbCr → RGB 转换"]
    G --> H["归一化到 [0, 255]"]
    H --> I["输出融合 RGB 图像"]

步骤说明

步骤	操作	说明
1	通道提取	将 IR 和 VI 图像从 RGB 转为 YCbCr，取 Y 通道
2	模型推理	输入两个 Y 通道，输出融合后的 Y 通道
3	通道拼接	融合 Y + VI 的 CbCr 通道 → 完整 YCbCr 图像
4	色彩转换	YCbCr → RGB 线性变换
5	归一化	值域裁剪到 [0, 1] 或 [0, 255] 并保存

---

执行与性能

运行方式

python seafusion.py

性能指标

指标	数值
推理平台	边缘板卡（NPU, dfpi16）
推理时间	~532.11 ms
输出 FE 均值误差	7.53e-5
输出 FE 最大误差	0.040971

FE 误差极低（均值仅 7.5e-5），说明板卡推理精度与 PC 端几乎一致。

---

输入 / 输出示例

输入图像

红外图像 (IR)	可见光图像 (VI)

融合结果

融合图像同时保留了红外目标的热辐射信息和可见光的纹理细节。结果图保存路径：../resource/SeAFusion/result.jpg