利用wifi信号的状态进行人体姿态分析估计

1. 一段话总结
该研究提出一种基于WiFi信号的密集人体姿态估计方法，通过融合深度学习架构（借鉴计算机视觉中的DensePose-RCNN），将WiFi的信道状态信息（CSI）的相位和幅度映射到24个人体区域的UV坐标，解决了传统RGB相机受遮挡、光照影响，LiDAR和雷达成本高、功耗大且隐私性差的问题。实验表明，该模型仅以WiFi为输入，在多人场景下的密集姿态估计性能可与基于图像的方法媲美，硬件成本仅需约60美元（2台30美元的路由器），同时通过相位净化、关键点监督分支和迁移学习提升了模型性能与训练效率，为低成本、隐私保护的人体感知提供了新方向。

2. 思维导图
图片
3. 详细总结
一、研究背景与动机
传统人体姿态估计技术依赖RGB相机、LiDAR或雷达，但存在显著局限，具体如下表所示：

传感器类型
核心局限
具体表现
RGB相机       
环境干扰+隐私问题
受遮挡（如室内家具）、光照（强光/黑暗）影响；家庭场景安装易引发隐私顾虑
LiDAR       
成本高+功耗大
主流消费级LiDAR（如Intel L515）均价约700美元，不适合家庭/小企业
雷达       
成本高+需专用硬件
普通雷达探测器价格200-600美元，依赖高频/高带宽信号，需专用技术
为解决上述问题，研究提出以WiFi信号为输入的密集人体姿态估计方案——WiFi信号抗光照、抗遮挡，现有家庭普及率高（硬件成本仅需约60美元，2台30美元的多天线路由器），且无需直接捕捉图像，能保护隐私。

图片
第一行展示了硬件设置。第二行和第三行是输入 WiFi 信号的幅度和相位片段。第四行是仅通过 WiFi 信号得到的、由我们的算法生成的密集姿态估计结果。

二、核心方法与技术架构
研究通过“数据预处理→模态转换→姿态估计→迁移学习”四步实现WiFi到密集姿态的映射，具体流程如下：

1. 数据预处理：CSI信号净化
WiFi信号的核心输入是信道状态信息（CSI），包含幅度和相位（原始为3×3实矩阵+3×3虚矩阵，100Hz采样，5个连续样本对应1帧图像）。其中相位存在噪声和不连续，需通过相位净化处理，步骤为：

相位解缠绕：通过公式修正相位跳变（当Δφ>π时减2π，Δφ<-π时加2π），恢复连续相位曲线；
滤波去噪：使用中值滤波和均匀滤波，消除时间域与频率域的异常值；
线性拟合：通过公式计算斜率α₁和截距α₀，去除残留抖动，得到稳定相位值。
图片
相位张量。网络的输入是一个 150×3×3 的幅度张量和一个 150×3×3 的（相位张量，原文此处可能存在表述省略，结合上下文补充）。在 30 个子载波频率下，我们网络的两个输入张量来自无噪声的复数值 CSI 样本（100 个样本 / 秒）。例如，𝐸₁代表第一个发射器，𝑅₁代表第一个接收器，以此类推。通过纳入 5 个连续的（样本对，原文 “unnotes” 推测为 “notes” 或 “denotes” 的笔误，结合语境补充），（每个输入张量的维度）对应 3×3 的发射机 - 接收机天线对。

图片
图 3：3.1 节所述的 CSI 序列净化步骤。在每个子图中，我们绘制了 5 个连续样本（5 条彩色曲线），每个样本均包含 30 个 IEEE 802.11n/ac 子载波频率的 CSI 数据（横轴为子载波频率）。

图片
对应图像域中的特征图。图 4：模态转换网络。两个编码器从 CSI 域的幅度和相位中提取特征，随后这些特征经过融合与重塑，再输入到一个编解码器网络中。最终输出为一个 3×720×1280（的类图像特征图，结合前文语境补充，以匹配模型输入维度要求）。

2. 模态转换网络：CSI→类图像特征

由于CSI是1D信号（无空间对应关系），需通过模态转换网络转换为2D类图像特征，步骤为：

特征提取：将幅度张量（150×3×3）和相位张量（150×3×3）分别输入MLP，提取CSI latent特征；
特征融合：拼接两类特征，通过MLP融合；
维度转换：将融合特征重塑为24×24特征图，经2个卷积块压缩至6×6，再通过4个反卷积层 upsample 至3×720×1280（匹配图像基模型输入维度）。
3. 姿态估计网络：WiFi-DensePose RCNN
借鉴DensePose-RCNN架构，以类图像特征为输入，通过双分支输出结果：

Backbone：采用ResNet-FPN提取多尺度空间特征；
双分支头：
关键点头（Keypoint Head）
：输出17个关键点的56×56热力图，用交叉熵损失监督，为密集姿态提供关节约束；
密集姿态头（DensePose Head）
：输出24个人体区域+1个背景的112×112 UV图，用交叉熵损失（区域分类）和smooth L1损失（UV坐标回归）监督；
输出结果：17×56×56关键点热力图 + 25×112×112 IUV图（密集姿态对应）。
4. 迁移学习：提升训练效率
直接训练WiFi模型需约18.6万次迭代，通过迁移学习优化：

教师模型：预训练的图像基DensePose-RCNN（ResNet101 backbone）；
学生模型：模态转换网络+WiFi-DensePose RCNN；
迁移逻辑：固定教师模型权重，最小化学生与教师的多尺度特征差异（MSE损失，涉及P2-P5特征图）；
效果：训练迭代减少至14.5万次，且性能略有提升。
5. 损失函数设计
总损失函数整合多任务约束，公式为：
L = Lcls + Lbox + λdpLdp + λkpLkp + λtrLtr
各损失项含义如下表：

损失项
作用
计算方式
L_cls
人体目标分类
标准RCNN分类损失
L_box
边界框回归
标准RCNN边界框损失
L_dp
密集姿态估计
交叉熵（区域分类）+ smooth L1（UV回归）
L_kp
关键点约束
交叉熵（关键点热力图）
L_tr
迁移学习
MSE（学生与教师特征图差异）
超参数
-
λdp=0.6，λkp=0.3，λ_tr=0.1
图片
图 5：WiFi 密集姿态区域卷积神经网络（WiFi-DensePose RCNN）。首先，图 4 中输出的 3×720×1280 特征图经过标准的残差网络 - 特征金字塔网络（ResNet-FPN）和感兴趣区域池化（ROI pooling）处理，提取出以人为单位的特征。随后，这些特征由两个头部网络进一步处理：关键点头部网络（Keypoint Head）和密集姿态头部网络（DensePose Head）。

图片
图 6：从基于图像的教师网络到我们基于 WiFi 的网络的迁移学习

三、实验设计与结果
1. 数据集与标注
数据来源：采用[31]的数据集，包含16种空间布局（6个实验室+10个教室），1-5人（共8人）的日常活动；
数据同步：CSI采样率100Hz，视频帧率20FPS，5个CSI样本对应1帧视频；
标签生成：无人工标注，用预训练模型生成“R101-Pseudo-GT”（含边界框、分割掩码、UV图、关键点）。
2. 评估协议与指标
评估协议：
同布局：80%样本训练，20%测试（场景相同，仅人物姿态/位置不同）；
不同布局：15个布局训练，1个 unseen 布局测试（验证泛化性）。
核心指标：
人体检测：AP（平均精度，IOU 0.5-0.95）、AP@50、AP@75、AP-m（中等尺寸目标）、AP-l（大尺寸目标）；
密集姿态：dpAP·GPS（基于测地线相似度的平均精度）、dpAP·GPSm（含分割掩码的GPS）。
3. 关键实验结果
（1）同布局性能对比
WiFi模型与图像基模型（ResNet50 backbone）的性能差异如下表：

模型类型
AP
AP@50
AP@75
dpAP·GPS
dpAP·GPS@50
dpAP·GPSm
WiFi模型       
43.5
87.2
44.6
45.3
76.7
44.8
图像基模型       
84.7
94.4
77.1
81.8
93.7
84.0
结论：WiFi模型在AP@50（87.2）和dpAP·GPS@50（76.7）表现较好，能大致定位人体，但细节（AP@75、dpAP·GPS@75）弱于图像基模型；且WiFi模型AP-m（38.1）与AP-l（46.4）差距小，不受目标距离影响（图像基模型远距目标信息不足）。

图片
图 7：上方两行分别为输入 WiFi 信号的幅度和相位。下方一行展示的是 R101 伪真值（R101-Pseudo-GT）：即通过在对应 RGB 图像上运行预训练的基于图像的密集姿态网络（DensePose 网络），得到的密集姿态与关键点真值标注（详细说明见 4.1 节）。

（2）不同布局泛化性
WiFi模型与图像基模型在 unseen 布局下的性能如下表：

模型类型
AP
AP@50
AP@75
dpAP·GPS
dpAP·GPS@50
WiFi模型（最终版）       
27.3
51.8
24.2
25.4
50.2
WiFi模型（基线版）       
23.5
48.1
20.3
22.3
47.3
图像基模型       
60.6
80.4
52.1
60.2
70.1

结论：两类模型在不同布局下性能均下降，但WiFi模型最终版优于基线版，说明相位净化、关键点分支等技术提升了泛化性；未来需扩大多布局数据集改善该问题。

（3）消融实验
验证相位信息、关键点分支、迁移学习的作用，结果如下表（同布局，以AP和dpAP·GPS为核心指标）：

模型版本
AP
AP@75
dpAP·GPS
dpAP·GPS@75
训练迭代次数
仅幅度（基线）
39.5
41.3
40.6
41.5
17.4万
+ 净化相位
40.3
41.9
41.2
42.3
18.0万
+ 关键点分支
42.9
44.1
44.6
46.9
18.6万
+ 迁移学习
43.5
44.6
45.3
47.7
14.5万
结论：

相位信息：轻微提升所有指标，证明相位含姿态相关信息；
关键点分支：显著提升dpAP·GPS@75（42.3→46.9），改善肢体等细节估计；
迁移学习：减少3.1万次迭代，提升训练效率，性能略有上升。
4. 失败案例
研究发现两类典型失败场景：

罕见姿态：训练集中未出现的姿态（如特殊弯腰、扭曲），模型易预测错误人体区域；
多人重叠：3人及以上同时出现时，CSI信号混合，模型难以区分个体细节。
四、结论与未来方向
图片
图 8：失败案例示例：（a-b）罕见姿态；（c-d）3 个及以上同时出现的目标（人体）。第一行为密集姿态估计的真值，第二行为密集姿态的预测结果。

1. 研究结论
可行性：首次证明WiFi信号可实现密集人体姿态估计，仅需低成本硬件（约60美元），兼具隐私保护、抗光照/遮挡优势；
性能：同布局下可与图像基模型在粗定位（AP@50）上接近，细节估计仍有差距；
技术有效性：相位净化、关键点监督、迁移学习能显著提升模型性能与训练效率。
2. 未来方向
数据扩充：收集更多布局、更多姿态的数据集，改善泛化性和罕见姿态鲁棒性；
3D拓展：从2D密集姿态估计延伸至3D人体形状估计，进一步提升实用价值；
多人优化：优化CSI信号分离算法，提升3人以上场景的个体区分能力。
4. 关键问题
问题1：该研究使用WiFi进行密集姿态估计，相比传统LiDAR/雷达，在硬件成本和部署难度上有何核心优势？
答案：
核心优势体现在“低成本”和“低部署门槛”两方面：

硬件成本：传统LiDAR均价约700美元，雷达探测器200-600美元，而该研究仅需2台多天线WiFi路由器（如TP-Link AC1750），单台约30美元，总成本仅60美元，不足LiDAR的1/10；
部署难度：LiDAR/雷达需专用硬件（如高频信号发射器、同步模块），而WiFi路由器是家庭标配，无需额外安装；且WiFi信号遵循IEEE 802.11n/ac标准（2.4GHz频段），不会对其他电子设备（如微波炉、手机）造成额外干扰，部署无需专业技术。
问题2：研究中“相位净化”是解决WiFi信号什么问题的关键技术？具体包含哪三个步骤，每个步骤的作用是什么？
答案：
“相位净化”用于解决WiFi的CSI信号中相位噪声、相位不连续和时间域抖动问题——原始相位因信号传播特性，存在“缠绕”（相位值超出[-π, π]范围导致跳变）和随机抖动，无法直接用于姿态估计。
具体三个步骤及作用如下：

相位解缠绕：通过公式修正相位跳变（Δφ>π时减2π，Δφ<-π时加2π），将断裂的相位曲线恢复为连续曲线，解决“相位不连续”；
滤波去噪：应用中值滤波和均匀滤波，消除时间域（5个连续样本）和频率域（30个子载波）的异常值，解决“相位噪声”；
线性拟合：通过计算斜率α₁（相位随频率的变化率）和截距α₀（平均相位），去除残留的随机抖动，得到时间上一致的稳定相位值，解决“时间域抖动”。
问题3：该研究的WiFi模型在“同布局”和“不同布局”下性能差异显著，导致这种差异的核心原因是什么？未来可通过哪些方式改善？
答案：

核心原因
差异源于WiFi信号的环境依赖性：WiFi信号的传播路径（反射、折射）受环境布局（如家具位置、墙体结构、天线摆放）影响极大——同布局下，训练集与测试集的信号传播模式相似，模型可有效匹配；不同布局下，unseen场景的信号反射路径、干扰源分布与训练集差异大，导致CSI特征与姿态的映射关系失效，性能下降。

改善方式
扩充多布局数据集：收集更多不同场景（如卧室、客厅、办公室）、不同家具摆放、不同天线位置的训练数据，让模型学习更通用的“CSI-姿态”映射规律；
引入域适应技术：在训练中加入“域自适应损失”，减少不同布局间的特征分布差异，例如通过对抗训练让模型对布局变化不敏感；
物理模型融合：结合WiFi信号传播的物理模型（如多径效应计算），建立布局参数（如房间尺寸、障碍物位置）与CSI特征的关联，提升模型对布局变化的鲁棒性。