防不胜防，AI几米外隔空窥屏，HDMI线把信号泄露到空气里了

防不胜防！黑客通过显示器数据线泄露的信号，就能偷窥你的屏幕内容。

具体来说，是HDMI数据线的电磁辐射，会把一些显示信号泄露到周围空气中。本来也没什么，但是结合AI就可逆向得到原始画面内容。

来自乌拉圭共和国大学工程学院的团队提出了一种端到端模型，专注于文本恢复，能将泄露信号（如HDMI）的字符错误率（CER）降至30%左右。

比如对照看下面这张图，最右为原始屏幕内容，中间为模型最终输出结果。

要知道，与模拟信号（如VGA）相比，数字信号（如HDMI）更难恢复，因为10位编码导致带宽增大和信号与像素强度之间的非线性映射。

而降至这一水平，原文内容基本也能解密了。

为了更直观，咱们来看团队演示的其中一种攻击方法。

简单提示，团队用天线拦截HDMI电磁信号，然后用AI尝试“复原”原始数据。

好家伙，最后这还原度是不是有点太可怕了！

01 用上了AI模型

具体咋做到的呢？相关研究论文已发在arXiv上。

首先，团队使用天线来捕捉由HDMI电缆和连接器发出的电磁波。

接下来，使用SDR（软件定义无线电）设备接收这些电磁信号，并将它们转换成数字形式的样本，这些样本包含了原始视频信号的信息，但同时也可能包含噪声和失真。

然后，利用gr-temest这样的软件工具，对SDR捕获的信号进行进一步的处理，以提取出图像数据。

这个步骤可能会包括滤波、采样率调整等操作，目的是尽可能地恢复图像的原始形态。

最后，将经过上述步骤处理得到的信号输入到一个AI模型中，这个模型可以识别和增强图像中的关键特征，从而提高图像的清晰度和可读性。

概括而言，整个过程包括捕获电磁信号、使用开源软件处理电磁信号，使用端到端模型进一步处理等。

可以看到，这项研究的关键提升在于最后利用了深度学习技术。

团队使用了深度残差UNet（DRUNet），这是一种具有编码器-解码器结构的卷积神经网络，适用于图像恢复任务。

通过优化网络结构和训练过程，DRUNet能够显著提高图像恢复的质量，特别是在文本的可读性方面。

02 错误率下降约60%

那么，这一端到端模型具体表现如何呢？

为了测试，他们构建了一个包含约3500个样本的数据集，其中大约1300个是真实捕获的信号，其余为模拟信号。

真实样本是通过实验设置获得的，模拟样本则是使用基于分析模型的GNU Radio模拟器生成的，这些样本被用来训练和评估模型。

研究显示，在真实数据集上，使用复数样本的Pure Model在所有评估指标（PSNR、SSIM、CER）上均展现出最佳性能。

具体而言，使用原始图像幅度的传统gr-tempest方法在真实数据集上的CER超过90%，而Pure Model（使用复数样本）的CER降至35.3%。

同时，在合成数据上训练的模型在真实数据上可能会遇到性能下降的问题。

不过，通过模型微调（Fine-Tuning），即使只用10%的真实样本，也能达到与使用全部真实样本训练的Pure Model相近的性能。

为了验证鲁棒性，模型采用了不同采样率和显示器分辨率，结果表明部分配置变化可能导致性能显著下降。

虽然团队用新模型大大提高了HDMI“破解率”，但为了预防风险，团队最后也提出了相应对策。

通过在显示器图像上添加低级噪声或使用背景渐变，可以有效降低成功率。

目前相关研究和数据集已开源，感兴趣可以进一步阅读论文。

参考链接：

[1]https://www.tomshardware.com/tech-industry/cyber-security/ai-can-snoop-on-your-computer-screen-using-signals-leaking-from-hdmi-cables

[2]https://x.com/papers_anon/status/1813145993334100015