PHPengchao He
← 全部随记

AI · 野生动物

把动物的振动信号画出来,AI 能看懂吗?

一次小尝试:让有视觉能力的大语言模型直接看波形图和时频图,判断可能是什么信号。

看振动数据时,我们其实花了很多时间在看图:波形长什么样,时频图里有没有特别的形状。我就想,既然现在的大语言模型能看图,能不能直接帮我们做这一步?

我们拿沙漠里节点式检波器记录的波形图和时频图做了一个尝试。先让 AI 看人工复核过的例子,再判断新的图中可能是汽车、羊群、塔里木兔还是沙鼠。遇到混合信号或看不清的情况,也可以直接说不确定。

上方为波形、下方为时频图,较安静的时段之间出现一组较强的振动。
报告中标为沙鼠示例的一组波形和时频图。模型要看的就是这类视觉线索;这里展示的是报告中的示例标签,不是经过准确率评估的模型预测。来源:Pengchao He,CWP Seminar 报告(2026 年 9 月),第 18 页;提取的原始嵌入图片。打开原图 ↗

我更在意的是,它能不能把判断落实到图上:哪一段时间有事件,为什么这样判断,还有没有别的解释。一张长时间记录里可能有几类信号,所以后来改成了逐个事件判断,再把时间窗标出来。这样才方便人检查。

报告中标为野兔的示例:波形中有多次冲击,时频图中有对应条带,中间有较安静的时段。
报告中的塔里木兔示例包含几组活动,中间夹着较安静的时段。这也是我希望逐段标记事件、说明图上证据的原因。来源:Pengchao He,CWP Seminar 报告(2026 年 9 月),第 19 页;提取的原始嵌入图片。打开原图 ↗

目前这仍然是一次视觉判读尝试。AI 说得像,不代表就认对了。盲测预测还没有和答案正式对比,也没有可以报告的准确率。滤波、色标和背景噪声都会影响看图结果。这里用的是检波器记录,不是 DAS 数据。

我希望它先帮我们筛一遍大量图件,把值得看和拿不准的地方留下来。接下来最有价值的事,是拿独立标签逐个核对,也把漏掉的事件算进去。

这篇随记的依据

依据:2026 年 10 月动物地震信号视觉判读流程及盲评记录。文中类别是候选解释,尚未建立分类准确率。