野生日本猕猴的面部识别能力！新的动物行为研究

人脸识别 15/11/2023

三个要点
✔️ 使用面部识别技术识别野生日本猕猴的个体，准确率超过 80%
✔️ 为生态学和行为学领域的新研究方法提供了可能性
✔️ 使用现有模型和库的简单方法，对于没有人工智能专业知识的研究人员来说是可行的

Deep Learning for Automatic Facial Detection and Recognition in Japanese Macaques: Illuminating Social Networks
written by Julien Paulet (UJM), Axel Molina (ENS-PSL), Benjamin Beltzung (IPHC), Takafumi Suzumura, Shinya Yamamoto, Cédric Sueur (IPHC, IUF, ANTHROPO LAB)
(Submitted on 10 Oct 2023)
Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Social and Information Networks (cs.SI)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

本文提出了一种利用人脸识别技术识别日本猕猴并评估其社会网络（社会性）的系统。在生态学和行为学中，识别个体对于了解复杂的社会结构非常重要。迄今为止，大多数动物实验都采用了让动物感到不舒服并对其产生负面影响的方法，如通过标记来识别动物个体。这些方法也需要研究人员花费大量的时间和精力。

另一方面，深度学习的最新进展带来了人脸识别技术的进步，目前该技术已在安防摄像头和出入境控制等各种应用中得到实际应用。因此，本文利用人脸识别技术对日本猕猴的人脸进行了识别实验，并构建和评估了日本猕猴的群体网络。

这是人脸识别技术在动物行为方面的独特应用。这种新方法在动物追踪和社会网络研究领域（包括日本猕猴和其他动物）可能会被证明是有用的，并为扩大该领域未来的研究范围提供了机会。

研究与成果

下图显示了本文的总体方法。数据收集、人脸检测、ID 分类和社交网络分析。

这项研究将于 2023 年 2 月至 3 月在距离宫崎县库页岛市附近的日南海岸约 300 米处的小岛幸岛进行，为期两个月。西威岛被岩石海岸环绕，有一个名为 "Odomari "的沙滩，绵延全岛 100 米（见下图 A），每天，特别是早晨，都会有成群的猴子聚集在沙滩周围，接受研究（见下图 B）。正在接受训练的这群猴子共有 42 只，包括 6 只雌猴、11 只雄猴和 5 只性别尚未确定的幼猴。

该岛一直以实地考察而闻名，生活在岛上的猴子也有名字。研究人员每周有一到三天给猴子喂食，并持续观察它们，在用食物钓鱼时定期用秤称重（见下图 C）。由于岛上经常有游客，猴子对人类也比较习惯。

2023 年 2 月至 3 月，在西威岛上对日本猕猴进行为期两个月的日常拍摄。到达岛上后，立即给猴子喂食，并拍摄它们在沙滩上梳理和休息时的样子，以及它们自在的样子。为了收集尽可能多的猴子面部图像，我们做了各种努力，包括清晰的正面和不同角度的面部图像，这些图像都适合面部识别。因此，在为期两个月的观察期间，共拍摄了 370 个视频，历时约 15 个小时。

视频拍摄完成后，我们从视频中提取了 5985 个帧并进行了注释，为人脸检测模型创建了训练数据。此外，还以每秒一帧的速度从 YouTube 视频 "日本猕猴看起来几乎像人 "中提取了 642 帧，并将其添加到数据中，从而创建了总计 6622 帧的数据集。注释工作包括为猴子的脸部指定标有 "猕猴 "的边界框。此外还进行了进一步的数据扩展，最终将数据量增加到 17,772 帧。

人脸检测使用了基于深度学习的卷积神经网络（CNN）模型，这些模型在 COCO 数据集上进行了预训练，然后在创建的日本猕猴数据集上进行了微调。人脸检测结果如下图所示。

当 IoU（衡量模型预测帧（检测框）与人类手动指定帧（注释框）的重叠程度）为 0.5 时，平均精度达到 82.2%。

下一步是识别个体。在这里，为了创建训练数据，5985 帧的初始数据集被随机减少了一半，以防止模型过度适应相似图像。此外，还从各种视频中手动选择了 1,210 个新帧添加到数据集中，以包括具有不同面部表情、背景等的新图像。边框（表示猕猴脸部在图像中位置的帧）都手动标注了相应猕猴的名称，并赋予了 42 个不同的类别（个体名称）。数据扩展被添加到最终数据集中，该数据集由 5956 张图像组成。卷积神经网络（CNN）模型在此数据集上进行训练。

下图评估了模型识别每个人的准确程度。

Top1 准确率（图左）显示，人工智能最有可能预测出的姓名与实际姓名匹配的准确率超过 80%。Top5 准确率（图右侧）显示，人工智能预测的前五个包含正确姓名的准确率超过 90%。

最后是社会网络分析。我们的目标是在未来自动生成网络图，但在这种情况下，计算需要人工进行比较。分析的初始阶段是分析在特定环境中捕捉到的个体之间的共同出现，计算个体之间的关联度，并将其表示为一个社会网络。两个个体之间的关联度是指一个个体与另一个个体在同一视频中出现的频率。它被用作物理接近度的指标。换句话说，它给出了两个个体在一起的频率，以确定他们的关联度。计算方法采用 "简单比率 "法，即用两个个体同时出现的次数除以数据集中两个个体出现的总次数。

此外，我们还计算了两个指标来了解整个群体的社会联系。一个是网络密度，表示网络中实际存在的链接（连接）与理论上可能存在的链接总数之间的比率。这给出了网络连接紧密程度的数值指示。另一个是全局效率。这是用最少的连接数来衡量信息在网络中传播的速度。效率越高，说明信息传播越快，连接越少。对于每个个体，我们还会计算 "频率"（该个体与多少其他个体有关联）、"强度"（该个体拥有的所有关联指数的总和）以及 "特征向量中心性"（该个体在网络中的中心地位）等社会值。最后，为了直观地表示这些信息，我们使用了一个名为 "igraph "的软件包来描述人群的社会网络。该图使用一种名为 GEM（图嵌入）的布局算法，在空间上显示网络中个体之间的关系（见下文）。