跳到主要内容

方案说明

方案演示：人脸检测、马赛克打码与识别姓名实时叠加

方案演示：马赛克打码不影响后端识别，已注册人脸实时显示姓名

实时画面：人脸框 + 跟踪 ID + 检测置信度；已注册者显示识别姓名，未注册/开启马赛克者画面打码

方案背景​

门禁考勤、访客登记、 retail 会员 greeting、安防布控等场景都需要"认脸"。常见做法是把视频流送到云端跑识别：延迟高、带宽占用大，而且人脸是生物特征敏感数据，出本地就有合规风险。

这些场景的共性是：识别只发生在人脸出现的那几秒，其余时间只需要"看到有人脸"；真正需要原图的环节（注册、复核）完全可以由人来把关。

方案介绍​

本方案的思路是：检测和跟踪在相机端完成，识别在后端完成，画面呈现两者叠加的结果。

一台 CamThink NeoEyes NE302 迷你 AI 相机（STM32N6,Neural-ART NPU）在设备端持续运行 YuNet 人脸检测与 IoU 跟踪：每张人脸获得稳定的跟踪 ID，框、ID 与检测置信度直接烧录进视频流；按配置可对画面中的人脸做马赛克打码（隐私保护，预览/录像只见打码画面）。当新人脸出现（或按周期）时，相机从原始帧裁剪未打码的人脸小图，经 Webhook（同步响应）或 MQTT（异步回传） 上报给后端识别服务；后端返回的姓名与置信度按跟踪 ID 关联回设备，实时叠加到画面与 Web 界面。

识别服务可以是客户自有的人脸识别应用，也可以用仓库提供的模拟后端脚本（内置 ArcFace 真识别）快速验证与演示。

方案架构：NE302 端侧检测跟踪，识别在后端，结果叠加回画面

工作流程​

  1. 人脸检测 — YuNet 320×320 端侧推理（约 7ms/帧），输出人脸框、置信度与 5 关键点（眼、鼻、嘴角）
  2. 跟踪 — IoU 跟踪器为每张人脸分配稳定 ID（确认 N 帧才出现，防误检闪烁；短暂丢失不换 ID）
  3. 隐私处理 — 可选马赛克：仅作用于编码视频流；上报裁剪在打码之前执行，识别后端收到的是原始人脸
  4. 裁剪上报 — 新人脸必报一次；周期重报与冷却时间可配；裁剪区域按统一比例外扩、越界截断，支持原始尺寸或固定边长 letterbox
  5. 识别回传 — Webhook 同步响应 / MQTT 控制通道回传 {request_id, track_id, status, name, confidence};设备按 request_id 关联回对应人脸，超时/未知/错误均有状态
  6. 呈现 — 视频流烧录叠加（框颜色 = 识别状态，单行标签 #ID 置信度 姓名 识别置信度)+ Web 页面识别列表（完整姓名、抓拍记录归档）

核心特点​

  • 端云分工：检测/跟踪/打码在相机端（低带宽、低延迟），识别在后端（可换任意识别引擎，协议解耦）
  • 双通道：Webhook（同步，适合 REST 服务）与 MQTT（异步，适合消息架构）二选一，Web 界面即时切换
  • 隐私优先：马赛克在视频侧不可逆；上报原图不落盘（仅进抓拍记录库可选归档）；公共 broker 场景有明确安全提示
  • 兼容无关键点模型：结果映射同时支持带关键点（YuNet/BlazeFace）与纯框输出的人脸模型
  • 全链路可验证：模拟后端脚本（四级识别器，内置 ArcFace）+ 设备端"识别验证"（上传照片即时测识别） + 分环节诊断日志

方案效果​

  • 已注册人脸入镜 1 秒内画面显示姓名与识别置信度；未注册显示"未知"，后端不可达 5 秒（可配）显示"超时"
  • 识别效果可用照片离线验证（上传一张人脸照，数秒返回识别结果），无需人员站在镜头前
  • 识别与统计精度受现场光照、人脸角度与距离影响，部署时以现场实测为准

了解更多​