屈世豪

（杭州百世伽信息科技有限公司，浙江 杭州 310056）

手卫生是医务人员在从事职业活动过程中洗手、卫生手消毒和外科手消毒的总称。手卫生是控制医院感染（Nosocomial Infection，NI或Hospital—acquired Infection，也称 “医院获得性感染”、“院感”）的重要手段。卫生部2009年根据《中华人民共和国传染病防治法》和《医院感染管理办法》，制定了《医务人员手卫生规范》（WS/T 313-2009），并于2009年12月颁布实施（2019年修订），规定了医务人员手卫生的管理与基本要求、手卫生设施、洗手与卫生手消毒、外科手消毒、手卫生的监测等。该行业标准还特地包含了对“医务人员洗手方法”的具体规定。《三级综合医院评审标准》中关于手卫生的要求也以此规范为基准。

标准洗手流程包括七个步骤，如图1所示。医务人员在进行有关操作前需要通过该流程清除手部污物和细菌，预防接触感染，减少传染病的传播，同时参与手术的医务人员还需要另外执行相应的外科手术消毒流程，在标准洗手七步流程的基础上添加了使用消毒液进行额外消毒操作的步骤。

图1 标准洗手七步法Figure 1 Seven step method of standard hand washing

目前市面上使用图像识别技术对洗手行为进行自动监管的产品应用还基本属于探索阶段，手段多通过简单的建立近距离的洗手动作数据集从而训练出深度网络以实现对洗手行为图片的识别。此类方案存在的问题是只是对洗手动作进行了识别，并没有有效的和洗手人员的身份结合在一起，同时对多只手同时执行洗手动作也无法做到有效的分类，以至于无法真正应用在洗手流程的监管中。

本文提出一种基于人工智能图像处理的多人洗手流程自动监管系统，在利用深度神经网络对洗手图像进行处理从而提取出洗手动作数据的基础上，结合了人体信息从而实现对多人实时洗手流程的管理，适用于医院、学校、交通站点等各个手卫生消毒强监管区域。本系统通过核心算法解决了常规方法中无法针对多人情况进行身份绑定的问题，使其能够真正有效运用在实际使用场景中。

系统硬件由摄像头、供电交换机、算力服务器、显示器构成，各硬件拓扑关系如图2所示。软件方面采用BS架构，浏览器端负责洗手流程管理，服务器端负责图像处理等算法运行。摄像头架设在洗手台正上方，其拍摄图像作为输入数据通过RTSP（Real Time Streaming Protocol）协议直接传入算力服务器进行算法处理，处理后的人员、洗手流程信息以网页浏览器形式展现在显示器上以实现洗手辅助教学、标准洗手监管等功能。

图2 硬件拓扑图Figure 2 Hardware topology

如图3所示，整个软件系统由三个模块构成，分别为目标检测、信息匹配以及洗手流程管理。其中目标检测模块提取图像数据中的洗手动作、头部、消毒动作等洗手相关的基础信息；
信息匹配模块通过头部数据进行人员跟踪并根据相应算法规则将洗手、消毒信息与人员进行匹配；
洗手流程管理模块作为业务模块对人员的洗手状态进行统计分析，提供人机交互界面与统计数据展现等功能。

图3 系统流程Figure 3 System flow

2.1 目标检测

2.1.1 目标类别

本系统需要识别的关键目标类别包括：

（1）俯视角下处于洗手流程中的12种动作的人体双手，其中12种动作包括标准七步洗手法中的内、外（左右手）、夹、弓（左右手）、大（左右手）、力（左右手）、腕（左右手）；

（2）俯视角下的人体头部；

（3）俯视角下人体接触消毒液时刻的整体姿态。

图4为示例图片，其中框①为人体双手，框②为人体头部，框③为接触消毒液姿态。

图4 目标类别Figure 4 Target categories

识别双手（目标类别1）的目的在于获取到人员所处的洗手步骤以及手部相对物理位置；
识别人体头部（目标类别2）的目的在于获取当前图像中人员头部的相对位置；
识别消毒姿态（目标类别3）的目的在于获取当前图像中人员的消毒步骤信息以及人体相对物理位置。

2.1.2 目标检测模型

关键物体的识别通过建立目标关键物体的深度神经网络来实现。具体方法为：首先，收集建立包含关键物体的图像样本数据集，数据集包含了每个关键识别物体的标注信息；
然后将数据集输入深度神经网络通过反向传播算法对神经网络进行拟合训练；
最后获得能够对目标关键识别物体进行识别的深度神经网络。本系统使用了YOLOv5-Tiny网络结构进行训练，其为一种相对工业化的成熟深度神经网络框架。

（1）数据采集

关键物品数据采集通过医院现场所架设的一台摄像头所收集到的洗手视频实现。洗手视频内容包括洗手人员从接取洗手液直至擦干的完整步骤。经统计总共获取到40人的洗手视频，摄像头的采集帧率为24FPS，将视频拆分为单帧图像从而生成一个包含15000张图像的原始数据集。

（2）数据标注

采集并建立原始数据集后，需要对数据集内图像进行标注，标注对象为包含2.1.1中所定义的14种关键物体（12种洗手动作+人体头部+洗手液瓶）。每一张包含14种关键物体的图像都需要通过标注软件标注出其识别框（识别框定义见图4），所有图像均标注完成后通过标注软件生成相应包含使用深度模型标准的标注文件。本系统使用YOLO格式的标注标准，每个标注文件包含所标注目标物体的相应编号以及其识别框的长宽坐标信息。

（3）模型训练

获取到数据集后，根据使用需求配置深度学习网络结构，其中包括学习迭代次数、网络结构等参数，经过学习后获得能够识别图像中14种目标物体的深度神经网络模型。

2.2 信息匹配

2.2.1 人员跟踪

由于正常情况下人体的行为轨迹是连续的，即洗手人员在前后视频帧的移动范围具有一定的限制。因此系统通过比较前后40毫秒的连续帧之间头部识别框的相对位置变化关系实现对人员的跟踪，其具体方式为：分别计算前后两帧洗手图像中多个头部识别框互相之间的中心直线距离即偏移距离，选择偏移距离最小的前后两帧头部识别框进行配对从而实现人员跟踪功能。

2.2.2 洗手身份绑定

洗手身份绑定通过获取到洗手图像中符合标准洗手动作的双手识别框信息以及头部识别框信息并通过绑定算法建立人员与洗手动作的相关映射关系，具体算法如下所示。

图5为当单一人员执行标准洗手动作时所获取到的识别框状态，关键物体识别框包括两个：手部识别框A与头部识别框B。将以头部识别框中心为原点发散出的圆形辐射区域分为四种权值区域：高权值区、中权值区、低权值区以及极低权值区。此种分割方式是依据摄像头架设位置，常见情况下摄像头处于洗手人员正上方区域，因此在执行洗手动作时洗手人员的双手在俯视角度下常位于其头部上方。根据此规律，图中高权值区域内出现的手部识别框A从属于头部识别框B的可能性相对其他中低权值区域更高。

图5 洗手身份绑定示意图Figure 5 Schematic diagram of hand washing identity binding

当画面中出现多个头部识别框以及手部识别框时，本系统提出一种量化从属概率P的算法从而对不同头部识别框以及手部识别框进行计算配对，具体计算方式如式（1）所示。

其中：SA与SB分别为手部识别框A与头部识别框B的面积；
LGO为手部识别框A中心G到头部识别框B中心O的距离；
W为手部识别框所属权值区域的权值。

通过上述算式计算出每个手部识别框与头部识别框的P值，通过大小排序出最佳的手部与头部识别框配对方案从而绑定结果。具体配对方式如下：

例如目前画面内有两人A与B正在画面中执行标准洗手动作，识别模型识别到4个关键物体的识别框分别为头部识别框TA，TB，手部识别框S1，S2，其中S1与S2还未与任何头部识别框绑定。根据上述算式计算四组头部识别框与手部识别框之间的从属概率PTAs1，PTAs2，PTBs1和PTBs2，找出其中从属概率最大的配对方式优先进行绑定，即若PTAs1为最大，则将手部识别框S1与头部识别框TA绑定，同时将剩余的头部识别框与手部识别框按相同方法依次进行绑定，直到所有手部识别框均绑定至相应的头部识别框。

2.2.3 消毒身份绑定

消毒身份绑定通过获取到的洗手图像中的头部识别框（关键物体2识别框）与消毒人体识别框（关键物体3识别框）并通过绑定算法建立人员与消毒动作的相关映射关系，具体算法如下。

图6为当单一人员执行接消毒液动作时所获取到的识别框状态，关键物体识别框包括两个：头部识别框A与消毒识别框B。当画面中出现多个头部识别框以及消毒识别框时，本系统提出一种量化从属概率P’的算法从而对不同头部识别框以及消毒识别框进行计算配对，具体计算方式如式（2）所示。

图6 消毒身份绑定示意图Figure 6 Schematic diagram of disinfection identity binding

其中：DAB为头部识别框A与消毒识别框B的重叠面积；
SA为头部识别框A的面积；
LOG为消毒识别框B中点O到头部识别框A中点G的距离。

通过式（2）计算出每个消毒识别框与头部识别框的P’值，然后通过大小排序出最佳的消毒动作与头部识别框配对方案从而绑定结果。具体配对方式如下：

例如目前画面内有一人A正在画面中执行接消毒液动作，同时有另一人B，识别模型识别到3个关键物体的识别框分别为头部识别框TA，TB，消毒识别框X，其中X还未与任何头部识别框绑定。根据上述算式计算两组头部识别框与消毒识别框之间的从属概率P’TAx和P’TBx，找出其中从属概率最大的配对方式进行绑定，若P’TAx为最大，则将消毒识别框X与头部识别框TA绑定。

2.3 洗手流程管理

在标准洗手流程中将整体流程分为洗手与消毒两部分，两者均包含多个相同洗手动作，区别在于前者使用洗手液进行清洗而后者使用消毒液进行消毒。本系统采用累计检测结果的方式对洗手流程进行统计分析，具体如图7所示。

图7 洗手流程管理图Figure 7 Hand washing process management chart

系统接收到每张洗手图像经过关键物体识别以及身份绑定的检测结果后将会持续对头像识别框所代表人员进行洗手步骤进度的累加，根据系统采样帧数12帧/秒以及每个动作15秒的标准洗手要求可测算出每一帧标准洗手动作可累计0.5%的洗手步骤进度，当单一步骤进度到达100%时不继续做累计，即当前步骤洗手时间已满足要求。当检测到人员所绑定的洗手识别框类别（共12种类别，分别代表洗手步骤中的12个动作）发生变化时则系统开始累计其相应的新的动作进度。洗手人员离开画面范围后系统将输出其各个动作的累计值从而实现对多人洗手流程的自动监管。

在实际使用场景中，执行手术的医务人员在完成所有洗手动作后还需要进行消毒步骤，系统会对画面中每个人员的消毒状态进行跟踪，消毒进度累计达到阈值的人员会被认为进行了消毒行为并将其洗手进度数据进行单独归类以便后续的统计。

3.1 应用环境

系统使用了一台一体机同时负责计算以及展示功能，该一体机配置2.4GHz处理器以及12G内存。另外使用了一部4mm焦距、800万像素、POE（Power Over Ethernet）供电的球形摄像头作为数据采集传感器。通过一台POE交换机为摄像头供电，同时作为数据中转将画面数据直接输入一体机。

实际部署环境如图8所示，其部署在医院手术中心的一台洗手池旁边，其中摄像头安装在洗手池正上方以俯视角度拍摄洗手池的三个水龙头，保证任何站立于水龙头前洗手人员的洗手动作均能被摄像头抓取到。

图8 部署环境Figure 8 Deployment environment

一体机通过一个立式支架安装在洗手池旁边，提供了实时摄像头监控画面以及画面中每个人员的实时洗手进度，洗手人员可以通过该屏幕检查自己的洗手行为是否符合规范并且系统能够在检测到错误洗手行为时给予提醒和辅导。

3.2 应用过程

洗手人员进入摄像头画面后，系统界面中会弹出该人员相对应的洗手进度信息窗，包括其身份信息以及七个洗手步骤进度条。当洗手人员按标准动作执行洗手动作时，进度条会随之进行累计，若系统检测到一洗手人员长时间未执行正确的洗手动作时其对应窗口会弹出相对应的标准洗手动作示例图片以供参考。当洗手人员当前洗手步骤累计至100%后转为监控下一洗手步骤直至所有洗手动作均达到100%即整个洗手流程完成。当多人执行洗手动作且出现错误动作时系统会出现语音播报，洗手人员可通过观察屏幕上自己头像ID以ID相对应的状态窗口判断自己动作是否标准。图9为实际使用环境中两位医务人员在未正确执行洗手步骤时的系统截图。

图9 使用界面Figure 9 User interface

3.3 结果验证

如图10与图11所示是通过YOLOv5-Tiny检测洗手图像的训练集与验证集的测试准确度结果。可以看出，第五步动作相对其他动作来说准确度较低，原因是由于第五步洗手动作幅度比较大，多数标注为第五步的样本图像都有一定的运动模糊，导致无论是训练样本还是测试样本均含有相对较多的图像特征缺失。

图10 训练集准确度Figure 10 Training set accuracy

图11 验证集准确度Figure 11 Validation set accuracy

本系统在医院上线后，为检测其使用效果，在未开启显示器的情况下无感运行了一周获得该医院手术中心真实标准洗手执行率作为对照组。在后续的一周中对洗手人员开放检测界面以及洗手语音提醒功能，同时配合医院内部宣讲，最终发现第二周的洗手执行率明显有所提高，七日标准洗手平均执行率提升了76%，证明该系统能够相对反映出院内医务人员的洗手行为规范程度。

本系统创新性在于利用成熟的第三方深度学习框架获取到画面中的关键目标物体后针对洗手流程规范对关键目标物体之间建立映射关系从而实现多人实时洗手行为监管。目前已有的洗手行为识别技术都无法处理多人情况下手部动作与人之间的绑定关系，只能处理单一人员洗手的场景，本系统解决了这一问题，使得洗手行为自动监管可以在实际场景中进行使用，具有一定的创新性。

猜你喜欢 手部头部摄像头 浙江首试公路非现场执法新型摄像头中国交通信息化(2022年9期)2022-10-28手部皮肤软组织缺损修复的皮瓣选择实用手外科杂志(2022年2期)2022-08-31摄像头连接器可提供360°视角图像汽车工程师(2021年12期)2022-01-18火箭的头部为什么是圆钝形?军事文摘(2020年22期)2021-01-04自适应统计迭代重建算法在头部低剂量CT扫描中的应用天津医科大学学报(2015年2期)2015-12-22皮瓣修复手部皮肤软组织缺损的临床应用中国医疗美容(2015年1期)2015-07-12奔驰360°摄像头系统介绍汽车维修与保养(2015年8期)2015-04-17发生于手部的硬下疳一例中华皮肤科杂志(2014年4期)2014-12-19复明胶囊疑致手部肿痛1例中国药业(2014年21期)2014-05-26蚝壳巧制作早期教育(美术教育)(2010年7期)2010-06-28