一项开创性的研究聚焦于通过计算机视觉技术识别美国手语（ASL）字母手势。研究人员创建了一个独特的数据集，包含29,820张展示ASL手势的静态图像。每张图像都详细标注了手上的21个关键特征点，提供了有关其形状和位置的深入空间信息。通过利用MediaPipe和经过改良的YOLOv8——一种他们训练以达到最佳准确率的深度学习方法——该方法代表了一条新颖且创新的路径，此前的研究未曾探索过。
手语是一种复杂的交流工具，对于失聪或听力受损者至关重要，依靠手部动作、面部表情和身体语言来表达微妙的概念。美国手语通过其独特的语法和句法展示了这种语言的复杂性。
重要的是要注意，手语并不是统一的；世界上存在许多不同的手语，各自都有自己的规则、句法和术语，突显了全球手语的多样性和复杂性。
目前正在研究各种策略，以实时将手语手势翻译为文本或口语。为了改善失聪或听力受损者的交流方式，开发一种可靠的实时系统，能够准确检测和跟踪美国手语手势至关重要。这种系统可以显著帮助消除沟通障碍，促进更具包容性的互动。
为了应对这些沟通挑战，佛罗里达大西洋大学工程与计算机科学学院的研究团队进行了开创性的研究，旨在利用计算机视觉识别ASL字母手势。他们组建了一个专门的数据集，包含29,820张ASL手势的静态图像。利用MediaPipe，每张图像都标记了手上的21个关键特征点，提供了对其形状和位置的实质性空间洞察。
这些注释对提高YOLOv8的准确性至关重要，该深度学习模型由研究人员训练，使其能够更有效地辨别手势中的微小区别。
研究的结果发表在Elsevier期刊《Franklin Open》上，证明充分利用该全面的手部姿态信息使得模型能够实现更精确的检测过程，成功捕捉ASL手势的复杂结构。MediaPipe用于手部运动跟踪与YOLOv8用于训练的结合，形成了一个强大的系统，能够准确识别美国手语字母手势。
“MediaPipe与YOLOv8的结合，配合针对最佳准确度的超参数微调，象征着一种开创性和创新的方法。”该研究的第一作者、佛罗里达大西洋大学电气工程与计算机科学系的博士候选人巴德尔·阿尔沙里夫表示。“这种方法在先前的研究中尚未得到探索，为未来的发展开辟了新的、有希望的途径。”
研究结果表明，该模型达到了98%的惊人准确率，正确识别手势的召回率为98%，总体性能分数（F1分数）为99%。它还记录了平均准确率（mAP）为98%，以及更细化的mAP50-95分数为93%，强调了在识别ASL手势方面的强大可靠性和精确度。
“我们的研究展示了该模型在准确检测和分类美国手语手势时的有效性，错误率极低。”阿尔沙里夫指出。“至关重要的是，我们的发现不仅突显了系统的韧性，还展示了其在实际实时应用中的潜力，增强了人机交互。”
将MediaPipe的特征点注释成功实施到YOLOv8的训练过程中，显著提高了边界框的准确性和手势分类的精度。这种特征点跟踪与目标检测的双重方法在实现系统高准确性和效率方面至关重要。即便在手部位置和手势变化的情况下，模型保持较高的识别率，彰显了其在不同操作上下文中的强大和灵活性。
“我们的研究展示了将先进的目标检测算法与特征点跟踪相结合以实现实时手势识别的前景，为解释美国手语提供了一种可靠的解决方案。”该研究的共同作者、佛罗里达大西洋大学电气工程与计算机科学系的教授穆罕默德·伊利亚斯博士表示。“模型的成功主要归功于转移学习的精心整合、勤奋的数据集创建和精确的超参数调整。这种协同作用促成了一个高度准确和可靠的系统，用于识别ASL手势，标志着辅助技术的重大进展。”
未来的努力将旨在扩展数据集，以涵盖更广泛的手部形状和手势，从而增强模型在视觉上相似的手势中区分的能力，提高识别准确性。此外，将优先优化模型以便于在边缘设备上部署，以确保它在资源有限的环境中仍然maintain实时性能。
“我们在美国手语识别方面的进展为改善聋人和听力受损者社区的沟通塑造了工具，”佛罗里达大西洋大学工程与计算机科学学院院长斯特拉·巴塔拉玛博士解释说。“该模型可靠的手势解读打开了更具包容性的解决方案的途径，提高了可访问性，使日常互动——无论是在教育、医疗保健还是社交场合——对依赖手语的人们变得更加无缝和有效。这一进展为促进一个大大减少沟通障碍的社会提供了巨大的希望。”
该研究的共同作者是Easa Alalwany博士，最近从佛罗里达大西洋大学工程与计算机科学学院毕业，目前是沙特阿拉伯塔巴大学的助理教授。
