Adv. Sci.：通过可扩展软电极阵列实现AR持久人机界面

第一作者：Hodam Kim

通讯作者：Woon-Hong Yeo，Chang-Hwan Im

通讯单位：佐治亚理工学院，汉阳大学

DOI: 10.1002/advs.202305871

增强现实（AR）是一种建立真实世界和虚拟世界和谐融合的计算机图形技术。通过将虚拟元素和信息巧妙地集成到我们的物理环境中，预计到2023年底，仅美国就有超过8300万用户每月体验AR，在他们的真实世界环境中与各种分层的数字增强交互。预计到2024年，AR的市场价值将超过500亿美元，AR的采用正以指数级的速度涌入各个行业，包括教育、医疗保健、娱乐和零售。这一趋势表明AR有能力深刻重塑社会互动和人类体验。然而，AR的介入遇到了一些挑战，主要与其控制界面的可用性有关。通常依赖于手持控制器，AR通常会限制手部运动，使其使用受到限制，用户界面不太友好。尽管AR技术取得了进步，但普遍存在的AR接口往往需要使用突兀的手持控制器，由于手部运动受限，大大限制了可用性。这种限制在基于相机的手势识别技术中也很突出，就像微软HoloLens和Oculus Quest等AR耳机的情况一样，它们需要用户的手持续可见才能进行手势识别，这使得它们在日常实际使用中存在很大问题。这种必要性，再加上该技术对不同照明条件的脆弱性，进一步削弱了AR接口的整体效用。在这里，需要一个更用户友好、适应性更强、易于部署的AR解决方案，该解决方案可以克服当前技术中的限制和约束。

肌电图（一种在肌肉活动过程中产生的电信号）实时分析系统的最新进展，以及机器学习（ML）的进步，为增强AR的可用性提供了很有希望的连接机会。由于肌电图包含对肌肉激活和人类肌肉意图的深入了解，可穿戴生物传感器引入了精确的控制系统，确保手势的精确分类。前臂是一个富含参与手部运动的肌肉的区域，已被发现有利于信号采集，从而提高分类精度。不同的手势涉及前臂不同肌肉的激活。例如，弯曲手腕主要涉及屈肌，而伸展手腕则涉及伸肌。此外，握拳还需要激活前臂的各种肌肉，使手指和手腕协调一致。特定肌肉的激活和协调将根据手势而变化，从而产生不同的EMG信号模式。即使是截肢者，也可以从前臂剩余的肌肉中记录肌电图。为了有效地对手势进行分类，测量不同特定肌肉的肌电信号至关重要，在分类过程中发挥着关键作用。可以精确测量这些肌肉信号的柔软和类皮肤的保形传感器为手势分类提供了一个高度准确的系统，从而能够与AR环境进行更复杂的交互。与基于计算机视觉的系统相比，用EMG解码人类意图克服了视觉限制所设定的界限。即使在光线条件不同的环境中，它也能更准确地解释手势。与计算机视觉系统的光依赖性不同，EMG对光波动免疫，使其成为一种异常强大的工具，在准确检测和分类手部运动的能力方面无与伦比，增强了其在手势检测系统中的独特优势。相反，由于皮肤状况、肌肉/脂肪质量和神经肌肉系统结构等生理因素的差异，EMG信号具有较高的个体变异性。因此，在识别手/手指手势方面，很难根据手势来概括EMG信号模式，也很难应用需要大量数据进行训练的最新和最先进的技术，例如深度学习方法。

1. 本工作介绍了一种集成AR的软可穿戴电子系统，该系统可以检测受试者的手势，从而对外部系统进行更直观、准确和直接的控制。

2. 一种软的一体式可穿戴设备包括可扩展的电极阵列和集成的无线系统，用于测量肌电图以实时连续识别手势。该系统中嵌入了先进的机器学习算法，可以对十个不同的类别进行分类，准确率为96.08%。

3. 与传统的刚性可穿戴设备相比，由于皮肤的一致性，多通道软可穿戴系统在多次使用中提供了增强的信噪比和一致性。

图1. 通过可扩展无线软电子系统实现AR的持久人机界面概述。A） 一幅受试者戴着AR耳机和软电子贴片的插图，用于通过手/手腕手势控制无人机。B） 描述分步过程的流程图，包括使用软电子设备进行基于EMG的手势检测、信号处理、通过机器学习进行数据分类，以及使用AR接口对无人机进行实时控制。中间的照片显示了前臂上的软电子贴片的特写视图，以及通过设备记录EMG信号的前臂肌肉的示意图。

图2. 可扩展软穿戴设备的设计、架构和制造。A） 设备的图示，包括17个电极的阵列（八个EMG通道）、可拉伸互连器和无线电路（左），以及由多层材料组成的单个电极结构的放大视图（右）。B） 制造过程，包括将电极安装到胶带的皮肤接触侧，通过切割线将电路互连插入胶带的顶侧，以及集成芯片组件、电池和弹性体密封剂。C） 照片显示了通过弯曲、拉伸和扭曲制造的软补片的机械柔性。比例尺，1厘米。

图3. 软补片的机械特性和材料特性。A、 B）预测电极弯曲期间的机械稳定性的计算建模结果A）具有互连器和B）单个电极的拉伸。C） 弯曲试验期间测量的互连器和电极的电阻（最大弯曲半径：45 mm）。D） 拉伸试验期间电极的电阻（最大应变：15%）E）循环弯曲试验（100次循环，弯曲半径为45 mm）和拉伸试验（100次循环，应变为15%）期间电阻的变化F）实验测量的MVTR值。9907T胶带具有最高的透气性。G） 用于测试剥离能量的实验的示意图。H） 各种粘合剂基质的湿皮肤和干皮肤之间的剥离能量比。9907T胶带在干燥和潮湿的皮肤上都表现出最可靠的附着力。

图4. 可扩展软穿戴贴片的性能验证。A） 前臂上的软贴片和商用臂章（Myo）的照片，用于记录不同手势时的肌电图。B） 十个手势的肌电信号的平均值和标准偏差。C） 两种设备的信噪比比较，包括软贴片：16.52±11.24和商用臂章（Myo）：11.85±9.81。D） 当受试者做出十个不同的手势时，由具有八个通道的软可穿戴设备测量的代表性EMG信号。

图5. 信号处理和数据分类方法。A） 用于识别十个手势的肌电信号处理。B） 代表十个手势的提取的黎曼特征的分布。C） 13个分类器的分类精度比较（SVM：支持向量机；kNN：k近邻；LR：逻辑回归；ET：额外树；RF：随机森林；LDA：线性判别分析；LGBM：光梯度提升机；GNB：高斯朴素贝叶斯；QDA：二次判别分析；Ridge：岭回归；GB：梯度提升；DT：决策树；Ada：自适应提升）。D） 混淆矩阵显示了十个手势（I：空闲；L：向左；R：向右；U：向上；D：向下；F：拳头；S：展开；IN：索引；RN：环；P：指向）的总体准确率为96.08%。E） 软可穿戴贴片和商用设备（Myo）手势识别准确性的比较。在总共11个连续试验中，第一个试验被用作训练数据。

图6. 使用AR集成软电子系统演示FPV无人机的实时连续控制。A） 受试者交互的AR界面概述，从前臂上的可穿戴贴片捕获多通道EMG信号。下面显示的九种不同手势控制AR界面。B） 使用AR集成电子设备对FPV无人机进行实时控制。无人机控制的十个动作包括起飞/降落、向左、向右、向前、向后、向上、向下、左转、右转和悬停。