号：********
分类号：
工程硕士学位论文基于表面肌电信号的手部动作识别
方法研究
学位申请人：郝沙沙指导教师：刘晓光副教授学位类别：工程硕士学科专业：控制工程授予单位：河北大学答辩日期：二○一八年六月
ClassifiedIndex：U.D.C：
CODE：10075NO：20161730
ADissertationfortheDegreeofM.EngineeringResearchonHandMovementRecognitionMethodBasedonSurface
EMGSignal
Candidate:HaoShasha
Supervisor:AssociateProf.LiuXiaoguang
AcademicDegreeAppliedfor:MasterofEngineering
Specialty:ControlEngineeringUniversity:HebeiUniversity
DateofOralExamination:June,2018
河北大学学位论文独创性声明所呈交的学位论文尽我所知本人郑重声明及取得的研宄成果是本人在导师指导下进行的研宄工作除了文中特别加以标注和致谢的地方外论文中不包含其他人己经发表或撰写的研宄成果也不包含为获得河北大学或其他教育机构的学位或证书所使用过的材料与我同工作的同志对本研宄所做的任何贡献均己在论文中作了明确的说明并表示了致谢作者签名舰死先日期年《月ｂ日学位论文使用授权声明本人完全了解河北大学有关保留使用学位论文的规定即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅学校可以公布论文的全部或部分内容可以采用影印缩印或其他复制手段保存论文本学位论文属于保密口不保密在年月日解密后适用本授权声明２ｄ请在以上相应方格内打“Ｖ”）作者签名导师签名＆＾）日期日次年ｆ月Ｚ日期年／月」日保护知识产权声明本人为申请河北大学学位腿交＿目为的学位论文是我个人在导师指导并与导师合作下取得的研宄成果研宄工作及取得的研宄成果是在河北大学所提供的研究经费及导师的研宄经费资助下完成的本人完全了解并严格遵守中华人民共和国为保护知识产权所制定的各项本本人保学的书面同意和授权，容。如果声明人：Ｉ於及河法政河经成河人证研工不法愿违应人泳年律、行法规以北大学的相关规定果归。声明如下：本论文的北大学所有，未征得指导教师和北大以任何形式公开和传播科研成果和科律责任。作内反本声明，本意承担相日期：Ｚ月Ｚ日摘 要
摘 要
人体的生理电信号是人体行为意图的直接反应，通过对人体的生理电信号进行分析和解读，能够使机器有效识别人的主题意识。表面肌电信号作为人体的生理电信号的一种，其蕴含着肌肉状态和人体动作意图的相关信息。为使肢体残疾人士能按照自身意图对外围设备进行有效控制，本课题基于表面肌电信号(sEMG)对手部动作的分类与识别进行了深入的研究。将手势动作识别技术推广到智能假肢的应用上，不仅可以辅助丧失手臂的患者进行康复训练，也能使其产生“幻肢感”，因此基于sEMG的手部动作识别技术具有重要的医学应用价值。本文主要研究内容和创新点包括：
1. 确定了各个手部动作与肌肉收缩部位相关程度的大小，以确定肌电电极在肌肉上的安放位置；成功采集了12种日常生活中常见的手部动作的sEMG信号，完成了sEMG信号的数据采集。
2. 针对表面肌电信号在采集过程中可能出现的噪声，采用了一种基于样本熵和经验模态分解的新方法进行了去噪处理；考虑到有效的特征提取方法对手部动作特征提取的重要性，采用傅里叶变换方法将时域信号转换为谱图，以更有效地识别手部动作特征。
3. 详细对比研究了不同的网络结构对于手势识别精度的影响，构造了适应于肌电手势识别的CNN卷积神经网络结构；通过与含有两层深度神经网络结构对比分析，在本文数据集上证明了含有两个卷积层的网络结构对于12个手部动作识别准确性更高，训练时间更短；通过增加随机数据集，使得整个系统拥有更好的鲁棒性。
关键词 表面肌电信号 手势识别 特征提取 卷积神经网络 机器学习
I
Abstract
Abstract
The physiological electrical signal of human body is the direct reaction of human's behavioral intention. Through the analysis and interpretation of human physiological electrical signals, the machine can effectively recognize the theme consciousness of people. The surface electromyography is a kind of physiological electrical signal, which contains information about muscle state and human action intention. In order to control the peripheral equipment more effectively for the disabled, the classification and identification of the action of the opponent in this project were studied in depth based on the surface emg signals (sEMG). This project extended gesture recognition technology to the application of intelligent prosthetics, which could not only assist disabled people in rehabilitation training, but also create \"phantom limb feeling\" for people with disabilities. Therefore, the technique of hand motion recognition based on sEMG has important medical application value. The main research contents and innovation points of this project include:
1.The degree of relative degree of each hand movement and muscle contraction position was determined to determine the position of electromyographic electrodes in the muscle. 12 sEMG signals of the hand movements in daily life were collected successfully, and the sEMG signals were collected.
2.A new method based on sample entropy and empirical mode decomposition was used to deal with the noise during the acquisition process. Considering the effective feature extraction method of the importance of motion feature extraction, the Fourier transform method was used to convert the time domain signal as spectrum diagram for more effectively identify characteristics of hand movements.
3.The influence of different network structures on the precision of gesture recognition was analyzed in detail, and the structure of CNN convolutional neural network was constructed. By analyzing the structure of two-layer deep neural network, this project proved that the network structure containing two convolutional layers had higher accuracy and shorter
II
Abstract
training time for 12 hand movements. By adding random data sets, the whole system obtained better robustness.
Keywords sEMG Gesture Recognition Feature extraction CNN Machine learning
III
目 录
目 录
第1章 绪 论 ························································································· 1 1.1 课题的研究背景和意义 ······································································· 1 1.2 假肢信号源概述 ················································································ 1 1.2.1 脑电控制技术 ············································································· 2 1.2.2 语音控制技术 ············································································· 2 1.2.3 肌电控制技术 ············································································· 3 1.3 国内外EMG手势识别发展及研究现状 ··················································· 3 1.3.1 手势识别概述 ············································································· 3 1.3.2 国内外sEMG手势识别发展及研究现状 ············································ 3 1.4 sEMG手势识别和研究中存在的问题 ····················································· 4 1.5 各章节安排 ······················································································ 5 第2章 肌电信号采集 ················································································ 6 2.1 引言 ······························································································· 6 2.2 sEMG信号的生理机制 ······································································· 6 2.3 表面肌电信号的特征 ·········································································· 7 2.4 sEMG数据采集实验描述 ···································································· 7 2.4.1 肌电采集设备描述 ······································································· 8 2.4.2 手部动作设计及采集注意事项 ························································ 8 2.5 本章小结 ······················································································· 12 第3章 手部动作sEMG信号的预处理及转化处理 ·········································· 13 3.1 引言 ····························································································· 13 3.2 基于熵和EMD的去噪方法 ································································ 13 3.2.1 自适应阈值滤波 ········································································ 14 3.2.2 去噪声实验分析 ········································································ 15 3.3 sEMG信号的转化处理 ····································································· 18 3.4 本章小结 ······················································································· 21
IV
目 录
第4章 基于卷积神经网络的手部动作识别 ··················································· 22 4.1 引言 ····························································································· 22 4.2 卷积神经网络的基础 ········································································ 24 4.3 深度神经网络的结构及特点 ······························································· 28 4.4 手部动作网络训练模型设计 ······························································· 28 4.4.1 网络训练模型结构 ····································································· 30 4.4.2 交叉熵损失函数及混淆矩阵 ························································· 32 4.4.3 实验结果与对比分析 ···································································· 33 4.5 本章小结 ························································································ 40 第5章 总结与展望 ················································································· 41 5.1 本文工作总结 ················································································· 41 5.2 课题研究展望 ················································································· 41 参考文献 ································································································ 43 致 谢 ································································································ 46 攻读硕士研究生期间科研成果 ····································································· 47
V
第1章 绪 论
第1章 绪 论
1.1 课题的研究背景和意义
在日常生活中，灵巧的双手是人类最不可或缺的部分，具有举足轻重的地位。人类可以通过手势来表达自己的想法，手部动作使用最频繁、最有效的肢体动作交流方式，在人与人之间的交流中扮演着尤为重要的角色。我国的残疾人口占全国总人口的比例约为6%，其中上肢残疾患者约2000万人，占残疾总人数的比重约为29.07%，这些上肢残疾患者大多由于意外交通事故、自然灾害、各种疾病等原因造成手臂或前臂的瘫痪或缺失，进而导致日常生活受到极大影响。
随着科学技术的不断进步，利用表面肌电信号（sEMG）进行手部动作的识别，并用来对残肢患者进行假肢辅助控制已成为当前研究热点。利用sEMG不仅可以实现对假肢的精确控制，使其能灵活自由的完成大脑下达的指令动作，而且还有利于残肢患者能够进行日常的生活交流合作，恢复部分的生活自理和工作交流能力。
人类的手部动作能够听从大脑指令进行灵活的运动，其大脑指令传递是通过由神经元产生的生物电信号进行传递的。当神经梢接受到传来的电信号后，就会发出指令使其与动作相关的肌肉群收缩，从而牵动相对应的骨骼完成手部动作。sEMG是人体表面采集到的生物电信号，与相应肌肉群动作紧密相关，因此，利用sEMG对手部动作进行识别具有良好的理论基础，基于sEMG的手势识别对假肢的精确控制具有极大的应用价值。
1.2 假肢信号源概述
目前关于假肢控制研究中，如何让假肢准确识别人类的控制意图和识别速度是该领域的研究热点。如何选择精确而稳定的控制源是影响识别的速度和准确性的关键因素之一。传统的假肢控制借鉴工业机器人的控制方案，无法实现机器和人类控制意图的实时同步。为此相关学者考虑利用人体的生理信号来控制假肢。人体生理信号作为输入信号源应该具备下面两种必要条件：（1）能够进行实时的信号采集；（2）能够反映出人类实时的操控意图。
1
河北大学工程硕士学位论文
目前，常见控制假肢的人体生理电信号的输入源，可以分为以下几种：脑电信号(Electronencephalographt，EEG)、表面肌电信号(sEMG)和语音信号(Speech Signal，SS)等，下面针对几种信号控制源和其发展应用现状进行阐述。
1.2.1 脑电控制技术
当人体进行有意义的日常活动，例如：起床，跑步，握手，弯腰。我们的大脑细胞群，都会产生相应有节律的电信号。现有技术通过在人类大脑的头皮表面放置和粘贴电极片，来记录有关的神经组织活动，对脑电信号进行记录、分析、识别和处理。进而控制假肢运动的技术，这一过程称作脑电控制技术（EEG），即通过电极读取脑电信号，控制假肢进行相应的人体活动。
美国的《神经工程学杂志》发表了来自奥地利学者安德烈亚[3]等研究人员的论文，其利用安装在15个健康实验人员头部表面的电极，采集到实验人员做日常手部动作时的脑电信号，并对采集到的数据进行分类，实验动作分类精度达到了72.4%。日本研究人员M Hirata [4]等人通过脑机接口(brain-machine interface，BMI)技术对握拳、剪刀手、伸手等手部动作所对应的EEG图片进行分类识别，分类识别精度达到79.6%。德国神经生物学研究所研究人员Farid Shiman[5]等人通过滤波器组通用空间模式（FBCSP）多类扩展以及线性判别分析（LDA）分类器的方法对手腕运动方向进行分类研究，其识别精度达到了67%。
国内燕山大学卢莹[6]等人，使实验人员进行不同运动模式的想象，并将EEG信号特征提取和分类，将实验人员不同运动想象的脑电模式分类结果，用于假肢控制，其脑电信号数据的处理是通过离线分析，并不能实现实时性。目前脑电信号的处理技术也处于研究的初级阶段，通过EEG直接读取人类的各种思维活动还不太现实。
1.2.2 语音控制技术
语音控制技术是通过安放的语音控制器来获取人的语音，对语音命令进行训练和分类识别，从而达到控制假肢的目的。
20世纪80年代，我国就开始着手语音识别控制技术的研究，紧跟国际的研究发展，取得了显著的成果。哈尔滨工业大学的研究学者汤奇荣[7]等人研制了一款嵌入式的假手控制器，通过语音与肌电信号相结合的技术来控制假肢，使其能够完成一系列基本的生活动作模式。东南大学乔杰[8]等人研究了基于语音控制的智能假手控制系统，语音控制
2
第1章 绪 论
系统直接接收发音人的语音命令来控制假手的抓取动作。中南大学邹国栋[9]等人将语音信号作为肌电信号的补充引入假肢控制的实验中，实现多自由度假肢控制，提高患者的生活自理能力。
若假肢动作的控制源信号仅用语音信号，很难高准确率的理解患者操作假肢的意图，原因是患者平时聊天也会不经意的说出语音控制命令，假肢会执行非用户操作意图的动作。大多数通过语音信号的控制源来控制假肢运动，并不能真正满足患者控制假肢的需求。
1.2.3 肌电控制技术
肌电信号是伴随肌肉收缩产生的一种生物电信号。人体的肢体动作信息都能用相应的肌电信号（EMG）来反应出来。肌电控制假肢，就是通过对EMG信号进行分析，并提取能够反映用户的操作意图的动作特征信号，建立一种一一对应的关系，从而通过肌电信号的分类特征来控制相对应的驱动，即假肢。因此肌电控制假手拥有很好的市场，肌电信号控制技术受到科研人员的发展和完善。
1.3 国内外sEMG手势识别发展及研究现状
1.3.1 手势识别概述
手部动作的灵活性，对人类生活质量有着重要的影响，手势也是人类进行自我表达的重要肢体工具，由于战争、意外事故、天生残疾和后天疾病等，致使许多人失去了双手。他们在日常生活中不仅要承受诸多的不便，更要面对巨大的心理压力。
如何精确识别人的控制意图，进行实时高精度的假肢控制就显得尤为重要，是康复工程中的重要内容与组成部分，直接影响着患者的生活质量及生活价值。假肢控制技术的关键在于如何充分有效利用患者自身产生的肌电信号，实时准确的控制患者假肢。
肌电信号是目前最稳定最成熟的控制信号源，迄今为止，假肢控制信号源中，sEMG是使用最多的信号控制源。目前国内外肌电信号识别的技术研究现状如下所述。
1.3.2 国内外sEMG手势识别发展及研究现状
鲁立等人采用非线性支持向量机（SVM）与线性判别分析（LDA）相融合的方法对sEMG信号进行了分析识别，其识别精度达到了91.2% [12]。上海交通大学蔡立羽等人[13]选用小波变换的方法分析四个动作的表面肌电信号特征，之所以采用小波变换是由于肌
3
河北大学工程硕士学位论文
电信号的非平稳特性特点，对展拳、握拳、前臂内旋、前臂外旋四种运动模式的表面肌电信号的识别训练，四个动作的识别率分别达到达到了90%，100%，90%，80%。吉林大学孙保峰等人[14]对手臂的5个动作模式的离线肌电信号数据采用集成BP神经网络的分类方法对其动作模式分类识别，识别准确度率达到了97.96%。Zeeshan O Khokhar等人[15]探索研究使用支持向量机SVM来对动作肌电信号分类，通过实验得出识别准确度达到了95.3%。Nazarpour等人[16]论文中对手部动作特征量是通过高阶统计量计算得出，同时对手部的各个动作姿态分类识别方法选取的是聚类分析方法，这种方法分类识别率达到了91%。
由于sEMG相比其它几种信号源来说，具有滞后时间短、抗干扰能力强的特点，因此提取不同肌肉的多个电信号并加以分类识别来对假肢进行控制，是目前sEMG手部识别的常见方法。
例如，提取指屈肌的信号控制指屈，提取指伸肌的信号控制指伸。若要使得患者产生幻肢感，最重要的就是识别患者操控意图并且能实时反映到通过肌电信号控制的假手上。识别患者的操控意图的前提是需要对特征模式进行分类，由此可看出对于特征的提取是很重要的，这些特征主要表现在不同肌肉的收缩模式而产生不同的手部动作，特征的差异就在于收缩模式的不同。
为了对肌电信号进行准确的分类和识别，研究人员探索了各种方法，目前主要的就是在特征提取上进行分析和研究，特征提取是为了更好的将模式分类，时域，频域，时频域分析法是主流特征提取常见方法。目前用于肌电信号识别分类的方法主要有支持向量机，人工神经网络，卷积神经网络，深度神经网络，聚类分析，线性判别分析，隐马尔科夫模型等[17-23]，在以上分类方法中，卷积神经网络在近几年凭着分类结果的高准确性脱颖而出，被广大学者采用。
1.4 sEMG手势识别和研究中存在的问题
对sEMG信号数据采用机器学习的方法来识别和分类手部各个动作，并用于操控外围设备是目前的研究热点。通过研究和调查发现，若要真正实现实时的通过sEMG信号来识别手部动作以便能够灵活来操控外围设备，仍然存在很多的现实问题需要解决：
1、手部动作准确率低，识别精度远远达不到能够灵活控制外围设备的要求。
4
第1章 绪 论
2、如何对更少通道的sEMG进行模式识别，在提高sEMG正确识别率的同时，不增加算法复杂度，降低分类识别时间，提高系统实时性。
3、如何对微小动作的识别与分类是目前对肌电信号研究的一大热点问题。
1.5 各章节安排
本文针对肌电信号手部动作识别整个流程中常见问题进行分析研究探讨，为了提高模式识别准确率，至关重要的因素是肌电信号的采集，肌电信号的采集又要求对肌电信号的产生机理特点进行研究分析，目的就是采集准确的肌电信号降低肌电信号中的偶然误差，使得后续的模式识别准确率更高。对肌电信号数据进行预处理及特征提取，通过使用深度学习的卷积神经网络方法对手部的12种动作进行分类识别。
本文的主要工作安排如下：
绪论：从课题的选取背景及意义展开了阐述，并通过对假肢信号控制源阐述，对比分析得出选取sEMG信号作为控制源的原因。指出现阶段手势识别的国内外研究现状，以及sEMG手势识别目前面临的主要问题。
sEMG采集设计：通过研究分析sEMG的产生的生理机理特点，确定不同动作所对应不同肌肉群的收缩部位，最终确定肌电电极的安放位置。除此之外还对如何选取合适的肌电电极，以及规范手部动作进行详细的阐述。成功的完成手部12种动作的sEMG信号数据采集工作。
sEMG信号预处理及转化处理：噪声处理是预处理工作的重要一步，在去噪方面，本文提出了基于熵和经验模态分解的表面肌电信号去噪方法。在信号转化处理方面，通过Hanning函数提取出sEMG的谱图特征，并作为神经网络的输入数据集，通过提取谱图作为手部动作的特征量，对于动作分类的识别精确率提升起到重要的作用。
基于神经网络的手部动作识别：在本章中，通过详细对比不同的网络结构对于手势识别精度的影响，构造了适应于肌电手势识别的CNN卷积神经网络结构，并通过对含有两层深度神经网络结构进行分析，证明了含有两个卷积层的网络结构在本文数据集上对于手部动作识别具有准确性更高，训练时间更短的优点。最后，本文通过增加随机数据集，增加了整个系统的鲁棒性。
5
河北大学工程硕士学位论文
第2章 肌电信号采集
2.1 引言
sEMG是人体各个肌肉组织在运动时候产生的生物电信号，可以在皮肤表面采集到，直接表现出大脑控制肢体的思维意图，肌肉组织的运动状态。使用表面肌电信号控制外界辅助工具，例如残疾患者的假肢，具有信号源获取方便，对患者无任何创伤的优点，在康复医学领域，常常作为控制信号源[24-32]。手部动作的产生机理是：手部动作是通过生物电信号进行控制的，生物电信号是由神经元产生的，神经梢接受到传来的电信号后，就会发出指令使其与动作相关的肌肉群收缩，从而牵动相对应的骨骼完成手部动作模式。
进行假肢控制，首先要对表面肌电信号进行分类识别，其识别结果作为假肢的控制信号，若要对表面肌电信号进行训练分类识别，前提是获取到精确的表面肌电信号。这就需要了解sEMG的特征特点与生理机理，根据其生理机理的特点，安排采集电极片的位置，完成采集肌电信号的工作。
2.2 sEMG信号的生理机制
当肌肉发生舒张或者收缩时会产生一系列复杂的生理电信号即为表面肌电信号(sEMG)，它是在大脑神经系统控制下伴随着复杂的生物化学过程产生的，生物化学过程为肌肉细胞的兴奋、其兴奋的传播以及肌肉细胞的抑制等等[33]。
肌电图（EMG）用来记录肌肉产生的各种电活动，通过肌电图可以直接反应出人体的电信号变化情况，是医学评估领域常用的评估手段。当大脑传来的电刺激信号，使得每个肌原纤维都被其局部神经元产生的电-化学刺激激活，这些步骤，可以被内部或者表面覆盖的肌电信号采集设备所采集并记录。sEMG产生的生理结构模型如图2-1所示：
6
第2章 肌电信号采集
感受器 脑神经 大脑皮层 电脉冲 脊髓神经 脊神经电脉冲 表面肌电信号 肌纤维组织 收缩力 表面肌电 图2-1 sEMG产生的生理结构
2.3 表面肌电信号的特征
个体差异性会造成不同结果，因此肌电信号也会体现出个体差异性。例如个体的年龄、体重、性别都会对表面肌电信号测量造成影响。但是，根据学者研究发现，肌电信号也有其共同的属性，sEMG振幅通常在几毫伏之内，非常微弱。频谱的范围大约在10~500Hz，主要能量集中在20-150Hz，这就造成了在进行肌电信号处理的时候，经常需要过滤其高频信号，同时肌肉的弯曲变化程度越强，采集到的sEMG信号波动越明显。结合了时间上肌电信号变化情况和波动随时间的变化情况的时频特征，更能代表表面肌电的特点。
根据实验结果表明，采集到部分用户的肌电信号数据，可以用来预测其他用户的手部动作，这说明sEMG信号含有内在的相似性。
2.4 sEMG数据采集实验描述
通过以上的描述，了解sEMG信号采集的生理过程，如果想要通过sEMG信号进行分类识别人类的手部动作，前提就是能够采集到肌电信号数据，采集到肌电信号数据的
7
河北大学工程硕士学位论文
精确性，直接关系到后期识别精度的大小。因此，接下来本文将对肌电信号的采集进行详细分析，以为后期的手势识别分类奠定基础。
2.4.1 肌电采集设备描述
本文实验的肌电信号数据采集设备是来自于美国的Noraxon公司生产的sEMG信号采集设备，通道数目最多支持16,可以完成本文对于8通道数据采集要求。sEMG信号的整个采集设备如图2-2所示，整个系统中，含有无线传输模块，肌电采集模块，同时，通过电脑接收数据，直接进行分析处理。
图2-2 sEMG采集系统
2.4.2 手部动作设计及采集注意事项
由于sEMG信号具有微弱性的特点，这就要求采集人员在采集sEMG信号要注意电极贴片的位置摆放，贴片的位置的准确性将直接影响了sEMG信号的有效性。当然，其他的作用因素也会造成实验数据的不精确，为了采集到高精度和高质量的表面肌电信号数据，应注意以下事项：
由于人体皮肤和环境的因素，会在采集肌电信号时候，引入噪声数据，为了降低这些影响，首先应该使用酒精等清洁工具对采集贴片处进行清理。其次，由于位置不同，采集到的肌电数据的强度也各不相同，本文采用公认的特征信号产生关联位置，安排肌电采集贴片的粘贴位置，具体贴片位置如表2-2所示：
8
第2章 肌电信号采集 表2-2 手势动作模式及描述
手势动作模式
手势动作模式描述
对应手势动作
伸手 五指全部自然张开
握拳 所有手指弯曲闭合
剪刀手 食指与中指张开，其余手指弯曲
环形
食指、中指和小拇指张开，其余
手指弯曲，并接触
轻微半握
整个手掌成半握状，五个指头轻
微用力
自然下垂
整个手掌不用力，成自然下垂，
成静止状态
拿握
除小拇指和无名指之外，其余手指均与拿捏实验物品部分接触
9
河北大学工程硕士学位论文
兰花捏取
拇指与食指弯曲接触来捏取实验物品，钥匙，硬币等。
所有手指弯曲，主要用力手指是食指和拇指，实验动作可为捏笔
帽
五指用力弯曲，掌心与实验物品紧密接触，实验动作可为提电脑
包
指尖捏
提握
用力握
整个手掌与手指都用力与实验
物体相接触
圆球握取
实验物体包含在手掌中，整个手
指成环绕状握取
采集以上的各个手部动作的sEMG信号数据，并将采集到的数据分别保存到dataset文件夹，存储名字按照所做的名字进行命名，其中，实验共有30个实验人员，每个实验人员每个动作重复做10次，获取到12*300组单个手势的数据集。实验人员选取的是正常健康人员的大学生，在实验之前演示解说实验预期手部各个动作模式，确保每个实验人员都能了解到实验所需手部动作详情，做完一组手部动作休息10s，避免肌肉疲劳，皮肤出汗等因素，造成sEMG信号之间明显的差异性。部分实验人员信息描述如下：
10
第2章 肌电信号采集
表2-3 部分受试人员信息
姓名 魏帅 郝沙沙 郭瑞芳 李奂良 赖清发 —
性别 男 女 女 男 男 —
年龄(岁) 27 25 25 25 23 —
身高(cm) 176 165 160 175 175 —
体重(kg) 80 54 45 65 52 —
具体采集过程如下：通过无线采集模块，把绑定在身上的肌电采集模块采集到的数据，发送到wifi采集模块，通过python库，将采集到的肌电数据进行存储。
图2-3 sEMG采集流程图
最终，采集的肌电数据存为JSON类型的数据格式，具体格式类型定义如下： {
“动作名称”：“握拳“， “数据“：{
“时间戳“：[“数据通道0”,”数据通道1”，
“数据通道2”,”数据通道3”，
11
河北大学工程硕士学位论文
} }
“数据通道4”,”数据通道5”， “数据通道6”,”数据通道7”],
******
2.5 本章小结
在本章中，本文首先从表面肌电信号（sEMG）生理学基础开始，描述了整个肌电信号的特征，同时，根据整个肌电信号的特征参数和产生机理，确定了肌电信号采集时候信号贴片的位置，根据生活中常用手势，设计了几种常见判别手势，并采集到肌电数据，为进一步对于手势分类识别，做好前期准备。
12
第3章 手部动作sEMG信号的预处理及转化处理
第3章 手部动作sEMG信号的预处理及转化处理
3.1 引言
sEMG信号比较微弱，同时由于个体的差异性以及采集环境的影响导致采集的sEMG信号含有大量的噪声信息。因此，必须对采集的sEMG信号进行去噪处理。为了有效的去除sEMG信号中的噪声，本文提出了一种基于样本熵和经验模态分解(empirical mode decomposition ，EMD)的去噪方法。此外，为了能够识别更多的手部动作模式，提高动作分类识别的准确率，就需要对预处理后的sEMG进行信号转化处理将其转化为一张图像，即对去噪后手部动作的sEMG信号的使用傅里叶变换，通过Hanning函数提取出sEMG的谱图特征，并作为下一节神经网络的数据集。
3.2 基于熵和EMD的去噪方法
EMD去噪由于不能明确含噪IMF分量以及对于含噪IMF处理等问题，影响了EMD去噪方法对低信噪比信号的去噪效果。样本熵反映了信号的复杂程度，基于样本熵的特点本文提出了一种基于熵和经验模态分解的sEMG去噪方法。
针对常规EMD去噪不能确定含噪IMF阶次的问题，根据样本熵的特性，提出了利用样本熵来确定IMF含噪分量的方法。假设X(i)为采集的原始数据，i=1:N，则其样本熵的计算过程为[14]：
根据X(i)按顺序构建m维矢量Xi即：
Xi=[x(i)x(i+1)x(i+m−1)]
(3-1)
定义dj为Xi与Xj两个矢量间的距离，其定义为：
i
dij=maxx(i+k)−x(j+k),0km−1
（3-2）
给定相似容限r,根据r，统计 dijr的数目定义为Ci，并与总矢量数N-m做比值，记为Bim(r)：
Bim(r)=13
A N−m（3-3）
河北大学工程硕士学位论文
计算其平均值记为Bm(r)：
N−m+1
Bm(r)=Bi=1mi(r)N−m+1
（3-4）
更新维数，维数增加一维m=m+1，重复上述步骤得到Bm+1(r)； 从而得到样本熵为：
SampEN=−ln[Bm+1(r)/Bm(r)]
（3-5）
样本熵反映了时间序列信号的复杂性，样本熵越大表示信号越复杂，说明含有噪声信号较多，反之样本熵越小表明信号的自相关程度越高，信号含有的噪声越少。在对信号进行EMD分解后，分别计算各阶IMF分量的样本熵，根据各阶IMF样本熵的大小确定IMF需要去噪处理的阶次，从而判定含有主要噪声的IMF分量。
3.2.1 自适应阈值滤波
确定了含有噪声的IMF分量后，核心的问题是对含噪的IMF如何进行滤波处理。鉴于常规硬阈值和软阈值小波去噪的局限性，在此借鉴文献[15]提出的改进小波阈函数来处理含噪的IMF分量。该小波阈值函数能够保证信号的连续性，保留混叠在噪声中的有效信息。该小波阈值函数如式（3-6）所示。
(−IMFi)sgn(IMF)(IMFi−iei),IMFiiˆIMFi= −f IMFie, IMFii （3-6）
其中i为IMFi分量的阈值，为取值为0~1的调节因子，f为信号的频率。 综上，基于样本熵和EMD去噪方法的基本过程如图3-1所示:
图3-1 基于样本熵和EMD去噪的流程
14
原始信号 预处理 （陷波处理，差分处理） EMD分解 IMF样本熵计算 信号重构 阈值去噪 含噪IMF分量 第3章 手部动作sEMG信号的预处理及转化处理
具体过程为：
（1）对原始信号进行50HZ的陷波滤波去除工频干扰；
（2）进行二阶差分滤波对背景噪声进行有效的抑制，差分滤波的公式为：
xt=yt+2 - yt+1 - yt + yt−1
（3-7）
式中 xt是差分滤波后数据，yt是陷波滤波处理后数据。
（3）对差分滤波后数据Xt进行EMD分解，获得多个待处理IMF分量； （4）分别计算各IMF的样本熵，然后根据样本熵的特征，确定含噪的IMF分量； （5）对确定的含噪的IMF分量，进行阈值去噪处理； （6）最后利用处理后的IMF和未处理IMF重构去噪后信号。
3.2.2 去噪声实验分析
以采集动作的一组伸手握拳动作为例，对去噪声算法进行验证。如图3-2所示：
300200sEMG幅值/mv1000-100-200-30000.511.5time/s22.53
图3-2 sEMG数据
对上述采集的sEMG首先进行50HZ的陷波处理，并采用式（3-7）进行差分滤波处理。然后采用EMD对预处理的数据进行15阶EMD分解，获得的各阶IMF分量如图3-3所示。
15
河北大学工程硕士学位论文
IMF1/mvIMF2/mvIMF3/mv012time/s3500-50012time/s31000-1001000-100012time/s3IMF4/mvIMF5/mv0-100012time/s30-50012time/s3IMF6/mv10050200-20012time/s3IMF7/mvIMF8/mv0-10012time/s30-502time/s4IMF9/mv10520-2012time/s3IMF10/mvIMF11/mv0-5012time/s30-2012time/s3IMF12/mv520.50-0.5012time/s3IMF13/mvIMF14/mv0-0.5012time/s30.050012time/s3IMF15/mv0.50.120-2012time/s3
图3-3 sEMG各阶IMF分量
为了能够准确的确定含噪的IMF阶数，分别计算各阶IMF分量的样本熵，如图3-3所示。由图可以看出IMF分量的样本熵整体呈指数下降趋势，自第8阶IMF起IMF分量的样本熵基本接近零值，这说明噪声主要存在于前7阶IMF分量，所以需要对其前7阶IMF进行降噪处理。
4.543.53样本熵2.521.510.500123456789IMF阶次101112131415
图3-4 各阶IMF的样本熵
16
第3章 手部动作sEMG信号的预处理及转化处理
对上述前7阶IMF采用式（3-6）所示的阈值函数进行滤波处理，其中阈值
i=i2ln(N)，其中，为噪声标准方差，N为采样信号的长度。处理后的实验结果
如图3-5所示。由图可以看出，针对sEMG数据，小波去噪在初始阶段有较大的误差，而EMD去噪和基于样本熵和EMD的去噪在初始阶段效果较好。造成这一结果的主要原因是小波去噪需要人为指定小波基函数，小波基函数的选取会影响小波去噪效果。而基于EMD分解的去噪方法，根据数据的特性进行EMD分解，不需要人为指定基函数所以具有一定的自适应性。
原始数据500幅值/mv0-50020000.511.522.53小波去噪幅值/mv0-20020000.511.522.53基于样本熵和EMD去噪幅值/mv0-20020000.511.522.53改进EMD去噪幅值/mv0-20000.511.5time/s22.53
图3-5 原始数据与降噪数据对比
统计了三种去噪方法的信噪比和方差，如表3-1所示。由表3-1中数据可知，对于实际采集的sEMG，基于EMD的去噪效果较好。 而引入样本熵的改进的EMD方法结合了EMD和小波去噪的优势，同时还能自适应的确定含噪IMF分量，在三种方法中效果最好。
17
河北大学工程硕士学位论文
表3-1三种算法sEMG去噪效果对比
阈值函数 小波阈值 EMD 样本熵EMD
信噪比 14.55 16.43 18.21
方差 63.73 40.38 26.34
3.3 sEMG信号的转化处理
本文手部动作识别分类采用神经网络方法，而sEMG信号是关于时间的连续信号数据。首先，为了更好的表现输入数据的差异性，本文对去噪后的肌电信号进行短时傅里叶变换，创建其谱图，短时傅里叶变换广泛地应用于生物医学领域，是对时域信号最常见的处理手法，通过将时域数据信号分解为片段并进行短时傅里叶变换，计算频谱的幅度，然后组合成为图像。
短时分析就是对连续的sEMG非平稳信号一段短时间信号进行分析，因为在短时内sEMG信号是平稳的信号。通过短时分析描述肌电信号在时间序列上频率的变化状况。它的基本思想就是把一组短时间的时域信号转化为频域信号进行分析。
其对于去噪后的肌电信号处理过程如下，通过握拳信号为例：
图3-6 去噪后的握拳肌电信号
如上图3-6所示为一组握拳sEMG信号，对其使用了“汉宁窗口”窗口函数来滑动取出窗口中的sEMG信号，把该窗口下的sEMG信号转化为谱图，将问题转换成图像分类问题，即对时间序列连续的信号处理分类转换成图像分类。
汉宁（Hanning）窗，也称为“Hanning”窗口函数，其公式如下：
18
第3章 手部动作sEMG信号的预处理及转化处理
(3-8)
其中n为一小段窗口的sEMG信号，N为总的sEMG信号。
本文设定窗口大小为20ms，为了避免两个窗口sEMG信号变化过大，因此会让两个窗口之间有重叠的区域，设定重叠区域为10ms，对于窗口的sEMG信号进行傅里叶变换得到每秒的频谱值，求得的谱图如图3-7所示：
图3-7 sEMG信号谱图
如果使用频谱图作为后续神经网络的输入特征图，则还需要对其进行进一步的处理，使其信号特征更明显。
需要计算谱图值的均值和标准差：其中均值公式如(3-9)所示
(3-9)
其中代表每一段sEMG信号的谱图值。标准偏差的定义公式如(3-10)所示：
(3-10)
经过均值，标准偏差计算之后，通过公式(3-11)对原始谱图进行特征增强处理，
(3-11)
为原始谱图矩阵，为增强后的谱图矩阵，mean为原始谱图的均值，std为
原始谱图的标准偏差值，增强特征后的谱图如图3-8所示，通过对比看出，相比于图3-7，经过增强特征之后，关键有效区域内信息得到增强：
19
河北大学工程硕士学位论文
图3-8 谱图经过均值标准差处理后效果图
为了能够更好的观察sEMG信号谱图特征，将其在三维进行了展示，如图3-9所示，计算出来的谱图，将会作为手势识别神经网络的输入训练数据。
图3-9 sEMG信号谱图3D效果图
20
第3章 手部动作sEMG信号的预处理及转化处理
3.4 本章小结
sEMG的信号微弱，为了避免噪声对于动作分类的识别准确率的影响，本章基于样本熵和经验模态分解的去噪方法对含有噪声的sEMG使用进行处理采集，并对去噪后手部动作的sEMG信号的使用连续傅里叶变换，通过Hanning函数提取出sEMG的谱图特征，并作为下一节神经网络的数据集，本小节中，通过提取谱图作为手部动作的特征量，对于动作分类的识别精确率提升起到重要的作用。
21
河北大学工程硕士学位论文
第4章 基于卷积神经网络的手部动作识别
4.1 引言
采用sEMG信号数据对手势动作进行模式识别，选取合适的动作特征向量及模式识别分类器是提高肌电信号手势动作识别的准确率的重要环节。对手部各个动作分类识别主要是把采集到的各个动作sEMG信号经过信号转化处理后得到的谱图作为输入层，经过分类器的分类学习，输出的指令就是与输入相对应的sEMG信号的手部动作。若识别正确，则输出的动作指令与输入的动作高度相似，可近似认为相同；反之，则输入与输出的动作模式不匹配。由此可见，分类器扮演者至关重要的角色，选取一个合适的分类器将直接影响了对动作sEMG信号分类识别的准确率。目前应用最为广泛的分类器主要有神经网络，支持向量机，隐马尔科夫模型，卷积神经网络，深度神经网络等，而卷积神经网络，深度神经网络在分类效果上更加优异，应用最多，是一种与“模型无关”的非监督学习，具有通过调整使得输出在特征空间中逼近任意目标的优势。上一章节已经将sEMG信号转化为谱图，本章将在上一章的基础上，通过提取出的谱图特征利用卷积神经网络(CNN)对手势的12种动作进行分类模式识别。手势动作模式识别的具体过程如图4-1所示。
22
第4章 基于卷积神经网络的手部动作识别
手势识别的CNN架构 sEMG手势识别
sEMG训练样本输入 原始sEMG信 号数据 预处理 滤波 EMD去噪 样本熵 特征选择方案调整 手势动作 特征提取 选择分类判别原则 改进判决规则 错误率 检测 识别出手势动作 sEMG训练样本输入 模式识别分类
图4-1 手势动作模式识别框图
图4-1是手势动作的表面肌电信号的模式识别组成示意图。从框图中可以看出，整个系统有学习模块和识别测试模块两大部分组成。在两大模块的数据处理中都包含了数据预处理，包括滤波和去噪过程中详细的算法预处理，该内容已在第三章进行阐述。经过预处理后需要对表面肌电信号进行特征提取和分类规则的选取，对采集的手势动作的表面肌电信号进行模式分类识别，然后将已经标记的分类结果与已知的原始信号对应的动作模式进行比较，不断改进判决规则和特征的选取方法，使得错误率降到最低，这就
23
河北大学工程硕士学位论文
是动作模式识别的再学习过程。本文选用双卷积层网络结构，使得肌电信号动作识别错误率最小，从而提高整个系统动作识别的准确率。
4.2 卷积神经网络的基础
神经网络是一门重要的机器学习技术，是一种模拟人脑的神经网络已期望能够实现人工智能的机器学习技术。历史上，科学家一直希望模拟人的大脑，造出可以思考的机器。人为什么能够思考呢？科学家发现，原因就在于大脑的神经网络。
图4-1 神经元
外部刺激通过神经末梢转化为电信号，进而转导到神经细胞(又称神经元)。无数神经元构成神经中枢，经中枢综合各种信号对大脑指令做出判断。人体根据神经中枢做出的判断，对外部刺激做出反应。神经网络中最小的基本组成单元是神经元，通过对神经元进行运算来实现对各种神经网络的计算和分类识别功能。由此可知，思考的基础是神经元，如果能够人造神经元，就能组成人工神经网络，模拟人类大脑思考。
卷积神经网络是由输入层、卷积层和全连接层组成，卷积层一般有一层或多层组成，卷积层运算完之后有一个池化层，池化层又叫下采样层，其主要的作用就是用来降维的。一般情况下卷积神经网络的主要结构由卷积层、线性整流层、池化层、损失函数层组成。正是由于CNN的这种多层结构，因此输入数据经过卷积层特征提取后又作为了下一层的输入，以此类推。卷积神经网络之所以被研究学者广泛使用，是由于它具有局部连接，
24
第4章 基于卷积神经网络的手部动作识别
权值共享以及降采样的优点。局部连接就是下一层的神经元仅和上一层的局部区域连接，并不是像全连接网络一样和上层神经元进行全部对应的连接；卷积神经网络通过共享权值，来减少网络的参数数量。经过卷积层运算之后，维数比较大，因此可通过降采样(池化层)进行降维，使得之后的操作简单些，并且对于鲁棒性的提高也有些作用。对于手部动作的sEMG信号数据来说，通过卷积神经网络来进行分类，有利于提高分类识别的准确率。但卷积神经网络能够做到这一点的关键在于能否消除不重要的参数成分，更好地把有用的参数成分保留下来。
图4-2 CNN结构特征
如图4-3所示CNN的输入是一张2D图像，CNN的第一层是由一组二维特征映射组成的卷积层，特征映射中的神经元是连接的输入的一小块区域，成为局部域。而在特征映射中，每个神经元的权重都是共享的。然后就是池化层进行降维，全连接层是把所有特征图全连接起来进行输出。卷积层和池化层数量不同，构成的卷积神经网络的结构也就不同。卷积神经网络的一般结构模式是：
输入层 –> [[卷积层]*N -> 池化层]*M -> [全连接层]*k
卷积层是CNN中最重要的网络层，卷积操作就是把输入的图像或者上一层输入的特征图进行卷积运算，在激活函数的作用下得到新的特征图的过程。每一层都会产生多张特征图，而每张特征图都代表了图像的某个特征，卷积运算公式定义如式4-1所示：
l+bil xlj=fxlj−1*kijiMj（4-1）
CNN中每一层级都是有多张特征图，xlj表示的是第l层级的第j个特征图，f(•)代
表的是一个新的激活函数-Relu，Relu函数的定义如4-2所示：
f(x)=max(0,x)
25
（4-2）
河北大学工程硕士学位论文
其中x为神经元的输入向量。图4-3所示的为激励函数的图像：
图4-3 Relu函数
作为激活函数的Relu，其主要优势是：速度快，和传统的sigmoid函数需要计算指数和倒数相比，Relu函数其实就是一个max(0，x)，计算代价要小很多。其次它能减少梯度消失问题，计算梯度的公式如(4-3)所示：
= x
（4-3）
其中是sigmoid函数的导数。在使用反向传播算法进行梯度计算时，每经过一层sigmoid神经元，梯度就要乘上一个。从图4-4可以看出，函数最大值是1/4。因此，乘一个会导致梯度越来越小，这对于深层网络的训练会是一个很大的问题。而Relu函数的导数是1，不会导致梯度变小。当然激活函数仅仅是导致梯度减少的一个因素，但无论如何在这方面Relu的表现都要优于sigmoid。使用Relu激活函数可以训练更深的网络。
26
第4章 基于卷积神经网络的手部动作识别
图4-4 sigmoid函数
Mj表示样本输入数据，第l层中的卷积核用Kij表示，*表示卷积层运算符，卷积运
l算之后，不仅可以降低信号的噪声，还可以增强信号特征。在卷积运算之后加上偏置b，最后通过使用刚刚介绍的Relu激活函数产生新的特征图。反向传播算法是重要的网络训练算法，CNN就是用该算法进行训练和学习，原理是计算出每一层的输出损失函数(loss)，然后将loss函数的导数来传递给上一层来训练网络，以此类推不断更新权重参数，使得学习精度越来越准确，错误率越来越低。反向传播的整个算法分为四个步骤：
（1）前向计算每个神经元的输出值aj，其中j表示网络的第j个神经元； （2）反向计算每个神经元的误差项j，j也叫敏感度。它实际上是网络的损失函数Ed对神经元加权输入netj的偏导数，即j=Ed； netj（3）计算每个神经元连接权重wji的梯度（wji表示从神经元i连接到神经元j的权重），公式为
Ed=aij，其中，ai表示神经元i的输出。 wji（4）最后，根据梯度下降法则来更新每个权重。
卷积层卷积运算之后，紧接着是降采样层也叫池化层，就是对上一层输出的特征图进行下采样以便降低维度且产生一个平移不变形的特征图。降采样方案有最大值池化，平均值池化，就是把特征映射分成小的不重叠的块，取每块的最大值或平均值。池化层
27
河北大学工程硕士学位论文
输出的特征图将作为下一个卷积层的输入。最后通过全连接层把之前的多张特征图连接起来，然后对其进行分类识别。
4.3 深度神经网络的结构及特点
深度神经网络与传统的单一隐藏层神经网络的区别在于深度，即数据在模式识别的多步流程中所经过的节点层数。深度神经网络的每一节点层分类学习出的特征都是在上一层输出的基础上进行的，而学习网络深度越深，每一层学习出的特征也就越复杂，原因是每一层都是把上一层的特征进行重新整合。
图4-5 深度神经网络结构
与卷积神经网络的层数架构一样，只不过卷积神经网络的层层之间是共享权重的局部连接，而深度神经网络是全连接的，也就是说下一层的每个神经元都是上一层的神经元一一连接的。深度神经网络由于层数比较深，因此看起来很复杂，其实从它的局部区域模型来看，依然与感知机一样，即有一个线性函数z=wixi+b和一个激活函数(z)。
4.4 手部动作网络训练模型设计
通常情况下，肌电信号手势识别是基于时频分析后的时频谱完成的，而其中手势动作的时频谱是具有结构特点的，要想提高手部动作的手势识别率，就是需要克服肌电信号所面临的各种各样的多样性，包括人的动作力度，动作幅度以及环境的影响等。而卷积神经网络提供了在时间和空间上的平移不变形卷积，将卷积神经网络的思想应用到肌
28
第4章 基于卷积神经网络的手部动作识别
电信号手部动作识别的动作分类建模中，则可以利用卷积的不变性来克服肌电信号本身的多样性，从这个角度来看，则可以认为是将手部动作肌电信号分析得到的时频谱当做一张图像来处理，采用图像中广泛应用的深层卷积神经网络对其进行识别。
卷积神经网络有着很强的分类识别能力，本文利用卷积神经网络对各个手部动作进行分类识别。本文使用肌电信号识别的卷积层基本框架如图4-6所示：包含卷积运算和池化运算。
图 4-6 卷积网络结构
如图所示，输入层为sEMG信号谱图，用设为I，即:
（4-4）
在公式（4-4）中，w为我们肌电信号谱图上时域特征，而h为肌电输入信号谱图频域特征。本文通过权重矩阵与输入信号I做卷积运算。求出n个特征图像。通过卷积运算使得输入矩阵可以更好拟合肌电信号。这个权重矩阵包含了n个隐藏单元。即含有
n个特征映射。
本文将时域和频域方向上的步长设为1。
，为卷积核大小，经过卷积层的卷积运算之后会产生n个特征矩阵，其特征矩阵大小计算公式如式4-5所示：
（4-5）
经过卷积运算得到n个特征图，再进行池化运算，池化运算就是把输入信号分割成不重叠的区域，对于每个区域通过池化（下采样）运算来降低特征图的维度，比如最大值池化就是选取区域内的最大值，均值池化就是计算区域内的平均值。通过该运算来消除信号的偏移和扭曲。池化核选用的大小为p*q，本文采用的是最大值池化，经过池化之后得到的时频特征上的矩阵大小计算公式为：
29
河北大学工程硕士学位论文
全连接运算就是当输入信号经过多次卷积核池化运算后，输出为多组信号，经过全连接运算，将多组信号依次组合为一组信号。随后输出层会产生输出，这些信息会互相比较排除错误。损失函数采用的是交叉熵函数来验证，损失值越小证明分类效果越好，若损失值较大，则就需要通过梯度下降法来反向传播以不断改进过滤器（权重）和偏置b。一个训练周期有单次正向和反向传递完成。
(4-6)
4.4.1 网络训练模型结构
为了确定不同的网络结构和卷积核大小对于手势识别精度的影响，本文设计两种不同的架构进行手势识别的对比分析，如下图4-7所示，
图 4-7 两种网络训练模型结构设计
本文构建基于表面肌电信号手势识别的卷积神经网络结构分别描述为含有双卷积层的CCD-MODEL与含有双全连接层的CDD-MODEL。具体描述如下：
30
第4章 基于卷积神经网络的手部动作识别
表4-1 CCD-MODEL网络结构模型
CONV CONV LIN DNN SOFTMAX
卷积核大小 16*12 8*6 - - -
N 64 64 32 128 12
池化大小
5*1 1*1 - - -
如上表4-1所示，CCD-MODEL网络结构模型具体结构如下：
输入层：神经网络结构A中，输入层为我们经过特征提取后的肌电信号的谱图作为输入，将处理后的特征信号每个20ms组成一帧，每帧计算出38维特征向量，并左右合并堆叠到23帧，合成28*38的输入矩阵，作为输入向量，组成CCD-MODEL与CDD-MODEL的输入层。
CONV_1：输入层通过大小为16*12卷积核的大小，卷积核的个数为64，表明共提取了多少图像的特征，经过池化之后，特征图大小变为13*9。
CONV_2：有CONV_1得到的特征矩阵，通过大小为8*6卷积核，卷积核的个数为64，得到特征图大小为6*4。
LIN：由于经过上两层运算之后，输出特征图维度过高，因此，在全连接层与CONV_2层之间，加入线性低秩层进行降维。
DNN：通过LIN输出的特征经过全连接层进行输出。
输出层：最终的输出层我们使用了SoftMax层进行运算输出，最终得到了每个手势的识别概率，在进行调整和优化网络权重通过使用分布式梯度下降的方法。输出向量为浮点型。
31
河北大学工程硕士学位论文 表4-2 CDD-MODEL网络结构模型
CONV LIN DNN DNN SOFTMAX
卷积核大小 28*12 - - - -
N 54 32 128 128 12
池化大小
1*3 - - - -
如上表4-2所示：CDD-MODEL网络结构模型与CCD-MODEL网络结构模型不同的是少了一个卷积层，增加了一个全连接层，具体描述如下所示：
输入层：与CCD-MODEL网络结构模型相同，输入层为经过特征提取后的肌电信号的谱图作为输入，将处理后的特征信号每个20ms组成一帧，每帧计算出38维特征向量，并左右合并堆叠到23帧，合成28*38的输入矩阵，作为输入向量，组成CDD-MODEL的输入层。
CONV：输入层通过大小为28*12卷积核的大小，卷积核的个数为64，表明共提取了多少图像的特征，经过池化运算之后，输出的特征图大小变为1*9。
LIN：与CCD-MODEL作用一致，通过线性低秩层进行降维。 DNN：通过LIN输出的特征经过全连接层进行输出。 DNN：通过DNN输出的特征经过全连接层进行输出。
输出层：最终的输出层的计算中，我们使用了SoftMax层进行运算输出，最终得到了每个手势的识别概率，在进行调整和优化网络权重通过使用分布式梯度下降的方法。输出向量为浮点型。
4.4.2 交叉熵损失函数及混淆矩阵
本文使用交叉熵代价函数（Cross-entropy cost function）来衡量实际的手部动作与通过预测得出的手部动作之间的差距值，同时交叉熵代价函数也能够很好的解决学习参数更新慢的问题，即若差距值大，那么就会使得各种学习参数调整幅度变大，这样才能够更快的使整个训练快速高效。交叉熵代价函数的计算公式如式(4-7)所示：
32
第4章 基于卷积神经网络的手部动作识别
C=−1[ylna+(1−y)ln(1−a)]nx
(4-7)
其中x代表的是训练样本数，y代表的总训练样本数,通过交叉熵代价函数更新参数
w的梯度公式定义如式(4-8)所示：
C1y(1−y)=−(−wwjnx(z)1−(z)j =− =1y(1−y)−(z)xjnx(z)1−(z)1((z)−y)nx(z)(1−(z))1 =xj((z)−y)nx
(z)xj(4-8)
其中， (z)=(z)(1−(z))上式(z)−y就表示的为实际动作值与预测输出的动作值之间的差距值，也叫误差值。当差距值越大时，w参数调整的越快，网络训练的速度也就越快。
同理，偏置b的梯度公式如(4-9)所示：
C1=((z)−y)bnx
(4-9)
为了解决当实际误差值大时，卷积神经网络训练中连接各神经元之间的参数更新慢的问题，因此引入了交叉熵代价函数，该函数也可以称之为损失函数，即通过对其采用上述所示梯度下降算法来不断更新参数，使得实际输出和预测输出的差距值最小化。
本实验采用了混淆矩阵(confusion matrix)来验证网络训练的分类器是否准确具有可信度。混淆矩阵又称误差矩阵，是用来评价精度的一种标准格式。它可以说是算法的一个可视化矩阵，通过该矩阵能够分析算法的性能情况，原因是它能够很直观的看出预测的情况，对角线上的数字都是预测正确的样本数，而对角线外的数字都是预测错误的情况。
4.4.3 实验结果与对比分析
本文使用TensorFlow框架对sEMG手势动作数据进行训练识别，TensorFlow由C++语言开发，是Google开源的数据流图开源计算数值软件库，被广泛应用在训练神经网
33
河北大学工程硕士学位论文
络上和机器学习研究中。本文通过可视化工具tensorboard获取训练日志。采用的编程语言是python。操作系统为macOS，16GB内存，3.6GHz的处理器。
对于本文提出的两种手势识别的网络结构，为了比较分析在手势识别系统上的识别精度和运行效率，将本文采集的十种手势动作进行作为数据库进行训练和验证，其中，每组手势动作都按照80：3：17的比例，分为训练数据集、测试数据集和验证数据集，同时，为了使得整个神经网络的系统更加健壮，通过将我们实验收集到的没有特定动作采集的肌电信号放入随机加入数据集中，来模拟各种复杂的情况。选择交叉熵损失函数作为优化目标。
为了方便查看模型如何，是否存在过拟合，收敛等情况，最好的方法是把 损失曲线和验证集的准确率曲线画出来。直观的查看分析，是否需要降学习率继续训练，通过准确率图来选取最好的模型。
CCD-MODEL的网络结构训练数据集的训练过程如图4-8所示，在训练过程中，截取了训练步数为1万次时候的准确率和损失曲线变化情况，可以看出，训练数据准确率在6000步之前变化明显，其精确度达到80%之后缓慢增加。
图4-8 模型CCD-MODEL结构准确率曲线
图4-9为交叉熵损失曲线，可以看出，随着训练进行，训练样本集交叉熵损失曲线逐渐降低，逐渐趋于平稳。
34
第4章 基于卷积神经网络的手部动作识别
图4-9 模型CCD-MODEL结构交叉熵损失曲线
同时，本文记录了CCD-MODEL结构的测试集准确率曲线和交叉熵损失曲线变化情况，分别为图4-10，图4-11所示，可以得出，随着训练步数的增加，其损失曲线逐渐降低，识别精度逐渐升高，模型结构更加稳定。
图4-10 模型CCD-MODEL结构损失曲线
35
河北大学工程硕士学位论文
图4-11 模型CCD-MODEL结构准确率曲线
对于模型CCD-MODEL来举例阐述最终的识别精度矩阵，即混淆矩阵，图4-12是模型CCD-MODEL模型的刚开始训练400步时的混淆矩阵：
图4-12 模型CCD-MODEL训练400步的混淆矩阵
由图4-12可以看出，当模型CCD-MODEL训练400步时通过混淆矩阵验证分类的准确性为27%，
36
第4章 基于卷积神经网络的手部动作识别
图4-13 经过8000步后的混淆矩阵
但是随着网络训练的不断深入，通过混淆矩阵验证的分类准确性也在不断提高，图4-13所示的经过8000步训练后算法的混淆矩阵。
CCD-MODEL模型经过18000步的训练后的混淆矩阵为图4-14所示：CDD-MODEL模型的最终混淆矩阵为图4-15所示
图4-14 模型CCD-MODEL的混淆矩阵
37
河北大学工程硕士学位论文
图4-15 模型CDD-MODEL的混淆矩阵
通过最终混淆矩阵，可以求出两种训练模型手部各个动作的识别精度，计算出来如下表4-3，4-4所示：
表4-3 CCD-MODEL手势动作识别结果
手势动作 伸手 握拳 剪刀手 环形 拿握 兰花捏取 指尖捏 提握 用力握 圆球握取 静态动作 轻微半握 平均识别率
38
识别率 93.42 93.86 91.39 91.36 93.07 91.39 90.04 93.60 90.97 93.41 93.18 84.82 92.0
第4章 基于卷积神经网络的手部动作识别
表4-4 CDD-MODEL手势动作识别结果
手势动作 伸手 握拳 剪刀手 环形 拿握 兰花捏取 指尖捏 提握 用力握 圆球握取 静态动作 轻微半握 平均识别率
识别率 94.44 92.96 90.26 84.52 91.54 86.16 70.42 90.34 93.08 90.83 91.16 92.12 88.03
从表中给出的准确率可以看出，不同的网络训练架构对于识别准确度是有很大的影响的。通过实验验证得出，采用双卷积层的网络训练结构，可以很好的进行肌电信号的分类识别。第一种架构相对于第二种架构来说，在乘法次数上有所减少，并且在不损失手势识别的精度情况下，减少了系统计算复杂度。为了保留sEMG信号谱图的特征，本文在进行卷积运算时通过增加特征图像的数量，提升系统的识别精度，对于肌电信号手势动作识别精确度达到了92%，相对于采用双全连接层的网络结构识别精度提高了4%，这是因为双卷积层中，特征图像数量更多，更容易拟合更高层次的特征，两个模型对于某些特定姿势，例如轻微半握拳，识别的错误率很高，这是由于轻微半握拳动作与握拳动作、精密捏动作相似，造成肌电信号上有很强相似性，不容易进行区分。通过训练过程和结果可以看出，含有双卷积层的结构CCD-MODEL无论是在识别精度和训练速度上都要优于含有双全连接层的结构CDD-MODEL。
39
河北大学工程硕士学位论文
4.5 本章小结
在本章中，详细对比研究了不同的网络结构对于手势识别精度的影响，构造了适应于肌电手势识别的含有双卷积层的网络结构，通过与含有双全连接层结构对比分析，证明了含有双卷积层的网络结构在本文数据集上对于12个手部动作识别准确性更高，训练时间更短。同时，通过增加随机数据集，使得整个训练系统拥有更好的鲁棒性。
40
第5章 总结与展望
第5章 总结与展望
5.1 本文工作总结
随着各种小型智能设备的普及，sEMG作为控制源已经应用于各种领域。生物医学工程领域中，sEMG由于其非侵入的特点，广泛的应用在可穿戴设备上，帮助残疾患者进行假肢的控制，能否通过手势动作sEMG信号对手势动作进行正确和实时高效的分类，对于提升残疾患者使用感受至关重要，当前越来越多的研究者开始聚焦使用机器学习的方式进行肌电信号的手势识别工作。
本文首先通过肌电信号的生理特点，选取了手臂相关区域采集表面肌点数据，同时由于表面肌电信号中含有噪声信号，提出基于熵和EMD的去噪方法对噪声进行预处理，降低噪声对于后期识别精度的影响，在预处理结束之后，对于预处理信号通过傅里叶变换提取出谱图，并作为深度学习网络的输入数据。
最终分析研究了不同卷积结构对于手势识别精度的影响，构造一种适用于肌电识别CNN卷积神经网络结构，通过与双全连接层神经网络对比分析，证明了含有两个卷积层的网络结构在本文数据集上对于12个手部动作识别准确性更高，训练时间更短。同时，通过增加随机数据集，使得整个系统拥有更好的鲁棒性。
5.2 课题研究展望
由于sEMG的无感、非侵入特点，使得其做为可穿戴设备控制信号源的理想载体。随着手势动作识别精度和可穿戴性能的不断提升，人类可以通过外界辅助设备来增强自身的能力，同时可以为残疾患者带来生活上的便利，例如患者可以通过假肢假手替代缺失的肢体功能，现有设备还是无法做到与人类肢体一样的灵活性。
下一步本文的工作是去除离线化数据，本文使用的数据是离线数据，没有做到增量式添加。在现实生活中，数据来源很广泛，因此可以设计一种数据实时训练的网络系统，进行手势识别分类。本文中的数据，来源都是人为采集，但是缺少无意识的肌电信号数据。后期可以考虑在生活中采集无意识信号来对这个网络结构进行训练。同时，本文进行的识别都是基于离线数据，可以考虑使用实时数据测试系统的正确性，可以继续优化，
41
河北大学工程硕士学位论文
目的是使得整个神经网络可以移植到可穿戴设备进行训练，而不是通过电脑进行训练分类。
下一步可以进行超微小手势的识别，这也是当前研究的主流方向。现有的识别网络，都适用于大幅度的手部动作，但是微小手势的识别都无法做到精确识别，例如，一根手指的弯曲程度的判断仍是目前研究的难点。
42
参考文献
参考文献
[1] 赵汗青. 面向人工假肢的表面肌电信号人手抓取动作研究[D]. 哈尔滨理工大学, 2016. [2] 陈永华. 脑电信号采集方法及其在假肢中应用研究[D].大连理工大学,2006.
[3] Schwarz A, Ofner P, Pereira J, et al. Decoding natural reach-and-grasp actions from human EEG[J].
Journal of Neural Engineering, 2018, 15(1).
[4] Yanagisawa T, Hirata M, Saitoh Y, et al. Real-time control of a prosthetic hand using human
electrocorticography signals.[J]. Journal of Neurosurgery, 2011, 114(6):1715-22.
[5] Shiman F, López-Larraz E, Sarasola-Sanz A, et al. Classification of different reaching movements
from the same limb using EEG[J]. Journal of Neural Engineering, 2017, 14(4):046018. [6] 芦莹. 基于BCI的假肢控制方法研究[D]. 燕山大学, 2011.
[7] 汤奇荣. 基于语音及肌电信号的嵌入式假手控制器的研制[D]. 哈尔滨工业大学, 2008. [8] 乔杰, 李致金, 郝一飞,等. 基于语音控制的智能假手系统[J]. 电子设计工程, 2015(12):4-7. [9] 邹国栋. 基于语音与肌电融合的多自由度假肢控制系统的研究[D]. 中南大学, 2012. [10] 查理. 肌电假手的研究进展[J]. 国防科技, 2007(9):6-13.
[11] 李素蕊, 李振新, 于毅. 智能仿生手的研究现状与发展展望[J]. 新乡医学院学报, 2015, 32(11):
1045-1047.
[12] 鲁立, 刘颂. 非线性SVM融合LDA的sEMG手势识别应用分析[J]. 激光杂志, 2014(8):26-29. [13] 蔡立羽, 王志中, 张海虹. 小波变换在表面肌电信号分类中的应用[J]. 生物医学工程学杂志,
2000, 17(3):281-284.
[14] 孙保峰. 基于神经网络的表面肌电信号分类方法研究[D]. 吉林大学, 2013.
[15] Lucas M F, Gaufriau A, Pascual S, et al. Multi-channel surface EMG classification using support
vector machines and signal-based wavelet optimization[J]. Biomedical Signal Processing & Control, 2008, 3(2):169-174.
[16] Nazarpour K, Sharafat A, S P F. Surface EMG Signal Classification Using a Selective Mix of Higher
Order Statistics.[J]. 2005, 4(4):4208-4211.
[17] Stulen F B, Deluca C J. Frequency parameters of the myoelectric signal as a measure of muscle
conduction velocity.[J]. IEEE Trans Biomed Eng, 1981, 28(7):515.
43
河北大学工程硕士学位论文
[18] 王刚, 王志中, 胡晓,等. 基于最佳小波包的表面肌电信号分类方法[J]. 中国医学物理学杂志,
2006, 23(1):45-48.
[19] 肖成, 谭立新. 神经网络在智能控制领域中的应用研究[J]. 江苏科技信息, 2017(20):57-59. [20] 飞思科技产品研发中心. 神经网络理论与MATLAB 7实现[M]. 电子工业出版社, 2005. [21] 杨亚慧, 谢宏. 基于卷积神经网络的表面肌电信号手势识别[J]. 微型机与应用, 2017,
36(15):59-61.
[22] 陈素素, 谢宏. 基于稀疏表示的联合多通道肌电信号手势识别[J]. 微型机与应用, 2017,
36(17):56-58.
[23] 张神权. 表面肌电模式识别的新控制策略研究[D]. 中国科学技术大学, 2017. [24] 王涛. 基于表面肌电信号的多自由度假肢控制算法及系统研究[J]. 2017.
[25] 杜宇. 基于深度机器学习的体态与手势感知计算关键技术研究[D]. 浙江大学, 2017.
[26] 席旭刚, 汤敏彦, 张自豪 等. 融合表面肌电和加速度信号的下肢运动模式识别研究 [J]. 电子
学报, 2017, 5(11): 2735-2741.
[27] SUN Y, LI C, LI G, et al. Gesture Recognition Based on Kinect and sEMG Signal Fusion [J]. Mobile
Networks and Applications, 2018, 1-9.
[28] IZZUDDIN T A, ARIFFIN M A, BOHARI Z H, et al. Movement Intention Detection using Neural
Network for Quadriplegic Assistive Machine [C].proceedings of the 2015 IEEE International Conference on Control System, Computing and Engineering (ICCSCE), 2015: 275-280.
[29] SAINATH T N, WEISS R J, WILSON K W, et al. Multichannel Signal Processing With Deep Neural
Networks for Automatic Speech Recognition [J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2017, 25(5): 965-979.
[30] GONDARA L. Medical Image Denoising using Convolutional Denoising Autoencoders [J].
Computer Science, 2016, 9(18): 1-6.
[31] VELANDIA N S, MORENO R J, HERN NDEZ R D. CNN Architecture for Robotic Arm Control in
a 3D Virtual Environment by Means of by Means of EMG Signals [J]. Contemporary Engineering Sciences, 2017, 10(28): 1377-1390.
44
参考文献
[32] HIRAOKA D, ITO S-I, ITO M, et al. Japanese Janken Recognition Based on Wrist EMG Analysis by
CNN and SVM [M]. 4th International conference on advanced technology & sciences. Italy. 2016: 323-328.
[33] PARK K H, LEE S W. Movement Intention Decoding Based on Deep Learning for Multiuser
Myoelectric Interfaces [C].proceedings of the 2016 4th International Winter Conference on Brain-Computer Interface (BCI), 2016: 1-2.
[34] YIN Z, ZHAO M, WANG Y, et al. Recognition of Emotions Using Multimodal Physiological Signals
and an Ensemble Deep Learning Model [J]. Computer Methods and Programs in Biomedicine, 2017, 140(2): 93-110.
[35] XIAO J, SUN J, GAO J, et al. The Activity of Surface Electromyographic Signal of Selected
Muscles During Classic Rehabilitation Exercise [J]. Rehabilitation research and practice, 2016, 1(4): 1-9.
[36] XIAO J, GAO J, WANG H, et al. The Surface EMG Characteristics Between Erector Spinae and
Vastus Lateralis During Bending Forward and Squatting Down Tasks [J]. Physiology Journal, 2015, 1(5): 1-6.
45
河北大学工程硕士学位论文
致 谢
时光荏苒，岁月如梭，转眼间硕士生涯已经接近了尾声。回忆研究生这几年的点点滴滴，感慨万分，欣慰之余又庆幸务必。值得欣慰的是我在这段时间里通过自己奋力拼搏学到了许多受益无穷的知识；庆幸的是这一路走来有这么多良师益友给我很多指引和帮助，使我能够顺利完成学业，在这里，谨向他们表示最衷心的感谢。
首先，我要将这份感谢送给我的导师刘晓光副教授，感谢他的谆谆教诲与悉心关怀。刘老师知识渊博，理论深厚，在论文的选题、落实，实验设计，直到最终撰写完成，都给予了我耐心的指导和支持。刘老师在学术上实事求是的严谨作风深深影响着我，让我受益终生。在此谨向我最最敬重的刘老师以诚挚的谢意和崇高的敬意。
同时也要感谢实验室的王洪瑞教授和刘秀玲教授，他们让我有很多机会接触不同领域里最前沿的知识，开阔了视野。感谢王光磊老师一直以来的关心和帮助，感谢实验室和电子信息工程学院所有老师在这两年的悉心培养，感谢所有评审和答辩老师的细心评阅和指导。
感谢实验室的小伙伴们，他们在学习和生活上都给予了我很多帮助，感谢宿舍的舍友孙茜，感谢她们在这些年里给我带来的欢乐，和她们一起学习生活的时光是我永久值得珍藏的回忆。
最后感谢我的父母和家人在学习和生活中对我的支持和帮助，他们作为我坚强的后盾，让我在学校里学习没有后顾之忧。
46
攻读硕士研究生期间科研成果
攻读硕士研究生期间科研成果
1. 获奖情况
荣获2016年度“创青春”河北省大学生创业大赛一等奖。
荣获第二届中国“互联网+”大学生创新创业大赛 “银奖”，省一等奖。 荣获2017年度保定市创新创业大赛二等奖。
荣获2017年“挑战杯”河北大学大学生课外学术科技作品竞赛一等奖。 2. 在校期间参加的科研项目
参与课题组智慧家庭康复云平台的研发与推广。 参与sEMG信号与智能假肢相结合的研究项目。 3. 发表的论文
(1) 刘晓光, 郝沙沙, 王光磊,等. 基于自相关特性的经验模态分解微机械陀螺去噪方法[J]. 中国惯性技术学报, 2016, 24(4):537-541.
47
因篇幅问题不能全部显示，请点此查看更多更全内容