跳至项目内容
实验设计信号处理机器学习穿戴原型数据界面

让肌肉的变化,
有迹可循。

面向卒中康复的可穿戴研究原型。
从贴肤传感,到记录与观察。

认识 MyoSense
MyoSense 白色传感器装置沿前臂排列的概念渲染
产品概念 / 前臂佩戴与传感器布局
01 / 佩戴

找到位置,保持贴合。

02 / 记录

采集肌肉活动的细微变化。

03 / 观察

留下可以回看的依据。

02 / Why It Matters

康复的难题,
藏在日常动作里。

14

全球 25 岁以上成年人,
一生中发生卒中的风险约为四分之一。

世界卒中组织 · 终生风险估计
手指围合、握住圆柱形物体的日常握持动作示意
日常握持动作示意

拿起与放下,不再轻而易举。

卒中可能影响运动能力,也可能留下肌肉痉挛等长期问题。拿起杯子、握住餐具、张开手掌,这些熟悉的动作可能因此变得困难。

MyoSense 关注卒中后的前臂与手部:能否将评估过程中的肌肉活动记录下来,让不同时间的变化,有可以回看的依据?

康复背景:世界卫生组织《卒中》

03 / The System

把肌肉信号,带进康复评估。

MyoSense 将可调节的佩戴装置、肌肉活动记录与数据界面放在一起,探索为康复观察提供更多可追溯的信息。

01

佩戴与定位

让传感器能调到合适的位置,并贴合前臂。

02

采集与分析

记录肌机械信号,整理活动片段与相关特征。

03

查看与沟通

让患者了解记录状态,让医护查看对应数据。

MyoSense 佩戴装置与传感器调节示意
实物佩戴 / 传感器装置

04 / The Origin

从游戏中的触发,
到康复中的记录。

此前的 SonicWEB,把肌肉的细微振动变成游戏动作。新的问题随之出现:如果要持续观察,怎样让每次记录更稳定、更容易比较?

回看技术前篇 SonicWEB
新的设计问题

找到位置。
保持贴合。
留下可比较的记录。

05 / Field Observation

评估之间,变化如何被记录?

在项目实验中,两位医生的评分反复出现差异,提示人工评估会受到评估者判断的影响。这成为探索辅助记录方式的一个动机。

能否把评估过程中的肌肉活动记录下来,
让后续判断多一份可以回看的依据?

研究关注卒中后的前臂与手部活动。医师评定的 MAS 作为参考标签,与对应的信号记录配对,用于探索肌肉信号特征与评分的关系。

MAS 依据被动牵伸时的阻力评定。评分反复出现差异是一项项目观察,未据此推断治疗结果。

06 / A Guided Session

从一次辅助评估开始。

由医护协助完成首次定位与佩戴,在规定的手法操作中采集信号,并记录评分。让身体、传感器和记录对应起来。

  1. 01定位前臂传感器
  2. 02检查贴合与连接
  3. 03采集操作中的信号
  4. 04医师评分并关联记录
前臂佩戴原型的实物照片
实物原型 / 佩戴与定位
调整佩戴装置与传感器的实物演示
实物原型 / 调节演示

07 / The Experiment

在被动牵伸中,捕捉肌肉的响应。

实验使用九通道 MMG 采集,记录腕部、四指和拇指牵伸过程中的信号,并结合时间标记与医师评分进行整理。

实验采集现场:在前臂固定 MMG 传感器并整理连接导线
实验现场 / 前臂传感器的布置与固定
01

腕部牵伸

对应腕部操作的信号记录。

02

四指牵伸

观察手指相关操作中的活动变化。

03

拇指牵伸

保留独立操作的时间与评分信息。

九通道代表采集配置;各通道需结合实际位置解释,不将其直接视为九块肌肉的完全独立活动。

08 / Dataset

让每段信号,对应一次评估。

7位参与者

研究数据的参与者范围

1,692条音频记录

实际保存的声音信息

19,463个活动片段

由活动检测进一步识别

从参与者,到音频,再到活动片段。不同层级分别记录,保留它们之间的关联。

活动片段来自已有记录,不等同于独立参与者或独立实验。当前为小样本研究探索。

09 / Signal Processing

定位肌肉活动的起点与终点。

连续的 MMG 记录中,活动片段与基线波动交织在一起。预处理先减少干扰,再通过滑动窗口和双阈值检测,确定每段活动的时间范围。

九通道肌音活动检测结果;绿色竖虚线标记起点,蓝色竖虚线标记终点,横向虚线表示检测阈值
活动检测 / 九通道记录

从连续波形中,划出活动区间。

绿色竖线 / 活动起点

蓝色竖线 / 活动终点

横向虚线 / 判定阈值

  1. 观察包络

    沿时间轴计算窗口内的幅值变化。

  2. 寻找边界

    分别判断活动何时开始、何时结束。

  3. 筛选事件

    结合峰值、峰谷差与持续时间过滤短促干扰。

各行对应一个采集通道。

  1. 01

    滤波与去噪

    降低漂移与带外干扰

  2. 02

    包络与窗口

    Hilbert 包络 → 窗口 MAV

  3. 03

    边界检测

    开启阈值 / 关闭阈值

  4. 04

    事件筛选

    峰值、峰谷差、持续时间

检测细节 / 阈值与窗口如何配合

先获得活动包络

带通滤波与小波去噪后,通过 Hilbert 变换提取幅值包络。使用 db10 小波、6 层分解和软阈值处理,以保留波动结构并降低噪声。

再沿时间滑动窗口

在包络上使用 10 个采样点的窗口,相邻窗口重叠 90%,计算每个窗口的 MAV。采样率为 200 Hz,对应 50 毫秒窗长、5 毫秒步进。

开启阈值
θon=μ+0.15σ

活动量越过开启阈值,进入起点判断。

关闭阈值
θoff=μ

活动量低于关闭阈值,进入终点判断。

μ 与 σ 分别表示用于阈值计算的均值和标准差。起止检测后,还要检查事件峰值、峰谷差,并要求起点与终点至少相隔 0.1 秒,以减少短促干扰被计为活动的情况。

阈值与窗口用于该研究流程,不能直接视为适用于所有设备与参与者的通用设置。

特征工程 / 从波形到四个可比较的量

RMS / 均方根值

RMS=1Ni=1Nxi2

描述片段的整体幅值水平。

MAV / 平均绝对值

MAV=1Ni=1N|xi|

描述平均幅值,也是窗口活动检测使用的指标。

ZC / 过零次数

ZC=i=1N11[xixi+1<0]

描述波形正负变化。此式展示基本计数定义,实际判定还需考虑噪声阈值。

MPF / 平均功率频率

MPF=kfkPkkPk

以功率为权重,描述频谱分布的平均频率。

N 为样本点数,xᵢ 为信号样本,fₖ 与 Pₖ 为频率及其功率。ZC 从保留正负号的波形计算;这些特征用于统计分析,不直接等同于 MAS 等级。

10 / First Model

简单关系,并不够用。

最初尝试用特征值建立线性回归模型。R² = 0.12 的结果表明,这一模型在当时数据上的表现有限。

手工特征概括了片段的部分信息,却压缩了波形的时间结构。这一结果促使后续探索双分支神经网络,从波形与时频图中学习特征,并转向 MAS 等级分类。

该结果不直接证明复杂模型有效,也不代表临床预测能力。

线性回归探索0.12

R² · 线性回归实验记录

这一结果,推动了下一轮模型探索。

11 / Dual-Branch Classification

同一段肌肉信号,
两条特征路径。

波形保留活动随时间的变化,时频图展开其中的频率信息。两路 CNN 特征对齐后进入 Transformer,以医师评定的 MAS 等级为监督标签,探索肌肉信号与痉挛分级之间的关系。

双域 CNN–Transformer 分类模型同一肌音片段分别进入时域 1D CNN 与 STFT 时频图的 2D CNN。时频特征扩展为十二个时间步后拼接,经过两层 Transformer 编码器,全连接层与 Softmax 输出 MAS 等级。MMG活动片段时域 / 波形幅值随时间的变化时频域 / STFT频率分布随时间的变化1D CNN两层卷积池化2D CNN两层卷积池化时域特征序列12 个时间步时频特征向量256 维 · 扩展至 12 步特征拼接Transformer编码器 × 2自注意力前馈网络层归一化全连接层Dropout · SoftmaxMAS 等级0 · 1 · 1+ · 2 · 3 · 4
双域特征提取与 Transformer 融合,输出六个 MAS 等级。
01 / 提取

波形与时频图各走一路。

1D CNN 提取时域特征,2D CNN 提取时频特征。

02 / 融合

对齐后,再建立关联。

将两路特征对齐、拼接,交由 Transformer 编码器建模。

03 / 分类

输出对应的 MAS 等级。

最后一个时间步的表示经全连接层与 Softmax 进入分类输出。

频率STFT 时频图,深紫至浅黄色表示相对幅值由低至高时间
低幅值高幅值
STFT / 时频表示

把一段声音,展开成一张图。

横向看时间,纵向看频率。颜色越亮,表示对应时间与频率区间的幅值越高;亮色带让频率分布的变化更容易被看见。

50 个采样点
分析窗口 / 0.25 秒
1 个采样点
窗口每次前移的步长
20 个频率区间
对 0–100 Hz 频谱分箱取平均幅值

显示采用对数幅值与色彩映射。

输入与网络 / 从信号片段到分类输出

统一输入长度

信号按 1 秒长度整理:不足部分补零,较长部分截断。STFT 使用 50 点窗口、1 点步长;频谱按 20 个区间取平均幅值,再进行对数幅值变换与显示映射。

两路卷积特征

1D CNN 使用两层卷积池化模块,配合 LeakyReLU、批归一化和最大池化。2D CNN 使用两层卷积池化、ReLU 与批归一化,并输出 256 维特征向量。

对齐与自注意力

时频向量重复扩展到与时域序列一致的 12 个时间步,再拼接输入两层 Transformer 编码器。自注意力与前馈网络共同建模,模块后接层归一化。

分类输出

取编码器最后一个时间步,经全连接层与 Dropout,再由 Softmax 输出各类别概率,对应 MAS 分类结果。

Training Process

让信号特征,逐步对应临床分级。

以医师评定的 MAS 等级作为监督标签,同时学习波形与时频特征。训练中处理类别不均衡,并持续监测验证损失。

  1. 01

    整理带标签的活动片段

    将信号整理为 1 秒输入,生成对应时频图;通过数据增强与类别权重,应对不同等级样本数量的差异。

  2. 02

    联合训练两条特征路径

    采用 Adam 优化器,初始学习率为 10⁻⁴,以交叉熵衡量预测类别与监督标签之间的差异。

  3. 03

    监测验证表现,调整训练

    配合自动学习率调整与早停机制,观察训练和验证损失的变化,而非只追求训练集上的拟合。

训练与验证损失曲线:训练损失逐步下降,验证损失在后期趋于平稳
验证损失在训练后期趋于平稳。曲线展示收敛过程;是否能迁移到新的参与者,仍需要独立验证。
Classification Results

四个等级,哪些更容易分辨?

在筛选后的数据上,对 MAS 0、1、1+、2 进行四分类评估。混淆矩阵呈现每个等级的正确识别与误分类分布。

四分类验证准确率
67.38%

2,695 / 4,000 个预测样本分类正确

各等级召回率

MAS 076.5%
MAS 162.0%
MAS 1+58.5%
MAS 272.5%

MAS 0 与 MAS 2 的识别相对更好。MAS 1 与 MAS 1+ 之间的双向误分类最突出,是后续需要重点改善的区间。

预测等级
医师标注等级
MAS011+2
07651037953
1125620152103
1+103172585140
26198116725
每个标注等级各 1,000 个预测样本。对角线为正确分类,其他单元格为误分类;召回率为该等级的正确分类数 ÷ 1,000。

这里的样本是信号片段层面的预测记录,并非 4,000 位参与者。结果仅对应筛选后的四分类验证集;按参与者独立划分的验证尚待确认,不能据此推断对新患者的分类表现。

评估过程 / 分类范围与数据筛选
六分类探索35%

MAS 0、1、1+、2、3、4

初步评估的总体准确率为 35%,MAS 3 与 MAS 4 的识别表现较弱,高等级样本覆盖不足。

缩小分类范围58%

MAS 0、1、1+、2

排除 MAS 3 与 MAS 4 后,四分类评估准确率为 58%。此时任务范围已发生变化。

筛选数据后评估67.38%

四分类 · 4,000 个样本

结合临床判断与波形检查,进一步人工筛除异常记录后,2,695 个样本分类正确。

三个阶段的类别范围或数据条件不同,数值不能作为同一固定测试集上的直接性能对比。筛选标准、数据划分和新参与者验证仍需进一步完善。

12 / Design from Research

信号质量,也取决于怎么戴。

传感器偏移、贴合不足和佩戴滑动,都会给采集增加不确定性。产品设计从这些具体问题出发。

01

位置可调

允许沿前臂寻找合适的采集位置。

02

贴合可维持

让传感器与皮肤保持接触。

03

操作可理解

减少复杂的固定与反复调整。

设计探索 / 从采集需要到佩戴结构

设计探索 / 从采集需要到佩戴结构

13 / Wearability Iteration

从多条固定带,到分组定位。

不同固定方式,各有代价。比较适配、调节和穿戴过程后,最终选择按位置分组的结构。

网格式固定方式的早期样机

网格式

结构直接,但难以适应不同尺寸的手臂。

缠绕式固定方式的早期样机

缠绕式

可以包覆前臂,但单个传感器不易精细调节。

多线式固定方式的早期样机

多线式

提供更多定位方式,穿戴与调整也更复杂。

把调整,集中到需要的位置。

分组定位,让贴合、固定与调节在同一套结构中协调。

14 / Grouped Positioning

顺着前臂的形态,调整采集位置。

按照前臂的空间关系组织导向结构,让不同组的传感器沿需要的方向移动,再固定于合适的位置。

分组传感器在前臂上的位置与调节方向
早期功能样机 / 左侧支持轴向及横向调节,右侧以轴向调节为主

图示为项目中的定位与机构设计参考。字母缩写保留为原研究的定位标记。不同手臂尺寸下的适配与重复定位仍需进一步验证。

15 / Sensor Unit

贴合皮肤,允许细微移动。

沿导轨找到位置,以弹性锁扣固定;贴肤端保留伸缩余量,接触部件可拆下清洁。四项功能,围绕同一个传感器单元展开。

透视结构中的传感器单元,展示导轨接口、侧面锁扣和底部贴肤端
单元总览

从定位与固定,到与皮肤接触。

导轨穿过传感器单元,圆形高亮显示内部配合结构
01

沿轨调整

内部弹簧配合导轨,让传感器移动至合适的采集位置并固定。

传感器侧面弹性锁扣的局部结构,完整圆形区域突出锁扣位置
02

弹性锁定

侧面弹性锁扣限制锁定后的上下位移,保持已调整的位置。

传感器底部的伸缩方向与贴肤端局部放大图
03

伸缩贴合

贴肤端可上下伸缩,为局部接触高度的变化留出余量。

传感器外壳展开的拆卸示意,突出可分离的内部接触部件
04

拆卸与清洁

接触部件可独立拆卸,便于清洁与日常维护。

16 / From Model to Prototype

从模型,到手上的原型。

通过实物制作,检查穿戴、调节与锁定的操作关系。让屏幕中的机构,进入真实的手部动作。

MyoSense 白色外壳与绑带的实物原型
实物原型 / 外壳与绑带
手动调节 MyoSense 传感器单元的实物演示
实物原型 / 传感器单元操作

照片呈现结构与佩戴原型;不据此声称已验证长期舒适度、临床效果或独立居家使用。

17 / Patient Experience

每次记录,都能回看。

查看肌肉张力的评估记录,回顾每次采集,并确认设备状态。让患者在下一次与医护沟通前,对自己的记录有所了解。

交互原型

18 / Clinician Experience

医护端,让变化有据可查。

从患者的记录概览,到一次采集中的波形与活动片段,再到医师评分与模型分级。五个关键页面,串起查看、采集、分析与评估的工作流程。

19 / Design Reflection

把看不见的变化,留下来。

MyoSense 将信号采集、佩戴机构与信息界面放进同一个设计问题中:怎样让肌肉活动更容易被记录,也更有依据地被理解。

已开展

从实验到原型。

七位参与者的数据采集、活动片段整理、特征与模型探索,以及可调传感器和佩戴结构的原型制作。

下一步

让比较更可靠。

进一步验证跨参与者表现、重复佩戴的一致性与长期使用体验,再推进家庭记录和医护查看流程。

研究说明与参考资料

数据规模按参与者、音频记录和算法识别的活动片段分别表述。医师评分作为参考标签,与对应记录配对。

MMT 通常指徒手肌力测试;MAS 需依据被动牵伸阻力评定,不能由肌力得分直接换算。在手法操作后记录 MAS 并作为相应信号的参考标签,可以作为研究流程;需明确操作、时点与配对方式。

Modified Ashworth Scale:评分定义与使用说明

Yu 等,2024:手部手法治疗中的 sEMG 特征研究

上述研究中的 sEMG 数据不等同于本项目的 MMG 数据。页面中患者端与医护端为界面概念,产品渲染与结构原型分别标注。