科学家们正在探索一些残疾人与他们的思想交流的方式。随后,他们想回归一种古老的表达方式——手写。
研究人员首次破译了试图手写字母时的大脑活动。研究人员与一名大脑中植入了传感器的瘫痪患者合作,在他试图书写字母(实际不能)时,研究小组使用了一种算法来识别Ta大脑里想的这些字母。然后,系统将文本实时显示在屏幕上。
该研究的共同作者、斯坦福大学霍华德·休斯医学研究所研究员Krishna Shenoy说,随着进一步的发展,这项创新可以让瘫痪患者无需用手就能快速打字。他与斯坦福大学的神经外科医生Jaimie Henderson共同监督了这项工作。
他们在2021年5月12日发表在《Nature》杂志上的报告称,通过尝试手写,研究参与者每分钟输入90个字符,是之前使用这种“脑机接口”打字记录的两倍多。
加州大学伯克利分校(University of California, Berkeley)的神经工程师Jose Carmena(没有参与这项研究)说:“这项技术以及其他类似技术有潜力帮助各种残疾人士。虽然这些发现只是初步的,这是该领域的一大进步。脑机接口将思维转化为行动。这篇论文就是一个很好的例子:界面解码了写作的想法,并产生了动作。”
如何通过大脑控制通信
当受伤或疾病剥夺了一个人的行动能力,但大脑的神经活动仍然存在。研究人员可以利用这项活动来帮助瘫痪或截肢的人恢复失去的能力。
这种需要因残疾的性质而异。一些失去手功能的人仍然可以使用带有语音识别和其他软件的电脑。对于那些说话有困难的人,科学家们一直在开发其他方式来帮助人们交流。
近年来,Shenoy的团队已经解码了与语言相关的神经活动,希望能够重现这种活动。他们还设计了一种方法,让植入传感器的参与者利用与手臂运动相关的思想来移动屏幕上的光标。用这种方式指着并点击字母,人们每分钟可以输入大约40个字符,这是以前使用脑机接口(BCI)打字的速度记录。
然而,没有人看过这笔迹。Frank Willett是Shenoy团队中的一位神经学家,他想知道是否有可能利用写笔时引发的大脑信号。他说:“我们想找到让人们交流更快的新方法。”他也被这个尝试不同事物的机会所激励。
该团队与一名参加了一项名为BrainGate2的临床试验的参与者合作,该试验旨在测试将信息直接从参与者大脑传递到计算机的BCI的安全性。(该试验的负责人是Leigh Hochberg,他是马萨诸塞州总医院、布朗大学和普罗维登斯退伍军人医疗中心的神经学家和神经科学家)。Hochberg在大脑中控制手和手臂的部分植入了两个微型传感器,使人能够通过移动自己瘫痪的手臂来移动机械手臂或屏幕上的光标。
研究参与者当时65岁,他的脊髓受伤,导致脖子以下瘫痪。当这名男子想象写作时,传感器从单个神经元接收到信号,机器学习算法识别出他的大脑对每个字母产生的模式。有了这个系统,这个人复制句子和回答问题的速度就像他这个年龄的人在智能手机上打字一样快。
Willett说,这种所谓的“脑转文”脑接口速度如此之快,是因为每个字母都会引出一种高度独特的活动模式,使得算法能够相对容易地将它们区分开来。
一个新系统
Shenoy的团队设想将手写文本输入作为一个更全面的系统的一部分,该系统还包括指向和点击导航,就像目前智能手机上使用的那样,甚至还包括语音解码。他说道:“拥有这两种或三种模式并在它们之间切换是我们的天性。接下来,研究小组打算与不能说话的参与者合作,比如患有肌萎缩性脊髓侧索硬化症的人,这是一种退行性神经疾病,会导致运动和语言能力的丧失。”
Hochberg补充说,新系统有可能帮助那些因多种情况而瘫痪的人,包括脑干中风。
# # #
原文检索:High-performance brain-to-text communication via handwriting