Meta全新脑机接口模子，挑衅Neuralink！无需植入芯

作者: [db:作者]   点击次数:    发布时间: 2025-02-15 09:02

新智元报道 编纂：犀牛【新智元导读】脑机 接口技巧世态炎凉，马斯克的Neuralink更是吸引了寰球眼光。但是其侵入式计划的危险不容疏忽。Meta AI则另辟门路，克日推出了非侵入式的Brain2Qwerty深度进修模子，它能经由过程剖析脑电图或脑磁图「读」出人们在键盘上输入的笔墨。脑机接口始终是寰球存眷的新技巧。尤其是有着马斯克光环加持下的Neuralink，更是备受注视。多少天前，Neuralink发文称，从前一年中曾经有三名瘫痪患者接收了Neuralink的植入。经由过程植入物，这多少位患者仅凭思维就能把持手机跟电脑，这种才能被Neuralink称之为「心灵感到」（Telepathy）。参加者曾经累计应用「心灵感到」超越4900小时，此中年夜局部是自力应用，这标明了该技巧在事实生涯中存在利用潜力。 开展全文 此中一位名为Brad的参加者经由过程该项技巧胜利解脱了对眼动追踪器的依附，可能在种种情况下与人交换，乃至能够外出加入运动（下图）。 只管这些案例都明白地标明了脑机接口比年来获得的明显停顿，但是，Neuralink的计划也并非完善。 重要的成绩在于其应用的侵入性方式，如电极植入，这会带来包含沾染跟临时保护成绩在内的医疗危险。 Meta AI团队多少天前刚宣布的名为「Brain2Qwerty」的全新深度进修架构，恰是为处理这一挑衅而来！ 论文地点：https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/ 试验标明后果还不错。 这个新架构能够解码参加者的脑电图（EEG）或脑磁图（MEG）旌旗灯号。对表示最好的参加者，该模子实现了19%的字符过错率，而且能够完善解码练习集之外的种种句子。 最要害的是，Brain2Qwerty长短侵入式的，它年夜年夜缩小了与侵入式方式之间的差距，为开辟愈加保险的脑机接口技巧开拓了途径！ Meta团队怎样做到的？ 起首，研讨者让35名参加者在键盘上打出他们长久记着的句子，同时经由过程脑电图（EEG）或脑磁图（MEG）记载下他们的年夜脑运动。 而后，研讨者开端练习Brain2Qwerty——一个三阶段的深度神经收集——来从这些年夜脑旌旗灯号中解码出笔墨，并评价后果。 起首，第一阶段 卷积模块（Convolutional Module）接受500毫秒的脑电图(EEG)或脑磁图(MEG)旌旗灯号作为输入，提取这些旌旗灯号的特点。 而后， 转换器模块（Transformer Module）应用自留神力机制捕获句子级其余高低文信息，优化按键猜测，并输出每个字符的logits。最后， 预练习言语模子（Pretrained Language Model）应用统计法则，修改转换器的输出，从而进一步进步解码的正确性。 详细进程如下图1，Brain2Qwerty模子应用脑电图或脑磁图旌旗灯号，经由过程卷积、转换器跟言语模子3个阶段来解码键盘上输入的文本。 试验成果 研讨职员起首存眷阁下手按键惹起的诱发反映差别，成果表现，脑磁图（MEG）在手分类的正确率上优于脑电图（EEG）。MEG的峰值正确率为74%（±1.3%尺度偏差均值），而EEG的峰值正确率为64%（±0.8%）。 这些成果验证了以后的试验方式确切能在脑中发生预期的按键反映。 Brain2Qwerty在脑磁图（MEG）数据上的表示显明优于脑电图（EEG ）。详细来说，MEG的均匀字符过错率（CER）为32%（±0.6%），EEG的均匀字符过错率（CER）为67%（±1.5%）。 这种机能差别在统计学上十分明显。 只管均匀机能上存在明显差别，研讨职员也留神到了集体之间的差别。EEG表示最差跟最难受试者的CER分辨为61%（±2.0%）跟71%（±2.3%）。MEG表示最差跟最难受试者的CER分辨为45%（±1.2%）跟19%（±1.1%）。也非常显明。 差别模子的对照 为了评价Brain2Qwerty模子的机能，研讨职员抉择了两种经典的基线模子停止比拟： 线性模子跟 EEGNet（一种在脑机接口范畴常常用的紧凑型卷积神经收集）。 成果表现，EEGNet在MEG数据上优于线性模子，但在EEG数据上的上风不显明。Brain2Qwerty模子在EEG跟MEG数据上的表示均明显优于EEGNet跟线性模子。 这种上风标明，Brain2Qwerty模子的三阶段架构（卷积模块、转换器模块跟言语模子）对解码脑运动中的文本存在主要感化。 下图A跟B标明，阁下手按键会在年夜脑皮层发生差别的神经运动形式，这些运动形式能够经由过程EEG跟MEG检测到；C跟D验证了分类器能够无效地域分阁下手跟差别字符的脑运动； E-H比拟了差别架构（包含线性模子、EEGNet以及Brain2Qwerty模子的差别变体）在手过错率（HER）跟字符过错率（CER）上的表示。每个点代表一个受试者的均匀得分。 融化试验 研讨职员从新练习并评价了以下两种融化版本的模子： (i)仅卷积模块（Conv）：移除了转换器模块跟言语模子，仅应用卷积模块停止解码； (ii)卷积模块+转换器模块(Conv+Trans)：移除了言语模子，应用卷积模块跟转换器模块停止解码。 而后研讨者应用雷同的数据集跟超参数对这些融化模子停止练习跟评价，并应用手过错率（HER）跟字符过错率（CER）来权衡机能。 成果表现，仅卷积模块 (Conv)在EEG跟MEG数据上的机能均优于EEGNet。增加转换器模块后，卷积模块+转换器模块 (Conv+Trans)在EEG跟MEG数据上的CER均失掉改良，这标明转换器模块在应用高低文信息方面施展了要害感化。 应用言语模子后，完全的Brain2Qwerty在EEG的CER进一步改良了4%，MEG的CER进一步改良了6%。言语模子经由过程应用天然言语的统计法则性，无效地进步懂得码正确性。 解码句子展现 研讨职员指出，MEG能够完善解码一些句子。这标明Brain2Qwerty模子在MEG数据上存在相称高的解码精度。比方，「la silla ocasiona las lesiones」这句话就被完善解码。 更风趣的是，Brain2Qwerty的言语模子能够改正受试者的输入过错。比方，即便受试者输入了「ek benefucui syoera kis ruesgis」，依然被完善解码出「el beneficio supera los riesgos」了。 比拟之下，EEG的解码后果较差，很少能发生可懂得的文本。这与之前讲演的统计成果分歧，即 MEG的解码机能显明优于EEG。 在EEG的例子中，解码成果平日包括大批过错，如「la ciencia de la idea las mas de esos」，与原句「la ciencia de la idea rompe la vision」相差甚远。 下图3A表现了Best(最佳)、Median(中位数)跟Worst(最差)MEG受试者的句子字符过错率。每个点代表一个奇特的句子。图3B表现了两个例句的解码猜测成果，此中应用了多个宰割种子来获取跨句子的猜测。 键盘规划对Brain2Qwerty的影响 假如Brain2Qwerty模子依附于活动皮层的脑运动，那么其解码过错应当与QWERTY键盘的物理规划相干。也就是说，模子更轻易将一个按键过错地猜测为键盘上物理地位濒临的按键。 研讨职员剖析了过错猜测字符的混杂形式，并盘算懂得码字符跟现实按键在键盘上的间隔。 成果表现，间隔跟混杂率之间存在明显的相干性。这象征着，键盘上物理间隔越近的按键，越轻易被混杂。 下图A标明模子解码过错与键盘的物理规划有关，模子偏向于将按键混杂为物理地位濒临的按键。图B进一步证明了模子依附活动表征。图C表现打字过错与较长的按键距离相干。图D证实打字过错会招致解码机能降落，标明活动进程的正确性直接影响解码品质。 打字过错对Brain2Qwerty的影响 研讨职员发明，打字过错占总按键次数的3.9%，65%的句子中都存在打字过错，试验中不容许参加者应用退格键改正过错。 过错按键的按键距离显明擅长准确按键。详细而言，准确按键的均匀距离时光为50±7毫秒，而过错按键的均匀距离时光为114±12毫秒。 这种景象反应了打字过错时，参加者会呈现迟疑或对过错停止监控的行动。 为了评价打字过错对解码机能的影响，研讨职员分辨评价了准确按键跟过错按键的字符过错率（CER）。应用 Conv+Trans模子时，准确按键的CER为38%，而过错按键的CER为65%。 这标明， 准确按键的解码机能明显优于过错按键。 为了增加句子高低文对过错剖析的影响，研讨职员还评价了卷积模块（Conv）的机能。即便仅应用卷积模块，准确按键的CER（52%）依然低于过错按键的CER（71%）。 这些成果标明，当活动进程履行禁绝确时，解码机能就会降落。 发明、意思与范围性 Meta AI团队开辟的这款Brain2Qwerty模子能够经由过程非侵入式脑机接口解码句子天生。为开辟 更保险、更易于拜访的非侵入式脑机接口打下了基本。 固然Brain2Qwerty模子的解码机能缩小了与侵入式脑机接口之间的差距，然而差距依然明显。最新的侵入式脑机接口字符过错率仅为15.2%，应用纠错模子时，打字速率可达每分钟90个字符，离线字符过错率更是低于1%。 固然脑磁图（MEG）的后果优于脑电图（EEG），但现在的脑磁图体系，包含本研讨中应用的体系，都还还不克不及穿着。不外，跟着基于光泵磁力仪（OPM）的新型脑磁图传感器的开展无望处理 这个成绩。 Meta AI的Brain2Qwerty深度进修新架构展现了非侵入式脑机接口技巧的宏大潜力。 这项研讨不只是技巧上的冲破，更是对将来人与呆板交互方法的摸索。 参考材料： https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/前往搜狐，检查更多