阅读,与值得关注的内容Readance

果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口

已关注
关注
重播 分享
观看更多
    极客BIM设计工坊

    0/0

    00:00/00:09
    进度条,百分之0
    00:00
    /
    00:09
    00:09
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口

    转载
    ,
    果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口
    极客BIM设计工坊
    已同步到看一看写下你的评论

    最近几天,X 上最容易被转发的一句话是“果蝇脑会玩 Doom”。更值得拆开的事实,是一张原本用于神经科学研究的连接图,已经被开发者接成了游戏、机器人和机械嘴的控制系统。读懂这波传播,关键在于看清这张“脑图”如何被包装成一个可调用的接口。

    图注:牛津学生分享的无人机实验画面:房间内的摄像头、电子设备和右下角的果蝇神经系统可视化。视频来自 X 用户 sandy4kad,仅代表社区实验。

    01

    公开一套可查询、可调用的神经数据资源。

    MaleCNS v1.0 来自 HHMI Janelia、剑桥大学、MRC 分子生物学实验室和 Google Research。官方项目页把它定义为雄性果蝇完整中枢神经系统的连接图,覆盖大脑、视叶和腹神经索。

    论文预印本给出的规模是 166,691 个神经元和 11,691 种细胞类型。项目还提供细胞类型浏览器和连接关系查询。

    图像体数据、标注和突触连接表也能下载。开发者可以通过 neuPrint、Python 和 R 访问这套数据。项目采用 CC-BY 4.0 授权。

    边注:MaleCNS 描述的是神经元之间的结构关系。把它变成一个会对画面、声音或奖励信号作出反应的系统,还需要额外的动力学模型和输入输出设计。

    02

    从连接图到机器人,中间隔着四层接口。

    已关注
    关注
    重播 分享
    观看更多
      极客BIM设计工坊

      0/0

      00:00/00:27
      进度条,百分之0
      00:00
      /
      00:27
      00:27
      全屏

      倍速播放中
      您的浏览器不支持 video 标签

      继续观看

      果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口

      转载
      ,
      果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口
      极客BIM设计工坊
      已同步到看一看写下你的评论

      社区实验把这张连接图放进了一条新的计算链。第一层是输入编码:摄像头、游戏画面或麦克风信号,要先翻译成果蝇神经元能够接收的刺激。

      第二层是神经动力学。连接表告诉系统谁和谁相连,还要用模型计算神经元何时放电,以及活动如何积累和衰减。

      第三层是输出解码。神经活动不会自动变成一个转向或开火指令。开发者要先挑选输出神经元。

      这些活动随后被映射成游戏按键、机械关节或电机指令。第四层是任务规则:游戏里的奖励、惩罚和训练轮次,决定哪些活动会被保留下来。

      图注:机器人在室内地面移动的视觉演示;本文将其作为“神经连接如何接入新身体”的案例,不作官方能力承诺。

      因此,“果蝇脑玩游戏”这句话压缩了四个工程动作。外部世界要先进入神经回路,回路再进入神经元模型。

      放电结果随后被翻译成动作,任务规则最后决定什么算成功。连接图承担其中一层,应用还需要其他组件。

      03

      换了身体之后,神经回路还剩下什么。

      已关注
      关注
      重播 分享
      观看更多
        极客BIM设计工坊

        0/0

        00:00/00:14
        进度条,百分之0
        00:00
        /
        00:14
        00:14
        全屏

        倍速播放中
        您的浏览器不支持 video 标签

        继续观看

        果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口

        转载
        ,
        果蝇脑图被接进 Doom 和机器人,开发者开始把神经连接当作软件接口
        极客BIM设计工坊
        已同步到看一看写下你的评论

        机器人演示把这个问题变得可见。原来的果蝇拥有六条腿、两片翅膀和一套经过进化形成的感觉器官;社区装置可能只有轮子、螺旋桨、摄像头和电机。两者的身体结构不同,输入和输出也不同,开发者必须在中间加上翻译层。

        这正是演示的技术价值:它把“神经回路”从原生身体里拆出来,放进一个新的感知—控制闭环。机器人接收的是摄像头和传感器,输出的是电机动作;游戏接收的是像素或状态变量,输出的是按键和角色移动。相同的连接图,必须经过不同接口才能进入不同任务。

        这种移植也改变了观察重点。研究者关心某类神经元如何连接感觉和运动。开发者会追问哪些输入能激活它,哪些输出能稳定控制,以及换一套身体后是否需要重新调参。脑图被放进可嵌入的计算部件,身体和任务成为可以替换的外壳。

        图注:社区视频中的果蝇神经系统三维可视化画面,显示数字神经回路被放进了新的感知和控制装置。

        04

        “会玩 Doom”这句话,真正测量的是接口设计。

        X 趋势页里的 Doom、Beat Saber、Minecraft、机器人和机械嘴,来自不同账号的社区项目。它们展示了 MaleCNS 的开放性。

        图注:社区交易实验的对照曲线:界面同时显示 Fly、Random、Hold 和 Starting cash 四条标记。图中结果来自发帖者的模拟记录。

        这些项目也暴露出接口差异:有的预先安排输入,有的加入奖励信号,有的使用线性读出器,有的还在持续训练。

        判断一段演示的含义,要看三个问题。输入来自实时环境,还是提前整理好的数据?输出由多少人工规则接管?换一款任务或换一个身体后,连接图是否仍能产生稳定动作?

        如果每次换场景都要重新设计输入编码、神经元参数和输出映射,演示展示的是一套有趣的仿真工程;如果同一回路能在不同身体和任务之间保持可解释、可复现的行为,连接图才开始接近一种真正可移植的控制程序。

        下一轮真正值得看的结果,是同一套回路换了输入、身体和任务之后,还能保留多少可解释的行为。

        来源:MaleCNS Connectome 官方项目页;Janelia Research Campus;Cell Press Drosophila Male Fly Connectome 专题页;bioRxiv 论文;X 趋势页及代表帖。社区视频仅作演示案例,未改写为官方能力承诺。

        前往微信阅读全文

        内容来自公众号,可前往微信查看原文。

        查看作者的更多文章 →