哥伦比亚大学｜使用 Transformers 预测大脑活动免费的ai工具

大模型3年前 (2023)发布智源社区

906 0 0

使用 Transformers 预测大脑活动百度ai智能云

标题grok中文版下载：Predicting brain activity using Transformers

链接ai软件哪个比较好：https://doi.org/10.1101/2023.08.02.551743

作者做al视频怎么赚钱：Hossein Adeli, Sun Minni, Nikolaus Kriegeskorte

单位：百度ai智能云哥伦比亚大学

摘要百度aiapp：

Algonauts 挑战（algonauts.csail.mit.edu/）呼吁研究者们提供新颖的解决方案来预测人类观看自然场景时的大脑活动。本文提供了一种解决方案，本文中的研究者使用通用的 Transformer 编码器-解码器模型将图像映射到 fMRI 响应。编码器模型是使用自监督方法（DINOv2）训练的视觉转换器。解码器使用与大脑不同半球的不同感兴趣区域 (ROI) 相对应的 query 来从编码器输出中收集相关信息，以预测每个 ROI 中的神经活动。

然后，解码器的输出标记被线性映射到 fMRI 活动。结果显示预测成功（challenge score: 63.5229, rank 2），表明自监督 Transformer 的特征可能可以作为人类视觉大脑表征的模型，并显示出 Transformer 机制（自注意和交叉注意）可以有效地学习从特征到大脑反应的映射做al视频怎么赚钱。

哥伦比亚大学｜使用 Transformers 预测大脑活动