Виртуальный мир и молитва
- Лента
- |
- Участники
- |
- Фото 152
- |
- Видео 23
- |
- Мероприятия 0
ИИ научился читать мысли.
Исследователи из Техасского университета в Остине научили нейросеть расшифровывать содержимое человеческого мозга.
При этом для чтения мыслей достаточно взять языковой трансформер и обучить его на показаниях фМРТ.
Как это работает
Испытуемого кладут в сканер и включают ему подкасты, записывая показания фМРТ. Таких данных нужно много, поэтому лежать придётся долго — до 15 часов.
Полученные паттерны мозговой активности скармливают модели, чтобы та научилась сопоставлять их с текстовыми расшифровками аудиозаписей, которые слушал человек.
После такого обучения нейронка получает способность декодировать показания фМРТ, превращая их в связный текст. То есть, читать мысли.
Похожие алгоритмы разрабатывались и раньше. Но там ИИ лишь угадывал очертания предметов и мог работать в строго очерченных рамках. Технология впечатляла, но всё же мало походила на чтение мыслей.
А вот разработка техасских учёных — это уже большой скачок вперёд. Ведь их модель способна расшифровывать не отдельные слова из ограниченного списка, а целые абзацы. Причём человек может думать совершенно произвольно, а не формулировать свои мысли строго определённым образом.
Конечно, модель воспроизводит мысли не дословно, а лишь пересказывает их суть. Кроме того, для каждого отдельного человека нейронку приходится тренировать заново. Слишком уж индивидуальны паттерны мозговой активности у каждого из нас.
Статья по теме в Nature Neuroscience www.nature.com/articles/s41593-023-01304-9
Semantic reconstruction of continuous language from non-invasive brain recordings - Nature Neuroscience
Tang et al. show that continuous language can be decoded from functional MRI recordings to recover the meaning of perceived and imagined speech stimuli and silent videos and that this language decoding requires subject cooperation.
