Джек Галлант (Jack Gallant) в лаборатории Университета Беркли, штат Калифорния, внимательно следит за тем, что происходит на мониторе компьютера. В левой части экрана прокручиваются короткие видеозаписи, которые Галлант показывал участнику эксперимента во время процедуры сканирования мозга. А в правой части компьютерная программа с деталями этого сканирования пытается расшифровать, что именно участник видел в этот момент.
В записи появляется лицо Энн Хэтэуэй из кинофильма «Война невест», она спорит с Кейт Хадсон. Алгоритм обозначает их: «женщина» и «разговор», большими буквами. Появляется другая запись — сцена подводной жизни. Программа «задумывается», и, после некоторой паузы, выдает слова: «кит» и «плавать» меньшим и довольно блеклым шрифтом. «Это ламантин, но программе такое понятие неизвестно», — говорит Галлант. Программа — его изобретение. Ученый объясняет, что вместе со своей командой тренировал программу, знакомя ее со схемами мозговой активности, полученными от демонстрации участникам ряда изображений и видеозаписей. Его программа уже сталкивалась с крупными морскими животными, но ни разу с ламантинами.
По всему миру различные группы ученых используют подобные технологии, пытаясь толковать через сканирование мозга, что человек видит, слышит и чувствует, а также то, что он вспоминает или видит во сне. Согласитесь, даже передовые технологии в исследованиях на полиграфе несколько меркнут перед описываемыми выше возможностями.
СМИ заявляют, что такие технологии чтения мыслей «превращаются из измышлений в реальность» и «могут повлиять на любые наши действия». Издание «The Economist» в Лондоне предупреждает своих читателей «быть настороже» и пытается угадать, сколько времени понадобится ученым, чтобы от сканирования мозга перейти к телепатии.
Хотя компании и заявляют, что расшифровка мозга может понадобиться разве что в рыночных исследованиях или детекторах лжи, ученым гораздо интереснее использовать такие процессы для изучения собственно мозга. Группа Галланта старается понять, что именно находится в основе различных мозговых схем, определить код и алгоритм, которыми мозг осознает окружающую среду. Они надеются, что эти технологии смогут рассказать больше о базовых принципах организации мозга и принципах кодирования.
Использование таких технологий для выхода за пределы расшифровок рисунков требует масштабного скачка в сложности задач. «Я работаю со зрительной областью не потому, что она интересная, — говорит Галлант. — Я делаю это потому, что она самая простая. Это часть мозга, секрет которой я хотел бы разгадать при жизни. Но теоретически, — добавляет он, — с ней можно делать, что угодно».
Не просто области мозга
Первые попытки расшифровать сигналы мозга появились более 20 лет назад. Тогда ученые поняли, что сканирование мозга в функциональной МРТ дает информацию, которую они не используют. При фМРТ измеряется активность мозга и определяются области, куда приливает, обогащенная кислородом кровь. При сканировании они имеют вид ярких участков. Чтобы проанализировать схему активности, мозг разделяют на еще меньшие ячейки-«воксели» (трехмерные эквиваленты пикселей) и исследователи смотрят, какие воксели сильнее отвечают на определенный стимул — например, на изображение лица. Отвергая данные от слабо активированных вокселей, ученые приходят к выводу, какие области ответственны за обработку лиц.
Новые технологии расшифровки берут от снимка мозга больше информации. Чтобы отметить, какие области сильнее реагируют на изображение, они используют и любые ответы для определения тонких схем активности. Ранние исследования в этой области доказали, что объекты кодируются не только ограниченной областью активности, но и более распределенным массивом.
Эти записи подаются на «классификатор шаблонов», компьютерный алгоритм, определяющий, какие именно схемы связаны с каждой картинкой или концепцией. Когда программа получит достаточно образцов, она сможет определить, на что именно смотрит человек или о чем думает. Это выходит за рамки простого изображения ярких областей в мозге.
Дальнейшее внимание к этим схемам может отвести исследователей от простого вопроса «где именно в полушариях мозга?» к проверке гипотез относительно природы психических процессов. Например, они могут начать задавать вопросы о силе и распределении поблеклости за годы воспоминаний. Рассел Полдрак (Russell Poldrack), специалист фМРТ из Техасского университета в Остине говорит, что расшифровка позволяет исследователям проверить существующие теории психологии, предусматривающие способы решения человеком задач. «Существует много путей, ведущих за пределы «науки о мозговой деятельности», — говорит ученый.
В ранних исследованиях, ученые доказали, что могут получить из этих схем достаточно информации, чтобы показать, на какую категорию объектов смотрит человек. Например, ножницы, бутылки или обувь. «Мы были удивлены столь хорошими результатами», — говорит Джим Гексби (Jim Haxby) из Дартмутского колледжа Нью-Гемпшира, который провел первое исследование расшифровки в 2001 году.
Впоследствии другие команды, независимо друг от друга, использовали этот подход для подтверждения фундаментальных принципов организации мозга. Из опыта, где кошкам в мозг вживили электроды, стало известно, что визуальные области ощутимо реагируют на направленность кромок, и из их сочетания образуется рисунок. В мозгу человека эти области различения краев достаточно малы, их трудно увидеть на обычном фМРТ. Но используя методы расшифровки данных от фМРТ, Гейнс и Риз, которые работали в лондонском университете и Юкиясу Камитани из Японии, вместе с Франком Тонгом из Университета Вандербилта в Нэшвилле, штат Теннесси, в 2005 г. показали, что рисунки углов запускают достаточно специфические схемы мозговой активности у человека. Волонтерам показывали линии в разной пространственной ориентации — и рисунок активности вокселей подсказывал исследователям, на какую из них смотрит человек.
С 2006 г. ученые работали над способами расшифровки снимков мозга при выполнении разных задач: визуального представления, когда участники представляют себе какое-то событие; рабочей памяти, когда они постоянно думают об определенном факте или изображении и намерений. Например, найти сумму или разность двух чисел. «Последнее гораздо труднее, чем расшифровать визуальную систему», — говорит Гейнс из Бернштейнского центра вычислительных нейронаук в Берлине. Намерений много и они сильно отличаются — как разбить их на категории? Изображение можно разделить по цвету или содержанию, но по каким именно правилам возникают намерения, установить не так легко.
В 2008 году вместо линий начали использовать сложные рисунки. Именно тогда команда Галланта разработала способ расшифровки, способный определить из 120 рисунков тот, на который смотрит человек. Это гораздо сложнее, чем вывести, к какой из категорий относится рисунок или куда направлены прямые. После этого, исследователи сделали еще один шаг: разработали способ толковать мозговую активность и показывать то, что видит участник в виде примитивного видео.
Используя видеоигру от первого лица «Counterstrike», исследователи пытались определить, могут ли они расшифровать намерения участника завернуть влево или вправо, преследовать врага или выстрелить. Им удалось расшифровать лишь намерение двигаться — другие данные от фМРТ были смазаны через эмоции участников, когда в них стреляли или их героя убивали. Такие сигналы — особенно смерть, глушат всю хрупкую информацию о намерениях.
Со снами возникает та же ситуация. Камитани и его команда опубликовала попытки расшифровки снов в Science. Они просили участников заснуть, будили их через определенные отрезки времени и просили сказать, что именно те видели во сне. Команда сначала пыталась воссоздать истинную визуальную информацию снов, но со временем разделила ее на словесные категории. Программа смогла с 60% точностью предсказать, какие именно категории объектов — машины, текст, мужчины или женщины — появились в снах людей.
Субъективная природа сна затрудняет дальнейшее выделение информации. Но во сне могут активироваться не только визуальные области мозга, но и другие, а для них создать надежные модели сложнее.
Реверсивная инженерия
Расшифровка опирается на тот факт, что между активностью мозга и внешним миром возможно установить корреляцию. И простого определения этих корреляций будет достаточно, если все, что вы хотите сделать, — это, например, использовать сигнал от мозга для управления роботом. Но Галлант и другие ученые хотят сделать несколько больше: они стремятся углубиться в проблему и узнать, как мозг организует и сохраняет информацию, чтобы понять сложные коды, которые он использует.
Это будет непросто. Каждая область берет информацию из сети других и комбинирует ее, может быть, изменяя способ ее представления. Нейронауковцы могут выяснить, какой тип трансформаций состоялся и где. В отличие от обычных опытов, мозг не обязательно действует по понятной для людей логике или математической модели. «Мы не занимаемся разработкой мозга — его нам уже выдали и теперь нам нужно разобраться, как он работает, — говорит Галлант. Не обязательно использовать какое-то математическое моделирование в подобных системах. Даже если бы было достаточно данных о содержании в каждой области мозга, вряд ли существует уже готовый набор уравнений, чтобы описать эти области, разное взаимодействие между ними и то, как они изменяются с течением времени.
Николаус Криегескорте (Nikolaus Kriegeskorte) из подразделения исследования мозга и процессов познания Совета медицинских исследований Великобритании (MRC Cognition and Brain Sciences Unit) говорит, что даже понять, как кодируется визуальная информация непросто — хотя визуальная система сейчас изучена глубоко. «Зрение — одно из сложных задач для искусственного интеллекта. Нам казалось, что это будет проще игры в шахматы или доказательства теорем», — говорит он. Но работы полно: надо понять, как пучки нейронов воспроизводят это; как эта информация передается между областями визуальной системы и как код отражения лица в нейронах в процессе меняется. Создать модель с нуля, нейрон за нейроном, очень трудно. Для того, чтобы сделать все так, как оно есть в природе не хватает ресурсов и времени. Поэтому команда ученых сравнивает существующие модели зрения по данным мозга, чтобы посмотреть, что подходит лучше всего.
Настоящий мир
Разработать и расшифровать общую модель для мозговой деятельности разных людей или даже для одного человека в разные моменты времени также непросто. Обычно расшифровку делают для каждого мозга отдельно, если только это не касается относительно простых действий, как бинарный выбор, когда человек смотрит на рисунок А или В. Однако некоторые группы ученых сейчас работают над созданием общих моделей. «Мозг у каждого человека имеет определенные индивидуальные черты», — говорит Гексби, возглавляющий одну из таких попыток. Сейчас, утверждает ученый, «просто невозможно построить эти схемы активности достаточно хорошо».
Похоже, что стандартизация необходима для многих из оговоренных способов использования расшифровки мозга — тех, где будет привлечено чтение скрытых или бессознательных мыслей. И хотя подобное использование еще невозможно, ученые уже изучают их. Гейнс говорит, что однажды его посетил представитель автомобильной компании «Daimler» и спросил, можно ли для рыночного исследования расшифровать скрытые желания клиента в испытуемой модели. «В общем, это могло бы сработать, — говорит он, — однако современные методы не в состоянии определить, скажем, какой из 30 различных продуктов больше всего понравится». Маркетологи, говорит ученый, должны придерживаться того, что есть в их арсенале. Он уверен, что традиционные технологии рыночных исследований помогли бы гораздо лучше.
К новым технологиям присматриваются и компании, стоящие на страже закона. Например, в компании «NO Lie MRI» в Сан-Диего, штат Калифорния, используют технологии, связанные с расшифровкой подобной информации и заявляют, что способны отличить ложь от правды с помощью сканирования мозга. Ученый в области права Хэнк Грили (Hank Greely) из Стэнфорда, штат Калифорния, написал в «Oxford Handbook Of Neuroethics», что для закона будет определенным образом выгодно иметь возможность определять ложь, проверять надежность воспоминаний и даже проявлять предвзятость у судей. Специалисты по этике заявляют, что законы о частной жизни должны защищать внутренние чувства и желания человека как личные. Однако Джулиан Савулеску (Julian Savulescu) нейроэтик из Оксфорда, не видит проблемы в принципе развития технологий декодирования. «Люди боятся, но если использовать это правильно, то они получат новый уровень свободы». Данные от мозга, говорит он, не отличаются от других видов доказательств. «Я не понимаю, почему мы должны отдавать предпочтение чувствам человека над его словами», — говорит он.
Гейнс работает над исследованиями, где участники гуляют по комнатам в виртуальной реальности и затем во время сканирования мозга перемещаются в еще одно виртуальное здание. Предварительные результаты указывают на то, что команда в состоянии определить, в каких именно домах они побывали. Следовательно, такое явление может показать, например, был ли человек на месте преступления. Результаты еще не опубликованы, и Гейнс спешит показать ограничения в использовании такой технологии в законодательстве. Вдруг человек действительно был в доме, но не помнит этого? Или если он был в нем до того, как произошло преступление? Подозреваемые могут даже обмануть сканер. «Реакция противодействия человека неизвестна», — говорит он.
Другие ученые также заявляют, что старые воспоминания могут быть обнаружены во время расшифровки с определенной степенью надежности. Для этого, кроме некоторых мелочей, понадобится 15-тонный МРТ сканер стоимостью 3 млн. долларов и человек, который захочет неподвижно лежать в нем и усиленно думать о сокровенном. И даже в этом случае, говорит Галлант, «то, что информация находится в чьей-то голове не означает, что она точна». Психологи сегодня имеют надежные и дешевые способы толковать чувства человека. «Сейчас лучший способ понять чьи-то намерения, — говорит Гейнс, — это спросить о них напрямую».
Источник: Shinji Nishimoto, An T Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu, Jack L Gallant; Reconstructing visual experiences from brain activity evoked by natural movies, «Current biology», 2011/10/11
