ИИ научился воссоздавать изображения по сканам мозга

Что произошло

Учёные из Института Вейцмана разработали инструмент на основе ИИ, который может воссоздавать изображения, которые видит человек, анализируя его мозговую активность. Этот инструмент использует данные функциональной магнитно-резонансной томографии (фМРТ) и способен с высокой точностью реконструировать визуальные образы.

Детали

Технология работает в двух направлениях: она может предсказать мозговую активность по изображению и, наоборот, воссоздать изображение по данным фМРТ. Для обучения модели использовались данные восьми человек, каждый из которых просмотрел около 9000 изображений в высокоточном фМРТ-сканере.

Модель состоит из двух частей: одна предсказывает структуру изображения (например, расположение цветов), а другая — его содержание (например, бананы на тарелке). Эти предсказания используются для создания более точного изображения с помощью диффузионной модели.

«Мы значительно превзошли предыдущие методы», — говорит Мичал Ирани, один из разработчиков.

Почему это важно

Эта технология может революционизировать нейробиологию, позволяя учёным лучше понимать, как работает мозг. Она также может помочь людям с ограниченными возможностями, например, тем, кто находится в состоянии «запертости», общаться с внешним миром.

Однако есть и риски. Технология может быть использована для нарушения ментальной приватности, если кто-то сможет воссоздавать мысли или воспоминания без согласия человека.

Что дальше

Ирани и её команда планируют расширить возможности инструмента, чтобы он мог работать с видео и аудио. Они также хотят научиться воссоздавать содержание снов и ментальных образов.

Этические вопросы, связанные с этой технологией, становятся всё более актуальными, особенно с развитием методов анализа мозговой активности через ЭЭГ (электроэнцефалографию).