- 21,910
- 46
- 8 Ноя 2022
Нейросеть описывает целые сцены, которые человек видит или представляет.
Учёные приблизились к возможности «читать мысли» — не метафорически, а буквально. В журнале Science Advances опубликована работа японских и американских исследователей, представивших новую технологию под названием mind captioning («ментальное описание»). Она способна по активности мозга формировать осмысленные предложения, описывающие, что человек видит или представляет себе.
Метод сочетает функциональную МРТ с языковыми моделями и машинным обучением. Алгоритм анализирует паттерны мозговой активности и сопоставляет их с уникальными «смысловыми подписями» — цифровыми представлениями значения фраз. Таким образом система может «перевести» сигналы мозга в текст, описывающий восприятие или воспоминание человека.
Ранее исследователям удавалось определять лишь отдельные слова или простые образы. Но теперь модели научились восстанавливать контекст целиком — включая объекты, действия и их взаимосвязь. Например, при просмотре видео, где человек прыгает с водопада, нейросеть по сигналам мозга сначала выдала фразы вроде «поток воды» и «над падающей водой», а на сотом приближении сгенерировала: «человек прыгает с высокого водопада в горах».
Метод разработал нейробиолог Томоясу Хорикава из лабораторий NTT Communication Science в Канагава (Япония). Он обучил нейросеть на более чем 2000 видеороликов и шести участниках, чьи мозговые данные позволили выявить закономерности между визуальным восприятием и смысловой структурой текста. После этого система смогла воспроизводить описания даже тех роликов, которые участники лишь вспоминали.
Учёные отмечают, что мозг, похоже, кодирует просмотренные и воображаемые сцены сходным образом — это открывает новые пути к пониманию того, как формируются мысли до их вербализации.
Исследователи подчеркивают, что технология полностью неинвазивна: используется только функциональная МРТ, без имплантов. В будущем подобные системы могут помочь людям с нарушениями речи, например после инсульта, переводя их немые мысленные образы в текст.
«Если мы сможем использовать такие ИИ-системы для перевода ментальных представлений, это станет реальной поддержкой для людей с трудностями общения», — пояснил Алекс Хат (Alex Huth) из Калифорнийского университета в Беркли, ранее создавший схожую модель расшифровки языка.
Однако вместе с возможностями растут и риски. Учёные признают, что появление подобных технологий ставит вопросы о «ментальной приватности» — ведь со временем такие алгоритмы могут раскрывать эмоции, намерения и состояние здоровья. Пока же, подчёркивают исследователи, без согласия участника и специальных тренировочных данных модель не способна прочитать произвольные мысли.
Учёные приблизились к возможности «читать мысли» — не метафорически, а буквально. В журнале Science Advances опубликована работа японских и американских исследователей, представивших новую технологию под названием mind captioning («ментальное описание»). Она способна по активности мозга формировать осмысленные предложения, описывающие, что человек видит или представляет себе.
Метод сочетает функциональную МРТ с языковыми моделями и машинным обучением. Алгоритм анализирует паттерны мозговой активности и сопоставляет их с уникальными «смысловыми подписями» — цифровыми представлениями значения фраз. Таким образом система может «перевести» сигналы мозга в текст, описывающий восприятие или воспоминание человека.
Ранее исследователям удавалось определять лишь отдельные слова или простые образы. Но теперь модели научились восстанавливать контекст целиком — включая объекты, действия и их взаимосвязь. Например, при просмотре видео, где человек прыгает с водопада, нейросеть по сигналам мозга сначала выдала фразы вроде «поток воды» и «над падающей водой», а на сотом приближении сгенерировала: «человек прыгает с высокого водопада в горах».
Метод разработал нейробиолог Томоясу Хорикава из лабораторий NTT Communication Science в Канагава (Япония). Он обучил нейросеть на более чем 2000 видеороликов и шести участниках, чьи мозговые данные позволили выявить закономерности между визуальным восприятием и смысловой структурой текста. После этого система смогла воспроизводить описания даже тех роликов, которые участники лишь вспоминали.
Учёные отмечают, что мозг, похоже, кодирует просмотренные и воображаемые сцены сходным образом — это открывает новые пути к пониманию того, как формируются мысли до их вербализации.
Исследователи подчеркивают, что технология полностью неинвазивна: используется только функциональная МРТ, без имплантов. В будущем подобные системы могут помочь людям с нарушениями речи, например после инсульта, переводя их немые мысленные образы в текст.
«Если мы сможем использовать такие ИИ-системы для перевода ментальных представлений, это станет реальной поддержкой для людей с трудностями общения», — пояснил Алекс Хат (Alex Huth) из Калифорнийского университета в Беркли, ранее создавший схожую модель расшифровки языка.
Однако вместе с возможностями растут и риски. Учёные признают, что появление подобных технологий ставит вопросы о «ментальной приватности» — ведь со временем такие алгоритмы могут раскрывать эмоции, намерения и состояние здоровья. Пока же, подчёркивают исследователи, без согласия участника и специальных тренировочных данных модель не способна прочитать произвольные мысли.
- Источник новости
- www.securitylab.ru
