В Японии разработали новый метод «описание мыслей»
Фото: АА
Этот метод, анализируя то, как мозг обрабатывает визуальную информацию, может генерировать подробные тексты, описывающие объекты, места, действия, события и взаимосвязи между ними
Zeynep Katre Oran, Nariman Mehdiyev |
Японский исследователь разработал новый метод «описание мыслей», который с помощью методов визуализации мозга и искусственного интеллекта позволяет преобразовывать образы, возникающие в сознании человека, в слова.
Исследователь Томоясу Хорикава, работающий в Лаборатории коммуникационных наук телекоммуникационной компании Nippon Telegraph and Telephone в Японии, провел исследование с участием 6 добровольцев в возрасте от 22 до 37 лет, для которых японский язык является родным, и изучил процесс переноса ментальных образов в письменные описания.
В ходе эксперимента участникам было показано 2180 видеороликов с различным содержанием: от предметов до природных пейзажей, от движений людей до повседневных действий.
Мозговая активность участников записывалась с помощью функционального магнитно-резонансного томографа (фМРТ) во время просмотра коротких видеороликов.
Тексты, описывающие содержание видеороликов, сначала были преобразованы в числовые последовательности с помощью больших языковых моделей, а затем простые модели искусственного интеллекта были обучены сопоставлять эти числовые последовательности с мозговой активностью, зарегистрированной во время просмотра видеороликов.
В рамках эксперимента Хорикава, которому удалось преобразовать образы, возникающие в сознании участников при просмотре видео или воспоминаниях о просмотренном, в предложения, назвал разработанную им технику «описанием мыслей».
Ученый сказал, что этот новый метод, анализируя то, как мозг обрабатывает визуальную информацию, может генерировать подробные тексты, описывающие объекты, места, действия, события и взаимосвязи между ними.
Подчеркнув, что эта техника работает независимо от языковых центров мозга, Хорикава отметил, что она может помочь людям, утратившим речевые навыки из-за нейродегенеративных заболеваний, общаться.
Исследование было опубликовано в журнале «Science Advances».
В Японии разработали новый метод «описание мыслей»
