Новое исследование предлагает прорывной подход к решению одной из ключевых проблем в области искусственного интеллекта: отсутствие интерпретируемости сложных систем. В частности, речь идет о многоагентном обучении с подкреплением (MARL), где ИИ-агенты достигают впечатляющих результатов, но их стратегии остаются непрозрачными для человека. Авторы разработали методику, названную моделированием графов глобальной и коалиционной когниции (GCGM), которая позволяет деконструировать процесс принятия решений ИИ. По сути, это позволяет создать наглядные графические модели, отображающие, как агенты воспринимают мир, взаимодействуют друг с другом, формируют индивидуальные и коллективные цели, и как эти факторы определяют их поведение. Обнаружено, что такой подход значительно повышает прозрачность "мышления" ИИ, делая его внутреннюю логику объяснимой для человеческого понимания.
Однако, крайне важно подходить к интерпретации этих выводов с определенной критической дистанцией, особенно когда речь идет о природе разума. Данная работа сосредоточена на *искусственной- когниции, и ее результаты не следует напрямую экстраполировать на биологический мозг или человеческое сознание. Графы когниции, хоть и эффективны для объяснения поведения ИИ, являются высокоуровневыми абстракциями, созданными для внешней интерпретации, а не для прямого отражения глубинных нейронных процессов, которые могли бы быть аналогом в человеческом мозге. Это метод, который позволяет *нам- понять *их- (ИИ) действия, но не дает прямого доступа к их "внутреннему опыту" или "феноменологии", если таковые вообще существуют у машины. Следовательно, хотя мы получаем ценные инструменты для работы с ИИ, это исследование не приближает нас к непосредственному разгадыванию загадок человеческого сознания.
Тем не менее, сама попытка сделать искусственный разум интерпретируемым глубоко затрагивает наше понимание природы разума и человека. Наша потребность в объяснении поведения ИИ отражает фундаментальную человеческую склонность и потребность понимать мотивы, намерения и логику действий других разумных существ. Способ, которым мы структурируем "когнитивные графы" для ИИ — через цели, восприятия, взаимодействия и внутренние состояния — невольно отражает наши собственные интуитивные модели того, как должен работать разум. Это исследование служит напоминанием о том, насколько сложной является система, способная принимать решения и взаимодействовать, и косвенно подчеркивает невероятную, до сих пор не до конца понятую сложность человеческого мозга и сознания, чьи "когнитивные графы" несравнимо богаче и многослойнее любой искусственной системы.
Моделирование глобальных и коалиционных когнитивных графов для интерпретируемого многоагентного обучения с подкреплением
Обсуждение
Обсуждаем материалы и делимся мыслями в наших сообществах — присоединяйтесь.