Нейромережу навчили читати думки людини

Розробники з Університету Пердью створили нейронну мережу, яка вміє аналізувати фМРТ-знімки мозку, зроблені під час перегляду відео, а потім в режимі реального часу визначати, що саме людина дивилась.

В експерименті брало участь троє випробуваних, яким показали близько тисячі невеликих відеороликів. За час показу науковці змогли отримати величезну кількість даних фМРТ, які потім почали демонструвати свёрточной нейронної мережі, навченої зіставляти активність мозку з сюжетами відеороликів. За знімком фМРТ мережу навчилася дуже швидко і правильно визначати, що саме дивився доброволець в той час, коли був зроблений знімок.

Крім того, нейросеть навчилася розшифровувати дані інших людей, грунтуючись на отриманої з фМРТ інших добровольців інформації, при цьому результат був однаково високий як при даних фМРТ здорових випробовуваних, так і тих, що мали дефекти зору.

Завдяки цьому дослідженню вчені змогли розшифрувати думки, а заодно і з'ясували, які ділянки мозку відповідають за розпізнавання зображень і відеороликів. Справа в тому, що мозок розділяє відеоролик на окремі складові. Наприклад, якщо людина бачить рухому на тлі стіни машину, то одна зона мозку розпізнає стіну, а інша автомобіль - таким чином у вчених вийшло простежити роботу мозку при зіставленні окремих блоків інформації та зведенні її в єдину картину.

Фото: integral