Новое исследование продемонстрировало, как сети импульсных нанолазеров могут имитировать ключевой принцип работы мозга: представлять себе вещи, которые мы не можем непосредственно воспринять, путем анализа внутренних моделей мира. Исследование, проведенное учеными из Бернского университета в сотрудничестве с компанией Thales Research & Technology, расположенной в кампусе Париж-Сакле, опубликовано в журнале Nature Communications.
Физические компьютеры на основе полупроводниковых лазеров представляют собой одни из наиболее перспективных кандидатов для систем искусственного интеллекта следующего поколения, учитывая их предполагаемые преимущества в скорости, пропускной способности и энергопотреблении по сравнению с традиционной электроникой. В исследовании показано, как достижения на стыке нейронауки, физики и информатики могут привести к новым формам искусственного интеллекта.
Важной особенностью человеческого мозга является его способность создавать модель мира — внутреннюю картину того, что существует за пределами нашего непосредственного сенсорного восприятия. Даже когда наше зрение сосредоточено на экране, мы остаемся в курсе происходящего вокруг нас и легко можем представить себе то, что скрыто от нашего взгляда.
Важно отметить, что эта модель носит вероятностный характер. Например, когда мы видим пловца, мы можем видеть только голову и плечи, но мы можем представить множество правдоподобных положений тела под водой, исключая при этом невозможные. В статистике этот процесс известен как байесовский вывод : каково состояние чего-то, что мы не можем наблюдать, учитывая состояние чего-то, что я могу наблюдать, и мои предыдущие знания о мире?
Вместо того чтобы представлять все возможности сразу, мозг, по-видимому, выбирает образцы из этого распределения вероятностей. Один из примеров — иллюзия кролика и утки (см. ниже): вы можете видеть либо кролика, либо утку, но никогда обоих одновременно. «Вы никогда не думаете о полном распределении, — объясняет Иван Бойков, исследователь из Thales Research & Technology и один из авторов, — а скорее берете из него образцы по одному».
На микроскопическом уровне такое поведение, связанное с отбором проб, тесно связано с тем, как нейроны взаимодействуют. Нейроны в неокортексе не генерируют непрерывные импульсы; вместо этого они генерируют потенциалы действия — короткие электрические вспышки, которые распространяются к соседним нейронам. Поскольку зрительная кора имеет топографическую организацию, группы нейронов, генерирующих импульсы, могут буквально вырисовывать формы изображений — например, контур ног пловца под водой, по одной позе за раз.
От нейронов до нанолазеров
Вдохновленные этим механизмом, исследователи задались вопросом, можно ли создать искусственные нейронные сети с импульсной активностью, способные таким же образом, но гораздо быстрее, моделировать окружающий мир. «Заменив биологию клеток физикой полупроводников, мы можем значительно ускорить их динамику», — говорит соавтор Альфредо де Росси из компании Thales Research & Technology.
«В этом проекте мы рассматривали полупроводниковые нанолазеры . В ходе моделирования мы показали, что, используя определенную конфигурацию материалов, мы можем построить сеть таких нанолазеров, способных обучаться и получать данные из модели окружающего мира, подобно тому, как это делает мозг», — объясняет он.
Подобные системы могли бы работать в масштабе десятков пикосекунд, по сравнению с миллисекундами в головном мозге — в сотни миллионов раз быстрее.
Эти нанолазеры могут испускать импульсы, которые, в свою очередь, могут использоваться для отбора проб. В их модели сети нанолазеров обучаются вероятностному представлению об окружающей среде и генерируют на его основе образцы, что очень точно отражает то, как мозг представляет себе невидимые части мира.
В одной из демонстраций нейронная сеть обучалась на рукописных цифрах. Когда ей показывали лишь частичную информацию — некоторые пиксели были скрыты, — она генерировала полные цифры, соответствующие входным данным, представляя себе тройки или нули, но никогда не неправдоподобные альтернативы. В условиях отсутствия ограничений сеть свободно «мечтала» обо всех возможных цифрах, подобно тому, как человеческий мозг делает это во время сна.
Точное определение момента возникновения всплеска
Вопрос о том, как нейронные сети с импульсной активностью могут обучаться, имеет более широкий характер. В данной работе исследователи использовали вероятностную модель и алгоритм обучения. Но в некоторых случаях требуется очень точное определение времени отдельных импульсов. «Это, например, то, как наш мозг кодирует информацию о тактильных ощущениях и текстуре или движении тактильных стимулов», — объясняет Михай А. Петровичи, исследователь из Бернского университета и один из авторов исследования.
В принципе, исследователи могли бы использовать временные параметры импульсов для представления любой информации (например, визуальной, слуховой или тактильной) в искусственных нейронных сетях с импульсной активностью. Однако обучение точным временным параметрам импульсов в глубоких нейронных сетях с импульсной активностью представляет собой сложную задачу.
В дополнение к этому, время возникновения импульсов (в биологических и искусственных сетях) зависит не только от силы синапсов, соединяющих нейроны, но и от времени (или задержки), необходимого импульсам для распространения между нейронами. В недавнем исследовании , также опубликованном в Nature Communications, исследователи разработали алгоритм обучения , который является точной копией классического алгоритма обратного распространения ошибки — основы современного ИИ — но основан исключительно на времени возникновения импульсов.
«Мы продемонстрировали это на нейроморфном чипе BrainScaleS-2, разработанном нашими коллегами из Гейдельбергского университета», — говорит Петровичи. Хотя он и не так быстр, как версия с нанолазером, этот чип со смешанными сигналами (содержащий как аналоговые, так и цифровые компоненты) все же «примерно в тысячу раз быстрее, чем фрагмент мозговой ткани того же размера», и при этом чрезвычайно энергоэффективен.
Преимущества вычислительной техники
Хотя идея выборки на основе импульсов уже исследовалась в течение последнего десятилетия, особенно исследователями в рамках проекта «Человеческий мозг», а затем и проекта EBRAINS, в сотрудничестве команд из Берна, Гейдельберга, Юлиха и Граца, версия на основе лазера является совершенно новой.
«Удивительно, что мигающие лазеры могут работать практически так же, как мигающие нейроны в мозге (просто происходит обмен ионов натрия и калия на фотоны)», — говорит Петровичи. «Помимо элегантности симметрии между этими двумя совершенно разными системами, вычисления с использованием света предлагают большие практические преимущества по сравнению с вычислениями с использованием электронов, как это делают наши современные чипы».
Свет может передаваться с гораздо меньшими потерями энергии, чем электрический ток, а несколько сигналов могут сосуществовать на разных частотах без помех, что обеспечивает гораздо большую пропускную способность. «По этим причинам, — объясняют авторы, — высокоскоростной интернет является оптическим».
В своем исследовании они предлагают конкретные планы по внедрению решений на уровне микросхем, открывая двери для сверхбыстрого и энергоэффективного вычислительного оборудования.
Междисциплинарное сотрудничество
Проект возник в результате сотрудничества группы исследователей в области нейроискусственного интеллекта из Бернского университета и экспертов в области нейроморфной фотоники из компании Thales Research & Technology в Париже-Сакле. «Как только вы узнаете, что лазеры могут генерировать импульсы, и что эти импульсы можно использовать для выборки, история практически пишется сама собой», — говорят авторы, хотя для ее реализации потребовалась междисциплинарная команда.
Данная работа основана на многолетних исследованиях группы в области сэмплирования на основе импульсов и дополняет недавние достижения в обучении точному определению времени возникновения импульсов на нейроморфных чипах. В совокупности эти результаты показывают, как идеи из нейронауки, физики и информатики, развиваемые исследовательской инфраструктурой EBRAINS, могут объединиться, чтобы вдохновить на создание новых форм искусственного интеллекта.
