Физики из Принстоновского университета создали первую нейросеть, основанную на интегральной фотонной схеме. С точки зрения математики, как показали авторы, она схожа с непрерывными рекуррентными нейронными сетями. Подобные устройства могут найти применение в сверхбыстрых вычислительных системах. Препринт исследования опубликован на сайте arXiv.org, кратко о нем сообщает MIT Technology Review.
Традиционные нейронные сети основаны на устройствах, способных имитировать работу нейронов. Эти объекты — логические или реальные — специальным образом преобразуют входящий сигнал и передают его дальше. К примеру, входящим сигналом может быть «зашумленное» изображение буквы, которое разбивается на пиксели и каждый пиксель обрабатывается своим нейроном или последовательностью нейронов. На выходе, при правильной настройке нейросети, мы можем получить «чистое» изображение той же буквы.
В качестве входящего сигнала может выступать не только изображение, но и звук или любая другая информация. В некоторых случаях для эффективной работы нейросеть должна знать «контекст» информации. Для этого были созданы рекуррентные нейросети — нейроны в них получают не только входящий сигнал, но и информацию о предыдущем состоянии сети. С каждым шагом вычисления состояние сети меняется. Это помогает реализовать в ней своеобразную память. Подробнее о рекуррентных нейросетях можно прочесть в нашем материале.
Одно из направлений развития нейросетей — создание нейроморфных чипов, состоящих из физических нейронов. Первый такой серийный чип был представлен в 2014 году компанией IBM. Скорость работы вычислителей определяется скоростью работы отдельных нейронов, роль которых могут выполнять, например, мемристоры — резисторах «с эффектом памяти».
Устройства, в которых информация передается с помощью света, имеют возможность превзойти в производительности современную электронику. В частности, просто благодаря тому, что свет распространяется быстрее, чем электроны в веществе. Однако, создавать фотонные вычислительные системы гораздо сложнее, чем электронные устройства, и, как отмечают авторы, их недостатки еще никогда не компенсировались достаточной производительностью.
В новой работе физики показали, что фотонные системы могут достигнуть превосходства над классическими компьютерами в создании нейросетей. Авторы создали чип, в котором роль двух нейронов выполняют закрученные в кольца волноводы в кремниевой матрице. Каждый из них работает на своей длине волны и обладает управляемыми параметрами отклика. Сигнал из волновода подается на модулятор Маха-Зендера, который стоит на выходе из лазера соответствующей длины волны. Этот лазер и подает свет в соответствующий узел чипа через устройство-мультиплексер.
Таким образом, кольца непрерывно влияют на параметры лазерного излучения, возникающего в чипе. Это соответствует системе с нелинейной обратной связью. Проанализировав характер работы устройства физики указали, что она математически соответствует непрерывной во времени рекуррентной нейронной сети (CTRNN). Это значит, что имеющиеся методики для работы с такими сетями можно будет использовать и для фотонных нейросетей больших размеров.
Чтобы продемонстрировать работоспособность фотонной нейросети, авторы провели ее компьютерное моделирование. Физики сравнили скорость решения обыкновенных дифференциальных решений с помощью традиционных компьютеров и с помощью 49-узловой нейросети предложенной архитектуры. Оказалось, что последняя обладает почти двухтысячекратным преимуществом.
Ранее физики из университетов Оксфорда и Бристоля вычислили, что на создание отказоустойчивого фотонного квантового компьютера уйдет примерно в 100 тысяч раз больше компонентов, чем, например, для сверхпроводящих квантовых компьютеров.
Иллюстрация к статье:
Обсуждение