Внедрение новых технологий микроэлектроники в разработки нейрокомпьютеров

Введение

Нейросетевые технологии, развиваемые с 1940-х гг., в настоящее время получили активное развитие. Это связано с ростом сложности решаемых задач, что в свою очередь требует отказа от классической фон Неймановской архитектуры вычислительных систем и перехода к распределённым, в том числе, нейросетевым архитектурам.

Решение сложных задач в нейросетевом логическом базисе нуждается в аппаратной поддержке, которая в настоящее время реализуется на графических процессорах, ПЛИС и, во многих случаях, на цифровых, аналогово-цифровых и аналоговых ИС. В настоящее время известные ограничения цифровых технологий и развитие нанотехнологий делают возможным возврат к аналоговой обработке в рамках высокопараллельных нейросетевых алгоритмов и вычислительных структур.

В течение многих лет кроме стандартной КМОП-технологии для разработки и изготовления нейрочипов имели место активные попытки применения и других технологий:

Каждая технология накладывала существенные ограничения на структуру аппаратно-реализуемого фрагмента нейронной сети и, как следствие, на алгоритмы настройки коэффициентов и нейросетевые алгоритмы решения задач. Известны российские разработки аналогово-цифровых нейрокомпьютеров 1960–1970 гг., когда весовые коэффициенты реализовывались на потенциометрах, а сумматоры с нелинейным преобразованием – на операционных усилителях в составе аналоговых ЭВМ типа МН7 и МН14.

Появление мемристоров позволяет разработать аналоговые нейрочипы с высоким быстродействием. В настоящее время не существует единой концепции создания нейрочипов с использованием мемристоров. Например, компания Hewlett Packard пошла по пути совмещения КМОП-технологии с мемристорными матрицами, а Intel использует совмещение матрицы мемристоров со спиновыми вентилями. Многообразие подходов к конструированию нейрочипов нового поколения свидетельствует о большом потенциале мемристорных элементов.

Принципиальным отличием новых СБИС с мемристорами должна стать частотная модуляция сигнала. Такой подход не только позволит снизить энергопотребление, но и существенно увеличить срок службы и повысить надёжность элементов.

Данная статья посвящена методологии создания нейрокомпьютеров с применением мемристоров, количество которых в СБИС может быть достаточно велико, что, в свою очередь, приведёт к специализации структуры фрагмента аппаратно реализуемой нейронной сети.

В дополнительных материалах к статье (см. на www.soel.ru) представлен перечень работ, необходимых для внед­рения новой технологии микроэлектроники (на примере мемристорной) в перспективные нейрокомпьютеры.

Классические подходы к решению задач

Поводом для использования новых технологий микроэлектроники в высокопроизводительных нейрокомпьютерах является актуальная задача или группа задач, которые можно разделить на два класса: формализуемые и неформализуемые.

Для формализуемых задач совместно с разработкой стандартного алгоритма и его программированием на современной персональной ЭВМ оценивается время решения задачи. Если оно удовлетворяет заказчика (или заказчиков), то потребности во внедрении новой технологии микро­электроники не возникает. Если время решения задачи не удовлетворяет заказчика, то у разработчика есть два пути:

На первом пути анализируются стоимость, габариты, энергопотребление и время решения задачи на кластерной суперЭВМ для различного числа узлов. Если эти характеристики удовлетворяют заказчика, то на этом работа завершается. Если не удовлетворяют, то необходимо разработать и запрограммировать алгоритм решения задачи на суперЭВМ с графическими процессорами. В этом случае, как и в предыдущем, необходимо провести анализ стоимости, габаритов, энергопотребления и времени решения задачи на суперЭВМ с графическими процессорами. Если требования не выполняются, необходимо произвести программирование и реализацию классических алгоритмов решения задачи на базе ПЛИС.

Реализации алгоритмов решения задачи, удовлетворяющие требованиям заказчика, которые не требуют внедрения новых технологий микроэлектроники:

К разработке нейросетевых алгоритмов необходимо переходить, когда:

Создание и реализация нейросетевых алгоритмов решения задач

Разработка нейросетевого алгоритма решения задачи проводится в соответствии с методикой [1], апробированной на многих задачах. После окончания разработки нейросетевого алгоритма решения задачи необходимо выполнить его программирование на ПЭВМ с графическими ускорителями и оценить время решения задачи.

Если время решения задачи удовлетворяет заказчика, то на этом разработка данного варианта нейрокомпьютера заканчивается. В противном случае необходимо провести разработку и программирование нейросетевого алгоритма на кластерной суперЭВМ и т.д. и т.п., включая реализацию на ПЛИС. При отрицательном результате потребуется разработать нейросетевые алгоритмы решения задачи с применением частотно-импульсной модуляции сигналов [2] (Spiking Neural Network).

Применение нейронных сетей с частотно-импульсной модуляцией сигналов

Переход в разработке нейрокомпьютеров к представлению сигналов в виде частотной последовательности коротких импульсов является принципиальным, в первую очередь, с точки зрения энергопотребления. Хорошим примером является нейрочип TrueNorth фирмы IBM [3], который делает нейросетевые технологии (Spiking Neural Network) достаточно самостоятельными и перспективными.

Естественно, начальным этапом этих работ является попытка реализации нейросетевой парадигмы на ПЭВМ, суперЭВМ с графическими ускорителями и вычислительными системами на базе ПЛИС. Вариант реализации на кластерной суперЭВМ здесь пропускается вследствие его неперспективности.

Необходимо отметить, что для варианта нейронных сетей с частотно-импульсной модуляцией сигналов (НСЧИМ) потребуется доработка специфических разделов (теории нейронных сетей, нейроматематики и нейроуправления), используемых в качестве алгоритмической основы реализации нейрокомпьютеров с применением НСЧИМ.

Первым этапом работ в этом направлении является построение нейросетевого алгоритма решения задачи с применением НСЧИМ. В рамках направления потребуется создание комплекса моделей нейрочипов и нейроморфных ЭВМ на основе НСЧИМ [4], а именно:

Указанный комплекс моделей должен быть реализован на суперЭВМ с применением графических процессоров.

Разработанные нейросетевые алгоритмы должны быть запрограммированы и исследованы на ПЭВМ с графическими ускорителями, с анализом стоимости, габаритов, энергопотребления и времени решения задачи для различного числа графических модулей. При удовлетворении требований заказчика будет разработан вариант нейрокомпьютера (ПЭВМ с несколькими графическими платами и нейросетевое (НСЧИМ) программное обеспечение).

Если требования заказчика не удовлетворяются вариантом ПЭВМ с несколькими графическими ускорителями, необходимо перейти к разработке и программированию нейросетевого алгоритма (НСЧИМ) решения задачи на суперЭВМ и т.д. и т.п., включая ПЛИС. Очевидно, что и эти варианты реализации нейрокомпьютеров с ЧИМ не требуют развития и внедрения новых технологий микроэлектроники.

Предварительные выводы

Вышерассмотренные варианты реализации нейрокомпьютеров практически не требуют развития и внедрения новых технологий микроэлектроники. Потребность в последних возникает из-за невозможности удовлетворить требования заказчика. Однако необходимо отметить, что:

Разработка нейрочипов и нейроморфных ЭВМ с применением мемристоров

В настоящее время мемристоры являются перспективной технологией для будущих нейрокомпьютеров. Развитие самой технологии изготовления мемристорных матриц является самостоятельным вопросом и не рассматривается в данной статье. Далее описываются проблемы разработки нейрочипов и нейроморфных ЭВМ с применением мемристоров.

Необходимо отметить, что для вариантов нейрочипов и нейроморфных ЭВМ с применением мемристоров необходима доработка специфических разделов:

В рамках освоения новой технологии микроэлектроники – мемристоров, разработчикам нейрочипов и нейроморфных ЭВМ совместно с технологами мемристоров необходимо создать модели элементов (мемристоров и мемристорных матриц) с оценкой производительности в операциях будущих нейрочипов и нейроморфных ЭВМ.

Разработчиками нейросетевых (НСЧИМ) алгоритмов решения задач, архитектуры нейрочипов и нейроморфных ЭВМ, специалистами по распараллеливанию нейросетевых алгоритмов должна быть предложена архитектура и схемотехника аналоговой части нейрочипа с применением мемристоров, а совместно с технологами – технология стыковки мемристорных матриц большого размера с аналоговой частью СБИС.

Параллельно должны быть созданы модели указанных аналоговых схем в программных пакетах Cadence или Pspice, а также соответствующие модели аналоговых схем с мемристорными блоками. Следует также получить оценки производительности данной части нейрочипа в терминах операций нейроморфных ЭВМ.

В результате распараллеливания нейросетевого алгоритма решения задачи должен быть разработан фрагмент нейросетевого алгоритма, реализуемого цифровой частью СБИС, и созданы модели цифровой части в среде Cadence. Интеграция указанных работ с интерфейсом СБИС позволит создать архитектуру, схемотехнику и модели с применением мемристоров в среде Cadence, а также оценить производительность в операциях нейроморфной ЭВМ.

Заключительными этапами работ по созданию нейроморфных ЭВМ будут разработка архитектуры и схемотехники, создание моделей в среде Cadence и оценке производительности:

Результаты последних этапов работ будут переданы на производство с учётом библиотек элементов и существующих технологических норм.

Заключение

Описанная в статье методология может стать основой планирования работ по внедрению новых технологий микроэлектроники в разработки перспективных нейрокомпьютеров. Любая предлагаемая технология микроэлектроники может иметь более широкую сферу применения, нежели нейрокомпьютеры. Поскольку данная статья посвящена внедрению мемристоров в нейрокомпьютеры, необходимо отметить, что в части массового производства рынок мемристорных систем будет формироваться не за счёт нейрокомпьютеров, а за счёт энергонезависимой памяти, коммутационной среды ПЛИС и других проектов. Это позволяет в значительной степени увеличить допустимые риски разработки нейрокомпьютеров с применением мемристоров.

Литература

1. Галушкин А.И. О методике решения задач в нейросетевом логическом базисе. Приложение к журналу «Информационные технологии». 2006. №9.
2. Spiking Neural Network. Wikipedia. www.wikipedia.org/wiki/Spiking_neural_network.
3. Akopyan F., Sawada J., Cassidy A., Alvarez-Icaza R., Arthur J., Merolla P., Imam N., Nakamura Y., Datta P., Nam Gi-Joon, Taba B., Beakes M., Brezzo B., Kuang J.B., Manohar R., Risk W. P., Jackson B., Modha D.S. TrueNorth: Design and Tool Flow of a 65 mW 1 Million Neuron Programmable Neurosynaptic Chip. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems. 2015. Oct. Vol. 34. №10. Pp. 1537–1557.
4. Галушкин А.И. Модели для разработки нейрочипов и нейроморфных ЭВМ. Информатизация и связь. 2015. №4.