×

Изображение предоставлено: Герд Альтманн из pixabay

Контроль вероятности серии случайных событий является ключом к имитации человеческого мозга для оптимизации нейроморфного обучения.

 

Удвоение транзисторов на чипе каждые два года, известное как закон Мура, стало залогом развития вычислительных технологий на основе кремния и всей компьютерной техники аж с 60-х годов минувшего века по самые наши дни. Такое масштабирование показалось простейшим и эффективным решением большинства возникающих при разработке новых электронных устройств проблем. Оно обусловило достижение более высоких скоростей и плотности процессоров, а также лучшей их энергоэффективности и снижения общего энергопотребления.

Однако многие специалисты по полупроводникам предсказывают исчерпание резервов этого метода. Дело в том, что теоретически, согласно принципу неопределённости Гейзенберга, уменьшать элементы дальше некуда: текущий их размер уже достигает своего фундаментального предела в полтора нанометра. Существуют прогнозы, что перспективы удвоения, обрисованного законом Мура, иссякнут в ближайшие 10 лет.

Настало время спросить себя: что нужно сделать, чтобы конец эпохи масштабирования не стал эквивалентен концу технологического прогресса? Ведь независимо от того, какие решения мы применяем, хорошо бы, чтобы наши вычислительные возможности соответствовали стремительному росту объёмов обрабатываемых, используемых и хранимых данных. И что-то подсказывает, что человек не готов ущемлять себя в этих потребностях.

Таким образом, сейчас учёные более склонны искать новые типы вычислительных алгоритмов, которые смогли бы обрабатывать гораздо больший объём данных, чем цифровые операции, основанные на масштабировании комплементарных металло-оксидных полупроводниковых (CMOS) устройств, повсеместно используемых в электронике настоящих дней.

Чтобы соответствовать новым механизмам вроде машинного обучения, появилась необходимость в разработке нецифровых устройств, в научных кругах называемых нейроморфными. Мемристоры, о которых мы не однажды говорили, важны для памяти и таких вот нейроморфных просчётов как раз в этом отношении: выходя за рамки закона Мура, они являются наиболее многообещающими кандидатами для вычислений следующего поколения. Помимо того, что эти «электрические резисторы с памятью» служат двухконтактными энергонезависимыми устройствами с изменяемым и сохраняемым посредством электрической стимуляции сопротивлением, от обычных логических устройств их отличает способность эффективно имитировать связи и обучающее поведение синапсов, обнаруживаемых в человеческом мозге.

Именно поэтому мемристоры стали предпочтительной базой для машинного обучения следующего поколения. Тем более, будучи собранными в чрезвычайно компактные многоточечные массивы, экономичные как по стоимости, так и по энергозатратам. Фактически, эта новая многоуровневая архитектура – как раз то, что было принято в одном из последних продуктов Intel. Речь о памяти 3DXP, которая выделяется своей высокой производительностью и ёмкостью. С этой разработки может начаться потенциальное сокращение разрыва между быстрой DRAM и плотным NAND SSD или жёстким диском в действующей вычислительной архитектуре. 

С точки же зрения производительности, стохастическое, основанное на случайностях обучение, оказалось более эффективным, чем детерминированное, в котором нет места хаосу и неожиданностям. А такие логически закономерные, строго упорядоченные калькуляции более подвержены подвисаниям и торможениям, особенно при обработке огромных массивов данных. 

Идея нового алгоритма основана на стохастическом поведении синапсов, как его понимают сейчас. По-видимому, передача сигнала между нейронами (в качестве единичного события), происходит случайно, но благодаря частичной связи между локальными единичными событиями, их среднее долгосрочное (по аналогии со средним арифметическим) следует определённой вероятности. Получается некая предсказуемость беспорядка, или, лучше сказать, «контролируемая случайность». В этом типе сценария эффективность обучения машины зависит от степени вероятности. Поэтому контроль над суммарными возможностями серии, казалось бы, рандомных событий уже сам по себе становится ключевым фактором оптимизации нейроморфного обучения для различных задач.

Великолепно. Но, правда, лишь в теории. А вот на практике фактическое построение способной на случайную генерацию вероятности аппаратуры оказалось большой проблемой. Как признают исследователи, для экспериментального воплощения столь грандиозных идей и технической их реализации, увы, в существующей технологической действительности элементарно нет базы. Большинство имеющихся в научной литературе примеров хоть и являют собой остроумнейшие предложения, но – без реальных экспериментов или результатов. То есть там, буквально, никто не знает, как всё-таки этого добиться.

И вот недавно, в Advanced Intelligent Systems появилась статья, где Вурхам Бэ из Калифорнийского университета в Беркли и Кьюнг Джин Юн из Intel опубликовали своё предположение о том, что с помощью шума электрического кольцевого генератора можно шифровать детерминированные последовательности.

Поясним: электрические кольцевые генераторы – это схемы, которые генерируют периодический колебательный сигнал и обычно используются для различных применений в микропроцессорах и специализированных интегральных схемах (ASIC).

Так вот: в то время как каждое отдельное событие забивается шумом, схема обратной связи контролирует долгосрочную вероятность. То есть схема предназначена для отслеживания истории событий и направляет долгосрочную вероятность к желаемому значению, когда оно отклоняется из-за наличия случайного шума.

По сравнению с большинством приложений эта современная технология использует шум системы, а не подавляет его. Это значит, что, поскольку уровень шума обратно пропорционален мощности, предлагаемый метод может выиграть как в уменьшении энергозатрат, так и в повышении эффективности функционирования: падение мощности вызывает рост уровней шума, что влечёт повышение точности и скорости процесса. И хотя сейчас имеется всего лишь несколько примеров для сравнения, уже можно сказать, что описанная технология обеспечивает более чем тысячекратное повышение энергоэффективности по сравнению с традиционными генераторами случайных чисел. Кроме того, она также обеспечивает контролируемую вероятность, чего никак не могло быть в тех генераторах воистину случайных чисел, которые встречаются в литературе.

Есть надежда, что эта «шуматоха» для генерации «предположений о возможном» преодолеет все современные ограничения цифровых вычислительных систем фон Неймана, которые все ещё полагаются на статические способы. А применённые, в свою очередь, к имитирующему работу синапсов стохастическому обучению, эти вероятностные алгоритмы ускорят разработку новых устройств и архитектур для машинного обучения.


По материалам ASN