1. Московский физико-технический институт
Нейросети на основе
мемристоров для
реализации искуственного
интеллекта
А.В. Заблоцкий, А.В. Зенкевич, А.М. Маркеев,
Ю.А. Матвеев, К.В. Егоров, Ю.Ю. Лебединский,
А.Г. Черникова, Д.В. Негров

2. План рассказа
• Что такое мемристор?
• Сверхзадача
• Предел классических компьютеров
• Эффект резистивного переключения
• ReRAM – энергонезависимая память
• Аппаратные нейроморфные
вычисления
• Перспективы

3. Что такое мемристор?
Memory + Resistor !
• Это радиотехнический элемент,
представляющий собой устройство с
двумя выводами, которое
Theoretically predicted in 1971 by L. Chua (IEEE
Trans. Circ. Theory 18, 507, 1971)
Experimentally implemented in 2008 by HP team
(Nature 453, 80, 2008)
– при приложении малого напряжения и протекании
малого тока ведет себя как резистор, а при
приложении большого напряжения и протекании
большого тока воспроизводимым и обратимым
образом переключается в состояния с различным
электрическим сопротивлением;
– хранит состояние достаточно длительное время.
Путаница с областью применений мемристоров:
- элементы энергонезависимой памяти;
- элементы для нейроморфных вычислений.

4. Сверхзадача – догнать живую
Мозг
Суперкомпьютер
Blue Gene
1 кг
100 Вт
1011 нейронов
1014 синапсов
100 Гц
Распознавание образов 0,1 сек
105 кг
1 000 000 Вт
105 процессоров
1014 транзисторов
1 000 000 000 Гц
>1 месяц
D.Strukov, NGC 2011
Мозг
природу

5. Как устроен мозг -
Human Connectome Project
http://www.humanconnectomeproject.http://www.humanconnectome.org/ org/

6. Высокая связанность
• Один нейрон может иметь связи с тысячами других
(5 000 - 20 000 )
• В мозге человека – порядка 100 млрд. нейронов

7. Закон Мура
Число транзисторов в процессоре по технологии 32 нм –
порядка 1-2 млрд. штук
Размеры
атомов

8. Критический размер != размеру
функционального элемента
Критический размер F – ширина
линии рисунка литографии
Площадь функционального
элемента (транзистора) 4F2-10F2
4

9. Выполняется ли закон Мура?
+ NAND Flash
+/- Logic
- DRAM

10. Отставание DRAM

11. Просто возьмем больше процессоров /
модулей памяти?
POWER WALL PROBLEM!
На одну логическую операцию: 5-10 пДж
На паразитные ёмкостные потери
в межсоеднинениях одного «кристалла»: 500-1000 пДж
~ CV2f,
C – ёмкость,
V – управляющее
напряжение,
f – тактовая частота

12. Вакуумная лампа (триод) – простой и
понятный логический элемент
Управление током между анодом и катодом
при помощи напряжения на сетке

13. Транзистор – трехполюсный элемент
Управление током межу истоком и стоком при
помощи напряжения на затворе

14. Только один слой активных элементов на
полупроводниковой подложке
5 слоев металлизации
Один слой транзисторов – много слоев металлизации с
некоторыми пассивными элементами (конденсаторами) 11

15. Многоуровневая металлизация

16. DRAM – схема ячейки оперативной памяти
Заряд конденсатора
стекает через не
полностью закрытый
транзистор. Перезапись
каждые 4-64 мс.
Ячейка памяти
1T-1C
Параметр DRAM
Площадь ячейки 6 F2 – 12 F2
Количество циклов
перезаписи >1016
Затраты энергии на
бит 0,004 пДж
Напряжения записи/
перезаписи 2,5 В
Напряжение
считывания 1,8 В
Время перезаписи 1 - 10 нс
Время хранения 4 – 64 мс
8

17. Flash-память – структура ячейки
энергонезависимой памяти
Ячейка памяти 1T
Управление током межу истоком и стоком при помощи
хранения заряда под затвором транзистора
Напряжение перезаписи ~ 10 В, время перезаписи ~ 1 мкс
Энергия на перезапись одной ячейки: NOR - 100 пДж
NAND - 0,00001
пДж

18. Flash vs DRAM
Параметр Flash NOR
Embedded
Flash NAND
Stand-alone DRAM
Площадь ячейки 10 F2 4 F2 6 F2 – 12 F2
Количество циклов
перезаписи 105 104 >1016
Затраты энергии на
бит 100 пДж 0,00001 пДж 0,0004 пДж
Напряжения записи/
перезаписи 10 В 15 В 2,5 В
Напряжение
считывания 1,8 В 1,8 В 1,8 В
Время перезаписи 1 мкс – 10 мс 0.1 - 1 мс 1 - 10 нс
Время хранения 10 лет 10 лет 4 – 64 мс
NOR flash – на пересечении столбцов и строк находится по одному транзистору
NAND flash – на пересечении – пачка последовательно включенных транзисторов

19. Направления развития
энергонезависимой компьютерной памяти
• MRAM – Магниторезистивная память
• PCM – Память на фазовых переходах
• FRAM – Ферроэлектрическая
(сегнетоэлектрическая) память
• ReRAM – Резистивная память (мемристоры)
13

20. Привычная энергонезависимая память –
жесткие диски
Физический принцип - эффект гигантского магнитосопротивления,
электрическое сопротивление ячейки изменяется в зависимости от взаимной
ориентации намагниченностей в соседних магнитных слоях в тонких
плёнках, состоящих из чередующихся ферромагнитных и проводящих
немагнитных слоёв
14

21. MRAM - Магниторезистивная память
Физический принцип - эффект туннельного магнитосопротивления,
электрическое сопротивление ячейки изменяется в зависимости от взаимной
ориентации намагниченностей в слоях ферромагнетик-изолятор-ферромагнетик.
Изменение намагниченности «свободного слоя», относительно «контрольного
слоя» приводит к изменению сопротивления структуры.
15
Ячейка памяти 1T-1R

22. MRAM vs Flash vs DRAM
Параметр MRAM Flash NOR
Embedded DRAM
Площадь ячейки 20 F2->8 F2 10 F2 6 F2 – 12 F2
Количество циклов
перезаписи >1012 105 >1016
Затраты энергии на
бит 2 пДж 100 пДж 0,0004 пДж
Напряжения записи/
перезаписи 1,8 В 10 В 2,5 В
Напряжение
считывания 1,8 В 1,8 В 1,8 В
Время перезаписи 35 нс 1 мкс – 10 мс 1 - 10 нс
Время хранения > 10 лет 10 лет 4 – 64 мс
16

23. PCM – Память на фазовых переходах
Физический принцип - эффект изменения сопротивления тонкой плёнки
халькогенидов (например, Ge-Sb-Te) при её частичной кристаллизации/
аморфизации, например, при нагреве
Ячейка памяти
1T-1R
17

24. PCM vs Flash vs DRAM
Параметр PCM Flash NOR
Embedded DRAM
Площадь ячейки 4 F2 10 F2 6 F2 – 12 F2
Количество циклов
перезаписи 109 105 >1016
Затраты энергии на
бит 6 пДж 100 пДж 0,0004 пДж
Напряжения записи/
перезаписи 3 В 10 В 2,5 В
Напряжение
считывания 1,2 В 1,8 В 1,8 В
Время перезаписи 100 нс 1 мкс – 10 мс 1 - 10 нс
Время хранения > 10 лет 10 лет 4 – 64 мс
18

25. FRAM – Ферроэлектрическая память
(сегнетоэлектрическая)
Физический принцип - эффект изменения поляризации сегнетоэлетрического
слоя
19
FeRAM FeFET
Ячейка памяти 1T-1С
Ячейка памяти 1T
Титанаты и танталаты (PbZrxTi1-xO3, SrBa2Ta2O9), BiMgF4

26. FeRAM vs FeFET vs Flash vs DRAM
Параметр
FeRAM
(1T-1C)
FeFET
(1T)
Flash
NOR
Embedded
DRAM
Площадь ячейки 22 F2 4 F2 - 8 F2 10 F2 6 F2 – 12 F2
Количество циклов
перезаписи >1014 >1011 105 >1016
Затраты энергии 0,03 пДж ?? 100 пДж 0,0004 пДж
Напряжения записи/
перезаписи 1,3-3,3 В 4 В 10 В 2,5 В
Напряжение
считывания 1,3-3,3 В 2,5 В 1,8 В 1,8 В
Время перезаписи 40 нс 20 нс
1 мкс –
10 мс
1 - 10 нс
Время хранения 10 лет 3,5 месяца 10 лет 4 – 64 мс
20

27. Ферроэлектрические материалы
Ferroelectric FET
! Ferroelectric HfO* !
Получен HfxAl1-xO2 орторомбическая фаза**
SrB2Ta2O9 Ferroelectric HfO
Падение напряжения (ε~ 300) ε~ 10-30
Трудности интеграции материала
экзотических материалов
HfO – хорошо интегрируемый
материал
Время хранения ~ 3 мес Оценка времени хранения ~
10 лет
* Johannes Mueller, Stefan Mueller et al., “Incipient Ferroelectricity in Al-Doped HfO Thin
Films”, Adv. Funct. Mater. 2012, 22, 2412–2417
**Wiemer et al. Appl. Phys. Lett. – 2003. – V.83.,N.3. – P. 5271
21

28. Новые материалы для электроники:
использование HfO как сегнетоэлектрика
"Incipient Ferroelectricity in Al-Doped HfO2 Thin Films"
Stefan Mueller, Johannes Mueller, Aarti Singh, Stefan Riedel, Jonas Sundqvist, Uwe Schroeder, Thomas Mikolajick
Adv. Funct. Mater. 2012, 22, 2412–2417
http://onlinelibrary.wiley.com/doi/10.1002/adfm.201103119/abstract
"Co-sputtering yttrium into hafnium oxide thin films to produce ferroelectric properties"
T. Olsen, U. Schroder, S. Muller, A. Krause, D. Martin, A. Singh, J. Muller, M. Geidel, T. Mikolajick
Applied Physics Letters 101, 082905 (2012)
http://apl.aip.org/resource/1/applab/v101/i8/p082905_s1
Si:HfO2
Y:HfO2
Al:HfO2
ОРТОРОМБИЧЕСКАЯ
Y:HfO2
22

29. Результат, полученный в МФТИ, 09.2013
Pt/Hf0,5Zr0,5O2/TiN
23

30. ReRAM – Резистивная память (мемристоры)
Транзистор
Транзистор с плавающим затвором –
флэш-память
Мемристор устроен просто!
Металл
Неполный
оксид
(TiOx,
HfOx,
SiOx…)
Металл
5-15 нм
Проводящий канал из вакансий
кислорода.
Под действием импульсов
«высокого» напряжения записи
±1,5-2В меняет сопротивление в
10-100 раз
24

31. Многократное переключение
ячейки резистивной памяти
Вольт-амперные характеристики структуры
TiN/HfxAl1-xOy переменный состав (6 нм)/Pt/Al.. (МФТИ)
ROFF/RON
~
30
Зависимость сопротивлений в высокоомном и
низкоомном состояниях
ROFF и RON от количества циклов при Vread = 0.1 В
31
Статистическое распределение сопротивлений ROFF
и RON при Vread = 0.1 В по 200 циклам
Резистивная память служит дольше,
чем традиционная flash-память!

32. Новые материалы для электроники:
ReRAM: oxide RAM – принципы работы
J. Joshua Yang, Dmitri B. Strukov and Duncan R. Stewart Memristive
devices for computing // NATURE NANOTECHNOLOGY, VOL 8, JANUARY
2013, p. 13-24 (doi: 10.1038/NNANO.2012.240).
27

33. ReRAM: Resistance switching random access
non-volatile memory
Формирование/Разрыв
Филамент
Металл
Оксид
Кислородные
вакансии
A. Sawa Materials Today,
2008, V.11, №6
МИМ-структуры,
проявляющие обратимое
бистабильное изменение
сопротивления, могут быть
использованы как
функциональные элементы
для резистивной
энергонезависимой памяти
(ReRAM)
Иллюстрация процесса окисления/восстановления в TiO2, который
приводит к изменению проводимости МИМ-структуры 25

34. Наблюдение резистивного переключения
в структуре Pt/ZnO/Pt с помощью ПЭМ
SWITCH-ON
RESET
Jui-Yuan Chen, Chun-Wei Huang, Cheng-Lun Hsin, Yu-Ting Huang, Wen-
Wei Wu “In-Situ TEM Observation of Resistive Switching Behaviors by in
Nonvolatile Memory”
Abstract #930, 221st ECS Meeting, © 2012 The Electrochemical Society
http://ma.ecsdl.org/content/MA2012-01/22/930.full.pdf
28

35. Подбор материала диэлектрика и
металлических слоев обеспечивает
получение мемристивных свойств
TiN
HfxAl1-­‐xOy graded
Pt
HfxAl1-­‐xOy HfxAl1-­‐x Oy Pt
24 23 22 21 20 19 18 17 16 15 14
Binding Energy (eV)
1
HfxAl1-­‐xOy
TiN
Hf4f
Pt 3
CB
Hf4f
Vacuum
level
EF
Vacuum
level
17.9
eV 17.1
eV
←Al
++ +
2
VB
HfxAl1-­‐xOy
Pt
+

36. ReRAM vs Flash vs DRAM
Параметр
ReRAM
(1T-1R)
Flash NOR
Embedded DRAM
Площадь ячейки 4-8 F2 10 F2 6 F2 – 12 F2
Количество циклов
перезаписи 1012 105 >1016
Затраты энергии на
бит 0,1 пДж 100 пДж 0,0004 пДж
Напряжения записи/
перезаписи 2 В 10 В 2,5 В
Напряжение
считывания 0,1-0,5 В 1,8 В 1,8 В
Время перезаписи 1-10 нс 1 мкс – 10 мс 1 - 10 нс
Время хранения > 10 лет 10 лет 4 – 64 мс
30

37. Новые материалы для электроники:
Интеграция МИМ с cross-bar архитектурой
31

38. Почему нас не удовлетворяют
обычные компьютеры?
• Созданный природой вычислительная
машина – МОЗГ
- высочайшая энергоэффективность,
- высокая степень параллелизма,
ассоциативность,
- высокое быстродействие при очень низких
«тактовых» частотах.
• Нейросети обеспечивают решение ряда
задач с большей эффективностью,
чем современные компьютеры
с архитектурой фон Неймана.

39. Классы решаемых задач
• Распознавание образов
• Аппроксимация функций
• Кластеризация данных
• Прогнозирование временных рядов

40. Искусственные нейросети:
настоящее и будущее
• В настоящее время математические модели нейросетей
используются для построения эффективных алгоритмов
решения таких задач, где обычные методы программирования
плохо применимы.
• ОДНАКО расчеты ведутся на «классических» компьютерах, где
один или несколько (единицы-сотни, но не миллионы-
миллиарды) процессоров.
При этом теряется важное свойство нейросетей: параллелизм.
• Перспективной является разработка интегральных микросхем,
реализующих искусственные нейросети,
для создания встраиваемых вычислительных систем
(именно здесь важна энергоэффективность, малый вес и
быстродействие в решении узкоспециализированных задач).

41. Что такое нейрон?
Биологическая
реализация
Математическая
модель

42. Простая математическая
модель нейрона
• Сумматор,
который складывает сигналы
нейронов предыдущего слоя с
различными весами
• Пороговая функция
– нелинейная функция
(например, функция
Хевисайда или арктангенс),
положение порога которой
может изменяться (смещение)
В среде Matlab работу отдельного нейрона
удобно промоделировать, вызвав
с командной строки функцию
nnd2n1 или nnd2n2

43. Нейросеть
• Обеспечивает параллелизм.
• Имеет большое число связей каждого
нейрона.
• Имеет иерархическую структуру

44. Некоторые типы искусственных
нейронных сетей
Перцептрон Сеть Ворда
(в примере два блока в скрытом
слое и обходное соединение)
Сеть Хопфилда
и много других …

45. В чем проблема реализации
искусственных нейросетей на чипе?
• Нейросеть состоит из относительно простых
элементов (нейронов), а сложность и
функционал сети достигается большим
числом связей между нейронами.
• Ключевая особенность нейросети –
возможность обучения, которая
достигается изменением весов связей.
Такая операция не может быть выполнена на этапе
производства и должна реализовываться при эксплуатации.

46. В чем проблема реализации
искусственных нейросетей на чипе?
• Требуется новый элемент, который
- занимал бы на чипе мало места,
- мог бы быть в процессе работы
перепрограммирован на разные значения
коэффициента связи.
Это будет искусственный синапс!
• Для нейронов, где входной сумматор
реализован на операционном усилителе
(или аналогичные схемы), веса связей
можно задавать резистором.

47. В чем проблема реализации
искусственных нейросетей на чипе?
НУЖЕН:
элемент, который обычно ведет себя
как резистор, но обеспечивает
возможность сравнительно простого
переключения между разными
значениями сопротивления.
М Е М Р И С Т О Р =
= искусственный синапс!

48. Применение эффекта резистивного переключения для
Мемристор = создания «электронный мемристора
синапс»
HfOx-­‐1AlOx
memristor
(МФТИ)
Наноструктуры с «мемристорным»
поведением функционально аналогичны
синапсам мозга млекопитающих

49. Spike-Timing Dependent Plasticity (STDP)
Обучение
«по
Хеббу»:
“What
fire
together
-­‐
wire
together”(в
переводе
на
русский
язык-­‐
условные
рефлексы
Павлова)
→
«синаптическая
пластичность»

50. Проверка STDP-пластичности
“potentiation” area
CIMTEC 2014
Pre-synaptic (top) electrode
“Short” pulse “Long” tail
t
V
Δ between spikes
Δtime
spikes min, positive
Mode “potentiation”
Bias
polarity Positive
Bias
amplitude max
t
V
t
V
“Short” pulse “Long” tail
Vth
Vth
Vth
Vth
top electrode
bottom electrode
Post-synaptic (bottom) electrode

51. Проверка STDP-пластичности
CIMTEC 2013
Pre-synaptic (top) electrode
“Short” pulse “Long” tail
t
V
t
V
“Short” pulse “Long” tail
Vth
Vth
Vth
Vth
Post-synaptic (bottom) electrode
t
V
Δ
spikes
“potentiation” area
top electrode
bottom electrode
Δtime
spikes ä, positive
Mode “potentiation”
Bias
polarity Positive
Bias
amplitude æ

52. Проверка STDP-пластичности
CIMTEC 2014
Δtime
spikes =, negative
Mode “depression”
Bias
polarity negative
Bias
amplitude =
t
Pre-synaptic (top) electrode
“Short” pulse “Long” tail
V
Δ
spikes
“depression” area
top electrode
bottom electrode
t
V
t
V
“Short” pulse “Long” tail
Vth
Vth
Vth
Vth
Post-synaptic (bottom) electrode

53. STDP-тест стека TiN/HfO2/TiN (АСО)
CIMTEC 2014 09.12.14
100
80
60
40
20
0
-­‐20
-­‐40
-­‐60
-­‐80
-­‐100
-­‐0.1 -­‐0.05 0 0.05 0.1
Δ resistance,
%
Δ spikes
time,
s
Potentiation
Depression STDP on biologic synapse:
• Выращенный методом АСО стек TiN/HfO2/TiN обладает
«синаптической пластичностью»

54. Ближние перспективы:
Hewlett-Packard Labs – The Machine
The Machine — это попытка
разработать
(75% персонала HP Labs)
новую компьютерную
архитектуру,
с новым типом ОЗУ на
мемристорах (100 TБ),
оптическими
межсоединениями и т.д.
Martin Fink, CTO HP, and head of HP
labs demonstrates what ‘The Machine’
will look like. Credit: HP Discover2014
10-12 June 2014

55. Дальние перспективы: нейроморфные
системы - «электронный мозг»

56. Выводы
• Нейроморфные вычисления – направление
будущего развития IT технологий.
• Мемристор – искусственный аналог синапса –
основа построения нейросетей на чипе
интегральной схемы.
• Для современной технологии мемристор –
простой функциональный элемент,
интегрируемый с традиционными
техпроцессами микроэлектроники.

57. Мемристоры в России?
+ Технологии изготовления единичных
мемристоров (десятков, сотен)
+ Работы по разработке ReRAM и
интеграции с промышленностью
?? Междисциплинарные группы по
аппаратной реализации нейростей???
Нужна
разработка демонстратора
нейроморфных вычислений на базе
лабораторных технологий
(десятки-сотни мемристоров)

58. Спасибо за внимание!