Доклад рассматривает тонкости nodejs, а так же преимущества Evented I/O для серверных приложений. Будет предоставлен ряд рекоммендаций по правильному построению архитектуры, модульности, масштабированию, дизайну кода. Краткое введение в технологию программирования "волокнами" (fibers) и ряд других эффективных практик.

1. NodeJS Эффективное программирование Юра Богданов технический директор и соучредитель Eventr

10. Blocking I/O callback I/O I/O CPU CPU занято свободно Event Loop монолит А что если во время ожидания I/O заниматься друмиги полезными делами?

11. I/O Event loop Примерно так выглядит более реальный запрос: CPU+I/O

12. I/O CPU callback I/O CPU Event loop Примерно так выглядит более реальный запрос:

13. Event loop Примерно так выглядит более реальный запрос: I/O CPU Свободно для других задач callback I/O CPU

14. Event Loop mysql.query(‘SELECT count(*) FROM users’, function(err, count) { console.log(‘There are %d users in db’, count); }) console.log(‘Hello, ’); Отправка запроса в БД

15. Event Loop mysql.query(‘SELECT count(*) FROM users’, function(err, count) { console.log(‘There are %d users in db’, count); }) console.log(‘Hello, ’); Hello , Ожидание ответа БД...

16. Event Loop mysql.query(‘SELECT count(*) FROM users’, function(err, count) { console.log(‘There are %d users in db’, count); }) console.log(‘Hello, ’); Hello, There are 10231512 users in db Пришел ответ из БД

19. Первый запрос Blocking I/O, 1 процесс

20. Второй запрос, после 10 ms ожидает выполнения первого Blocking I/O, 1 процесс

21. Третий запрос, после 50 ms ожидает выполнения первого и второго Blocking I/O, 1 процесс

22. Blocking I/O, 1 процесс Event loop, 1 процесс

23. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 0 ms Пришел первый запрос, Запрашиваем I/O, освобождаемся , Ждем других запросов

24. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 10 ms Пришел второй запрос, Запрашиваем I/O, освобождаемся , Ждем других запросов

25. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 50 ms Пришел третий запрос, Запрашиваем I/O, освобождаемся , Ждем других запросов

26. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 70 ms Пришел ответ на I/O первого запроса , запускаем callback 1

27. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 80 ms Пришел ответ на I/O второго запроса, callback 2 ожидает своей очереди

28. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 1 0 0 ms с allback 1 завершился, запускаем callback 2

29. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 12 0 ms Пришел ответ на I/O третьего запроса, callback 3 ожидает своей очереди

30. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 130 ms с allback 2 завершился, запускаем callback 3

31. Blocking I/O, 1 процесс Event loop, 1 процесс Время: 160 ms callback 3 завершился Ждем других запросов

32. Время CPU vs I/O RIA трэнд

57. Callback-driven парадигма function asyncFunction ( arg1, arg2, argN, callback ) { } Неблокирующая функция принимает callback последним аргументом

58. Callback-driven парадигма function asyncFunction ( arg1, arg2, argN, callback ) { } function callback ( err , result1, result2, resultN) { } Неблокирующая функция принимает callback последним аргументом Callback принимает ошибку первым аргументом, остальные – результат

59. Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; }

60. Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; } f unction asyncS um(a, b, callback ) { if (a > b) { return callback(new Error('a cannot be greater than b')); } callback(null, a + b); } + + +

61. Callback-driven парадигма function sum(a, b) { if (a > b) { throw new Error('a cannot be greater than b'); } return a + b; } f unction asyncS um(a, b, callback ) { if (a > b) { return callback(new Error('a cannot be greater than b')); } callback(null, a + b); } + + +

62. Callback-driven парадигма try { var result = sum(2, 3); console.log('result = %d', result); } catch (err) { console.error(err); }

63. Callback-driven парадигма try { var result = sum(2, 3); console.log('result = %d', result); } catch (err) { console.error(err); } asyncS um(2, 3, function(err, result){ if (err) return console.error(err); console.log('result = %d', result); }) + + +

64. Callback-driven парадигма function getUser(id, callback) { }

65. Callback-driven парадигма function getUser(id, callback) { } getUser(1234, function(err, user) { if (err) return console.error(err); console.log(‘user: ’, user); })

66. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); }) } + + +

67. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); dbConnect(config.host, function(err, db){ if (err) return callback(err); }) }) } + + +

68. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); dbConnect(config.host, function(err, db){ if (err) return callback(err); db.getUser(id, function(err, user){ if (err) return callback(err); callback(null, user); }) }) }) } + + + +

69. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); db.getUser(id, function(err, user){ … }) } + + + + + + +

70. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … + +

71. Callback-driven парадигма Error: User not found at afterDbConnect (/path/to/script.js:24:14) at /path/to/script.js:20:9 at dbConnect (/path/to/script.js:7:5) at afterReadConfig (/path/to/script.js:18:5) at /path/to/script.js:13:9 at readConfig (/path/to/script.js:3:5) at getUser (/path/to/script.js:11:5) at Object.<anonymous> (/path/to/script.js:28:1) at Module._compile (module.js:404:26) at Object..js (module.js:410:10)

72. Callback-driven парадигма Error: User not found at afterDbConnect (/path/to/script.js:24:14) at /path/to/script.js:20:9 at dbConnect (/path/to/script.js:7:5) at afterReadConfig (/path/to/script.js:18:5) at /path/to/script.js:13:9 at readConfig (/path/to/script.js:3:5) at getUser (/path/to/script.js:11:5) at Object.<anonymous> (/path/to/script.js:28:1) at Module._compile (module.js:404:26) at Object..js (module.js:410:10)

73. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … Синтаксический шум – плата за Evented I/O

74. Callback-driven парадигма function getUser(id, callback) { readConfig(‘config.json’, function(err, config){ if (err) return callback(err); afterReadConfig(id, config, callback); }) } function afterReadConfig(id, config, callback) { dbConnect(config.host, function(err, db){ if (err) return callback(err); afterDbConnect(id, db, callback); }) } function afterDbConnect(id, db, callback) … Синтаксический шум – плата за Evented I/O PROFIT PROFIT

76. var Sync = require(‘sync’); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } Запускаем новое «волокно» ( Fiber) node-sync

77. var Sync = require(‘sync’); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } «Волокно» вернет значение или ошибку в callback node-sync

78. var Sync = require(‘sync’); function getUser(id, callback) { Sync(function(){ var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }, callback) } Функция readConfig вызывается синхронно и возвращает значение node-sync

79. var Sync = require(‘sync’); function getUser(id) { var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }.async() То же самое, только проще (коллбэка нет) node-sync

80. var Sync = require(‘sync’); function getUser(id) { var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.sync(db, id); return user; }.async() node-sync getUser(1234, function(err, user) { if (err) return console.error(err); console.log(‘user: ’, user); })

81. var Sync = require(‘sync’); function getUser(id) { var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); throw new Error(‘something went wrong’); return user; }.async() node-sync getUser(1234, function(err, user) { if (err) return console.error(err); console.log(‘user: ’, user); })

82. var Sync = require(‘sync’); function getUser(id) { var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.future(db, id); var friends = db.getUserFriends.future(db, id); return { user : user.result, friends : friends.result }; }.async() node-sync getUser и getUserFriends выполняются параллельно

83. var Sync = require(‘sync’); function getUser(id) { var config = readConfig.sync(null, ‘config.json’); var db = dbConnect.sync(null, config.host); var user = db.getUser.future(db, id); db.getUserFriends(id, friends = new Sync.Future()); return { user : user.result, friends : friends.result }; }.async() node-sync другой способ получения «тикета» future

84. Callback-driven парадигма $pages = $db->fetchRows(‘SELECT * FROM pages’); foreach ($pages as $page) { $contents = fetchUrl($page->url); }

85. Callback-driven парадигма $pages = $db->fetchRows(‘SELECT * FROM pages’); foreach ($pages as $page) { $contents = fetchUrl($page->url); } OK

86. Callback-driven парадигма $pages = $db->fetchRows(‘SELECT * FROM pages’); foreach ($pages as $page) { $contents = fetchUrl($page->url); } db.fetchRows(‘SELECT * FROM pages’, function(err, pages){ pages.forEach(function(page){ fetchUrl(page.url, function(err, contents) { }) }) }); OK

87. Callback-driven парадигма $pages = $db->fetchRows(‘SELECT * FROM pages’); foreach ($pages as $page) { $contents = fetchUrl($page->url); } db.fetchRows(‘SELECT * FROM pages’, function(err, pages){ pages.forEach(function(page){ fetchUrl(page.url, function(err, contents) { }) }) }); x 100,000 OK

88. Callback-driven парадигма db.fetchRows(‘SELECT * FROM pages’, function(err, pages){ var narrow = new Narrow(10, function(page, callback){ fetchUrl(page.url, function(err, contents) { }) }) narrow.pushAll(pages); }); + + + https://github.com/ 0 ctave/node-narrow

89. Callback-driven парадигма db.fetchRows(‘SELECT * FROM pages’, function(err, pages){ var narrow = new Narrow(10, function(page, callback){ fetchUrl(page.url, function(err, contents) { }) }) narrow.pushAll(pages); }); x10 - OK + + + x 100,000 - OK https://github.com/ 0 ctave/node-narrow

91. Масштабирование Nodejs – is just node (c) Ryan Dahl

92. Масштабирование Nodejs – is just node (c) Ryan Dahl 1 ядро CPU = 1 nodejs процесс

100. NodeJS + Много I/O Много Запросов + Event Loop = PROFIT

101. Юра Богданов https://github.com/ 0 ctave Github: http://twitter.com/ yuriybogdanov Twitter: http://about.me/ bogdanov About.me: [email_address] Email: http://linkedin.com/ in/yuriybogdanov LinkedIn: Спасибо за внимание .