The report tells about one of the largest open-source projects written in the python language - OpenStack, what it consists of, how development is carried out. I also tell you how to become a member of the community and start contributing to the project. The report is very useful for novice developers who are just starting their steps in the world of OpenStack. Abstract: https://conf.python.ru/2019/abstracts/4607 Video: https://www.youtube.com/watch?v=coD5f4ALGug

1. OpenStack - Python-проект в 12 миллионов
строк. История проекта, комьюнити,
библиотеки и интересные решения
Пономарев Вадим

2. 2
Кто я?

3. 3
Что такое Openstack

4. ● совместная разработка Rackspace и NASA
● первый релиз 21 октября 2010
● написан на Python
● лицензия Apache License 2.0
● в настоящее время управляется Openstack Foundation
История
4

5. Миссия
5
"to produce the ubiquitous Open Source Cloud Computing platform that will meet
the needs of public and private clouds regardless of size, by being simple to
implement and massively scalable"

6. Архитектура
6

7. Микросервисы
7

8. https://www.openstack.org/project-mascots/
Маскоты
8

9. https://www.openstack.org/software/
Что делает OpenStack
9

10. ● China Mobile
● eBay
● CERN
● Volkswagen AG
● AT&T
● VEXXHOST
● Adobe
● American Airlines
● Walmart
● Nike
● Oath/Yahoo!
● ...
https://www.openstack.org/user-stories
Кто использует?
10

11. ● > 12 млн. строк кода
● > 1 млн. коммитов
● > 15 000 контрибьюторов
● > 1500 проектов в целом
● 975 проектов Python
Размер в цифрах
11

12. Вклад комьюнити – Stackalytics
12 https://www.stackalytics.com/
Red Hat Other companies
VMware
Independent
developers
AT&T
Huawei
Canonical
Rackspace
SUSE
IBM

13. Вклад комьюнити – Stackalytics
13 https://www.stackalytics.com/

14. Разработка
14 https://docs.openstack.org/infra/manual/developers.html

15. Релизы
https://docs.openstack.org/project-team-guide/stable-branches.html#maintenance-phases
15

16. Управление версиями на примере релиза "Rocky"
https://docs.openstack.org/project-team-guide/stable-branches.html#maintenance-phases
https://github.com/openstack/requirements/blob/stable/rocky/upper-constraints.txt
https://specs.openstack.org/openstack/openstack-specs/specs/requirements-management.html
16

17. Ревью кода
https://docs.openstack.org/infra/manual/core.html
17

18. Devstack – маленький OpenStack для разработчиков
https://docs.openstack.org/devstack/latest/
$ sudo useradd -s /bin/bash -d /opt/stack -m stack
$ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack
$ sudo su - stack
$ git clone https://git.openstack.org/openstack-dev/devstack
$ cd devstack
$ vim local.conf
[[local|localrc]]
ADMIN_PASSWORD=secret
DATABASE_PASSWORD=$ADMIN_PASSWORD
RABBIT_PASSWORD=$ADMIN_PASSWORD
SERVICE_PASSWORD=$ADMIN_PASSWORD
$ ./stack.sh
18

19. Библиотеки OpenStack – Oslo
https://wiki.openstack.org/wiki/Oslo#Libraries
19
Mission Statement:
To produce a set of python libraries containing code shared by OpenStack projects. The
APIs provided by these libraries should be high quality, stable, consistent, documented and
generally applicable.

20. Oslo.concurrency
https://docs.openstack.org/oslo.concurrency/latest/user/index.html
● Утилиты для синхронизации
● WatchDog для контроля внешних вызовов
● Синхронизация cross-service по namespace
20

21. Oslo.concurrency
https://docs.openstack.org/oslo.concurrency/latest/user/index.html
from oslo_concurrency import lockutils
from oslo_concurrency import watchdog
@lockutils.synchronized('not_thread_safe')
def not_thread_safe():
pass
with watchdog.watch(LOG, "subprocess call", logging.ERROR):
subprocess.call("sleep 10", shell=True)
print("done")
21

22. Oslo.log
● Свои formatter
● Свои handlers
● Логирует context
● Поддерживает oslo_config
https://docs.openstack.org/oslo.log/latest/
22

23. Oslo.log
[handler_stdout]
class = oslo_log.handlers.ColorHandler
args = (sys.stdout,)
formatter = context
[formatter_context]
class =
oslo_log.formatters.ContextFormatter
https://docs.openstack.org/oslo.log/latest/
23

24. Oslo.log
from oslo_context import context
from oslo_log import log as logging
LOG = logging.getLogger(__name__)
context.RequestContext(
user='6ce90b4d',
tenant='d6134462',
domain='a6b9360e')
LOG.debug("Oslo Logging")
LOG.info("Oslo Logging")
LOG.warning("Oslo Logging")
LOG.error("Oslo Logging")
LOG.critical("Oslo Logging")
https://docs.openstack.org/oslo.log/latest/
24

25. Oslo.log
2019-01-15 14:59:07,787.787 324 DEBUG __main__ [req-e356c9f4-cf3a-4739-a78d-5cae23aceb01
6ce90b4d d6134462 a6b9360e - -] Oslo Logging <module> ./check_oslo_log.py:24
2019-01-15 14:59:07,788.788 324 INFO __main__ [req-e356c9f4-cf3a-4739-a78d-5cae23aceb01 6ce90b4d
d6134462 a6b9360e - -] Oslo Logging
2019-01-15 14:59:07,789.789 324 WARNING __main__ [req-e356c9f4-cf3a-4739-a78d-5cae23aceb01
6ce90b4d d6134462 a6b9360e - -] Oslo Logging
2019-01-15 14:59:07,790.790 324 ERROR __main__ [req-e356c9f4-cf3a-4739-a78d-5cae23aceb01
6ce90b4d d6134462 a6b9360e - -] Oslo Logging
2019-01-15 14:59:07,790.790 324 CRITICAL __main__ [req-e356c9f4-cf3a-4739-a78d-5cae23aceb01
6ce90b4d d6134462 a6b9360e - -] Oslo Logging
https://docs.openstack.org/oslo.log/latest/
25

26. Oslo.messaging
● RabbitDriver
● ProtonDriver
● KafkaDriver
class TestClient(object):
def __init__(self, transport):
target = oslo_messaging.Target(
topic='test-topic', version='2.0')
self._client = oslo_messaging.RPCClient(
transport, target)
def do_something(self, ctxt, arg):
return self._client.call(
ctxt, 'do_something', arg=arg)
https://docs.openstack.org/oslo.messaging/latest/
26

27. Oslo.messaging
class TestEndpoint(object):
def do_something(self, ctx, arg):
return arg
transport = oslo_messaging.get_rpc_transport(cfg.CONF)
target = oslo_messaging.Target(
topic='test-topic', server='server1', version='2.0')
endpoints = [TestEndpoint()]
server = oslo_messaging.get_rpc_server(
transport, target, endpoints, executor='eventlet')
https://docs.openstack.org/oslo.messaging/latest/
27

28. Oslo.policy
from oslo_policy import policy
from oslo_config import cfg
enforcer = policy.Enforcer(
cfg.CONF, policy_file="policy.json")
base_rules = [
policy.RuleDefault('admin_required',
'role:admin'),
policy.RuleDefault('service_role',
'role:service'),
]
enforcer.register_defaults(base_rules)
https://docs.openstack.org/oslo.policy/latest/
● учитывает context
● учитывает тело запроса
● учитывает тело ответа
● policy хранятся в файле
● поддерживается reload
файла с policy
28

29. Oslo.policy
# Add policy
enforcer.register_default(
policy.DocumentedRuleDefault(
name='service:create_foo',
check_str='role:admin',
scope_types=['project'],
operations=[
{
'path': '/v1/foo/',
'method': 'POST'
}
]
)
)
https://docs.openstack.org/oslo.policy/latest/
29

30. Oslo.service и Cotyledon
https://docs.openstack.org/oslo.service/latest/
https://github.com/sileht/cotyledon
● Запуск нескольких процессов/потоков
● Обработчики сигналов
● API для child- и parent-процессов
● Запуск периодических задач
30

31. Oslo.service и Cotyledon
from oslo.service import service
class MyService(service.Service):
def __init__(self, conf):
self.master_pid = os.getpid()
self.queue = multiprocessing.Queue()
def start(self):
pass
def stop(self):
pass
def restart(self):
pass
https://docs.openstack.org/oslo.service/latest/
https://github.com/sileht/cotyledon
31

32. Oslo.service и Cotyledon
https://docs.openstack.org/oslo.service/latest/
https://github.com/sileht/cotyledon
service = MyService(conf)
launcher = service.launch(
conf, service, workers=2,
restart_method='reload')
launcher.launch_service(
MyOtherService(),
worker=conf.other_workers)
launcher.wait()
32

33. Oslo.report (Guru Meditation report)
https://docs.openstack.org/oslo.reports/latest/user/usage.html
from oslo_reports import guru_meditation_report as gmr
gmr.TextGuruMeditation.setup_autorun(version='13.0.0')
# kill -SIGUSR2 <process_id>
● показывает текущую конфигурацию (oslo_config)
● показывает threads и текущую точку выполнения
● показывает green threads (eventlet) и текущую точку выполнения
● Показывает процессы и их статусы
33

34. OsProfiler
https://docs.openstack.org/osprofiler/latest/user/api.html
● кросс-сервисное профилирование
● минимальное изменение исходного кода
● возможность полностью выключить
● возможность включить в продакшне без
потери производительности
34

35. OsProfiler
https://docs.openstack.org/osprofiler/latest/user/api.html
from osprofiler import profiler
def some_func():
profiler.start("point_name", {"any_key": "with_any_value"})
# your code
profiler.stop({"any_info_about_point": "in_this_dict"})
# OR
@profiler.trace("point_name",
info={"any_info_about_point": "in_this_dict"},
hide_args=False)
def some_func2(*args, **kwargs):
pass
35

36. OsProfiler
https://docs.openstack.org/osprofiler/latest/user/api.html
$ openstack --os-profile SECRET_KEY baremetal node list
Trace ID: c900bc0-8355-4602-9128-26bba5c5774f
$ osprofiler trace show --html c900bc0-8355-4602-9128-
26bba5c5774f --out trace.html
36

37. OsProfiler
https://docs.openstack.org/osprofiler/latest/user/api.html
37

38. OsProfiler
https://docs.openstack.org/osprofiler/latest/user/api.html
38

39. Аналоги OsProfiler
● Zipkin (http://zipkin.io/)
● Dapper (https://ai.google/research/pubs/pub36356)
● Jaeger (https://www.jaegertracing.io/)
● OpenTracing (https://opentracing.io/)
39

40. Stevedore
https://docs.openstack.org/stevedore/latest/user/patterns_loading.html
Driver
Hook
Extensions
40

41. Stevedore – API драйвера
https://docs.openstack.org/stevedore/latest/user/tutorial/loading.html
# my_app/drivers/base_api.py
import abc
import six
@six.add_metaclass(abc.ABCMeta)
class DriverBase(object):
@abc.abstractmethod
def format(self, data):
pass
41

42. Stevedore – Код драйвера и алиас
https://docs.openstack.org/stevedore/latest/user/tutorial/loading.html
from my_app.drivers import base_api
class TestDriver(base_api.DriverBase):
def format(self, data):
pass
setup(
entry_points={'my_app.drivers': [
'test_driver = my_app.drivers.test_driver:TestDriver']}
Drive
r
setup.py
42

43. Stevedore – Использование драйвера
https://docs.openstack.org/stevedore/latest/user/tutorial/loading.html
# use_driver.py
from stevedore import driver
mgr = driver.DriverManager(
namespace='my_app.drivers',
name='test_driver',
invoke_on_load=True,
)
print(mgr.driver.format({}))
43
# my_app.egg-info/entry_points.txt
[my_app.drivers]
test_driver = my_app.drivers.test_driver:TestDriver

44. Taskflow – Flow-Based programming
44
● описывает декларативные процессы
● ведет контроль состояния
выполнения (контрольные точки)
● переносит данные между
несколькими workflow / task
● горизонтально масштабируется
● поддерживает удаленное
выполнение
● поддерживает версионирование flow
и task
https://docs.openstack.org/taskflow/latest/user/index.html

45. Taskflow – Flow-Based programming
45 https://docs.openstack.org/taskflow/latest/user/index.html

46. Taskflow – Flow-Based programming
46 https://docs.openstack.org/taskflow/latest/user/index.html

47. Q&A
47
● velizarx@gmail.com
● https://t.me/velizarx
● https://www.linkedin.com/in/vadim-ponomarev-53671538/