NIIクラウド担当内でおこなっているdodai勉強会第5回の資料です。 nova-schedulerがインスタンスを起動するbaremetal nodeをどのように選ぶのかについて。

1. dodai 勉強会 #5
なかがわ

2. 今回のテーマ
nova scheduler
◦ インスタンスをどのホストで起動するか決める
◦ nova-apiから起動の要求を受け取り、どこで起動するか決めて起動する
◦ ドライバに対してインスタンスの起動を指示するところまで追いかける
コード
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/bin/nova-scheduler
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/manager.py

3. AICでの設定
設定ファイル： /etc/nova/nova.conf
scheduler_driver
◦ nova.scheduler.filter_scheduler.FilterScheduler
compute_scheduler_driver
◦ nova.scheduler.filter_scheduler.FilterScheduler
scheduler_default_filters
◦ DodaiInstanceTypeFilter,DodaiResourcePoolFilter,RetryFilter,AvailabilityZoneFilter,ImagePropertiesFilter
scheduler_host_manager
◦ nova.scheduler.baremetal_host_manager.BaremetalHostManager

4. Scheduler Manager
設定ファイルに、scheduler_managerという項目があればそれが使われる
◦存在しないのでデフォルト値が使われる: nova.scheduler.manager.SchedulerManager
コード
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/bin/nova-scheduler#L53
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/service.py#L108-L110
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/service.py#L520-L522
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/service.py#L497-L536
SchedulerManager
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/manager.py

5. インスタンスの起動
まずは、nova-apiで受け付ける
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/api/openstack/compute/servers.py#L878-L898
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/compute/api.py#L929-L961
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/compute/api.py#L649-L687
バリデーション（クォータ等）、DBにインスタンスのエントリ作成
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/compute/api.py#L459-L647
◦ 新しいインスタンスUUIDのリスト、マシンタイプなどの要求スペックを用意
スケジューラのrun_instanceを呼び出す
◦ 生成したinstance uuidのリストや、スペックについての情報を渡す
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/compute/api.py#L681-L685
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/rpcapi.py#L77-
L85

6. run_instance
ドライバのschedule_run_instanceを呼び出す
例外が発生したら、VMの状態をERRORにする
https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/manager.py#L119-L144
◦ scheduler driverのschedule_run_instanceの呼び出し
◦ 使用されるのは nova.scheduler.filter_scheduler.FilterScheduler クラス
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/filter_scheduler.py#L59-L118
◦ weighed_hosts （候補となるホスト）の作成
◦ weighted_hosts をからインスタンス数分だけ順番に取り出す。不足していたらエラーとなる。

7. weighed_hosts の作成
scheduler host manager (nova.scheduler.baremetal_host_manager.BaremetalHostManager) を呼び出し
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/filter_scheduler.py#L284-L367
ホストとその状態を取ってきて
◦ get_all_host_states
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filter_scheduler.py#L331
フィルタして
◦ get_filtered_hosts
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filter_scheduler.py#L340-L341
ウエイトを求める
◦ get_weighed_hosts
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filter_scheduler.py#L348-L349

8. BaremetalHostManager
HostManagerのhost_state_clsをBaremetalNodeStateに変更している
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/baremetal_host_manager.py
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/host_manager.py#L257
HostManagerの関数が使われる
◦ get_all_host_states
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L365-L403
◦ get_filtered_hosts
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L296-L342
◦ get_weighed_hosts
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L344-L347

9. フィルタの呼び出し
フィルタを決める
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/host_manager.py#L325
◦ scheduler_default_filters の設定が使われる
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L276-L277
◦ Filter handler：各フィルタの呼び出し
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L341-L342
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filters/__init__.py#L26-L41
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/filters.py
フィルタの場所
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filters/

10. AICで使用されるフィルタ
DodaiInstanceTypeFilter
◦ baremetal db上のインスタンスタイプでフィルタする
DodaiResourcePoolFilter
◦ リソースプールユーザー(admin)とそれ以外で挙動が違う
◦ /etc/nova/nova.conf の resource_pool_usernames で指定する。判断するために、keystoneにアクセス
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filters/dodai_baremetal_filter.py#L137-L151
◦ リソースプールユーザーの場合、Task stateがNULLかINITのものを通す
◦ それ以外の場合、ACTIVEなものを通す
RetryFilter
◦ 同じノードを2回試さないようにするフィルタ
AvailabilityZoneFilter
◦ ゾーンのフィルタ
ImagePropertiesFilter
◦ 起動するイメージが、対象ホストで使えるかどうかでフィルタする

11. ウエイトを求める（ソートする）
weight classを決める
◦ AICでは設定されていないので、デフォルトが使われる
◦ デフォルト値
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/host_manager.py#L51-L54
◦ all_weighersとHostWeightHandler
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/weights/__init__.py
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/weights.py
◦ get_all_classes
◦ クラスのディレクトリと同じディレクトリ中のクラスをすべて返す
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/loadables.py#L77-L95
◦ RAMWeighter : https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/weights/ram.py
◦ ホストの状態のうち、free_ram_mbを元にweightを決める
weight classの決めたweightによってソートしてから返す
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/weights.py#L71

12. インスタンスの起動
weighed_hostsから１つずつ使用して、要求された分だけインスタンスを起動する
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/filter_scheduler.py#L90-L118
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-
v2/nova/scheduler/filter_scheduler.py#L156-L190
◦ nova-computeのrun_instanceをRPC経由で呼び出し
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/filter_scheduler.py#L184-L190
◦ https://github.com/dodai-compute-v2/nova/blob/dodai-compute-v2/nova/scheduler/driver.py#L125