Deep Dive into the Linux Kernel - メモリ管理におけるCompaction機能について 2021年3月20日 NTTデータ　技術確信統括本部 システム技術本部 デジタル技術部 インテグレーション技術担当 齊加 匠

1. 2021/3/20
NTTデータ 技術統括本部 システム技術本部
デジタル技術部 インテグレーション技術担当
齊加匠
Deep Dive into the Linux Kernel
- メモリ管理におけるCompaction機能について

2. © 2021 NTT DATA Corporation 2
テーマ方針
compaction について調査
具体的には Linux Kernel のコードを読み解き，
実際にどのような処理を行っているか、工夫点などを調査、検証
使用した Linux Kernel のバージョンは 5.8.2

3. © 2021 NTT DATA Corporation 3
そもそも compaction とは
Fragmentationを緩和するための手法
Fragmentation
メモリに対して allocation と deallocation を繰り返すと，
メモリが「虫食い」状態になり、使用可能な連続した領域が
少なくなってしまう現象

4. © 2021 NTT DATA Corporation 4
仕組みの概要
LWN.net（左記）によると
引用：https://lwn.net/Articles/368869/
 以下の２つの探索を走らせる
1. 低位から高位へとmovable pagesを探索する処理
2. 高位から低位へとfree pagesを探索する処理
 2つの探索がぶつかると、探索をやめて、
movable pagesをfree pagesへ移動させる
以上の処理によって、fragmentationが解消される
※ここでいう”page”とは，physical pageのことであり，物理メモリを分割する単位の一つである

5. © 2021 NTT DATA Corporation 5
処理の工夫点
 memory isolation を行うことによって，
candidate のリストを作り，それを操作するよ
うにしている
 compaction処理中にページリストの主要な
ロックをつかみ続ける必要がなくなるため，性
能を向上させることができる
static unsigned long isolate_freepages_block(struct compact_control *cc,
unsigned long *start_pfn,
unsigned long end_pfn,
struct list_head *freelist,
unsigned int stride,
bool strict)
{
//略
for (; blockpfn < end_pfn; blockpfn += stride, cursor += stride) {
int isolated;
struct page *page = cursor;
//略
order = page_order(page);
isolated = __isolate_free_page(page, order);
if (!isolated)
break;
set_page_private(page, order);
total_isolated += isolated;
cc->nr_freepages += isolated;
list_add_tail(&page->lru, freelist);
//略
}
//略
}
mm/compaction.c

6. © 2021 NTT DATA Corporation 6
呼び出し関係
 compaction の処理はpage_alloc.c（pageの割り当てを行っている）から呼び出されている

7. © 2021 NTT DATA Corporation 7
movable pageを探す処理
static isolate_migrate_t isolate_migratepages(struct co
mpact_control *cc)
{
//略
for (; block_end_pfn <= cc->free_pfn;
fast_find_block = false,
low_pfn = block_end_pfn,
block_start_pfn = block_end_pfn,
block_end_pfn += pageblock_nr_pages) {
//略
low_pfn = isolate_migratepages_block(cc, low_pf
n,
block_end_pfn, isolate_mode);
//略
break;
}
//略
return cc-
>nr_migratepages ? ISOLATE_SUCCESS : ISOLATE_NONE;
}
mm/compaction.c
低位から高位へと movable pages を探索している
実際に実行する処理は
isolate_migratepages_block に実装されている

8. © 2021 NTT DATA Corporation 8
free pageを探す処理
static void isolate_freepages(struct compact_control *cc
)
{
//略
for (; block_start_pfn >= low_pfn;
block_end_pfn = block_start_pfn,
block_start_pfn -= pageblock_nr_pages,
isolate_start_pfn = block_start_pfn) {
unsigned long nr_isolated;
//略
nr_isolated = isolate_freepages_block(cc
, &isolate_start_pfn,
block_end_pfn, freelist, stride, fal
se);
//略
}
//略
}
mm/compaction.c
高位から低位へと free pages を探索している
実際に実行する処理は
isolate_freepages_block に実装されている

9. © 2021 NTT DATA Corporation 9
zoneをcompactする処理
static enum compact_result
compact_zone(struct compact_control *cc, struct capture_cont
rol *capc)
{
//略
while ((ret = compact_finished(cc)) == COMPACT_CONTINUE)
{
//略
switch (isolate_migratepages(cc)) {
//略
case ISOLATE_SUCCESS:
update_cached = false;
last_migrated_pfn = start_pfn;
;
}
err = migrate_pages(&cc-
>migratepages, compaction_alloc,
compaction_free, (unsigned long)cc, cc->mode,
MR_COMPACTION);
//略
}
//略
}
mm/compaction.c compact_finishedはcompact_scanners_met
を呼び出している．
（つまり，free pages scanner が movable
pages scanner より低位に行った場合，
止まるよう実装されている．）
isolate_migratepages が呼び出されている．
compaction_allocはisolate_feepagesを
呼び出している

10. © 2021 NTT DATA Corporation 10
pageをmigrateする処理
int migrate_pages(struct list_head *from, new_page_t get_new_page,
free_page_t put_new_page, unsigned long private,
enum migrate_mode mode, int reason)
{
//略
for(pass = 0; pass < 10 && retry; pass++) {
retry = 0;
list_for_each_entry_safe(page, page2, from, lru) {
retry:
//略
rc = unmap_and_move(get_new_page, put_new_page,
private, page, pass > 2, mode,
reason);
switch(rc) {
//略
case MIGRATEPAGE_SUCCESS:
nr_succeeded++;
break;
//略
default:
//略
nr_failed++;
break;
}
}
}
nr_failed += retry;
rc = nr_failed;
//略
return rc;
}
mm/migrate.c
10 回試す or movable pages がない
場合に return する
free pages に migrate している
（unmap_and_move)

11. © 2021 NTT DATA Corporation 11
まとめ
 compactionとはデフラグの手法である
 compactionの機能が実際にどう動作しているのか，カーネルのソース
コードレベルで把握することが出来た．（compactionの基本の原理自
体は既知だったが，実際にどのように動作しているのか解説した資料はな
かった）
 実装の工夫点としてはmemory isolatationを行うことで性能向上を
図っていることなどが分かった

12. © 2021 NTT DATA Corporation
本資料に記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商標です。

13. © 2021 NTT DATA Corporation 13
学んだこと（kernel の読み方）
1. まずはざっくりとコメントを読んで当たりをつける
→コードの量が多いので，主処理がどこかを探して，それ以外を読み飛ばしていくことが肝要
2. メソッド名，変数名に着目して，処理内容を推測する
→気になった箇所については、その先を詳しく追う
3. コメントとソースコードの対応関係を見る
→if 文、ループ、break、goto 文などの処理に着目

14. © 2021 NTT DATA Corporation 14
学んだこと（kernel の読み方）具体例
/*
* Migrate an array of page address onto an ar
ray of nodes and fill
* the corresponding array of status.
*/
static int do_pages_move(struct mm_struct *mm,
nodemask_t task_nodes,
unsigned long nr_pages,
const void __user * __user *pages,
const int __user *nodes,
int __user *status, int flags)
{
//略
for (i = start = 0; i < nr_pages; i++) {
const void __user *p;
unsigned long addr;
int node;
//略
/*
* If the page is already on the targe
t node (!err), store the
* node, otherwise, store the err.
*/
err = store_status(status, i, err ? :
current_node, 1);
if (err)
goto out_flush;
err = move_pages_and_store_status(mm,
current_node, &pagelist,
status, start, i, nr_pages);
if (err)
goto out;
current_node = NUMA_NO_NODE;
}
out_flush:
/* Make sure we do not overwrite the exist
ing error */
err1 = move_pages_and_store_status(mm, cur
rent_node, &pagelist,
status, start, i, nr_pages);
if (err >= 0)
err = err1;
out:
return err;
}
mm/migrate.c