как устроена сборка мусора (GC) в mri ruby

2. Аудитория

3. Руби освобождает
страницы

4. gc_sweep_finish(rb_objspace_t *objspace)

5. heap_pages_free_unused_pages(rb_objspace_t *objspace)

6. heap_page_free(rb_objspace_t *objspace, struct heap_page *page)
{
free(page);
}

7. О чем поговорим
• как работает GC
• как устроен GC
• планы ruby team

8. gc.c
9381 lines and counting

9. На первый взгляд

10. Через пару дней

11. Чем занимается
• создает объекты
• выделяет память под них
• освобождает
• собирает статистику
• проверяет консистентность объектов
• …
• собирает мусор

12. Структура

14. RVALUE
GC::INTERNAL_CONSTANTS[:RVALUE_SIZE]
# => 40
* sizeof(RVALUE) is
* 20 if 32-bit, double is 4-byte aligned
* 24 if 32-bit, double is 8-byte aligned
* 40 if 64-bit

15. heap_page
GC::INTERNAL_CONSTANTS[:HEAP_OBJ_LIMIT]
# => 408
HEAP_PAGE_OBJ_LIMIT =
((HEAP_PAGE_SIZE - sizeof(struct heap_page_header)) /
sizeof(struct RVALUE))

16. RVALUE
typedef struct RVALUE {
union {
struct {
VALUE flags; /* always 0 for freed obj */
struct RVALUE *next;
} free;
struct RBasic basic;
struct RObject object;
struct RClass klass;
struct RString string;
...
struct RComplex complex;
...
} as;
} RVALUE;

17. RString
struct RString {
struct RBasic basic;
union {
struct {
long len;
char *ptr;
union {
long capa;
VALUE shared;
} aux;
} heap;
char ary[RSTRING_EMBED_LEN_MAX + 1];
} as;
};

18. Развитие
• early - Mark & Sweep
• 1.9.3 - Lazy Sweep
• 2.0 - CoW friendly
• 2.1 - Mark major / minor
• 2.2 - Inc major Mark, symbols

19. Mark & Sweep

20. Mark & Sweep

21. Mark & Sweep
ObjectSpace.reachable_objects_from_root.keys
[
[0] "vm",
[1] "machine_context",
[2] "global_list",
[3] "end_proc",
[4] "global_tbl"
]

22. Mark & Sweep

23. Mark & Sweep

24. Mark & Sweep
> a = 'a' * 1024 * 1024 * 500
> a = nil; 4.times { GC.start }

25. Mark & Sweep

26. Mark
gc_mark_roots(rb_objspace_t *objspace, const char **categoryp) {
rb_thread_t *th = GET_THREAD();
rb_vm_mark(th->vm);
mark_tbl(objspace, finalizer_table);
mark_current_machine_context(objspace, th);
rb_gc_mark_encodings();
/* mark protected global variables */
rb_gc_mark_maybe(*list->varptr);
rb_mark_end_proc();
rb_gc_mark_global_tbl();
}

27. Sweep
gc_sweep(rb_objspace_t *objspace)
{
if (immediate_sweep) {
gc_sweep_start(objspace);
gc_sweep_rest(objspace);
}
else {
}
gc_heap_prepare_minimum_pages(objspace, heap_eden);
}

29. Sweep
gc_sweep_step(rb_objspace_t *objspace, rb_heap_t *heap)
{
while (sweep_page) {
heap->sweep_pages = next = sweep_page->next;
gc_page_sweep(objspace, heap, sweep_page);
heap_unlink_page(objspace, heap, sweep_page);
heap_add_page(objspace, heap_tomb, sweep_page);
sweep_page = next;
}
if (heap->sweep_pages == NULL) {
gc_sweep_finish(objspace);
}
return heap->free_pages != NULL;
}

32. Lazy Sweep

33. Lazy Sweep
gc_sweep_continue(rb_objspace_t *objspace, rb_heap_t *heap)

34. Copy on Write
(CoW)

36. heap_page
struct heap_page {
struct heap_page *prev;
short total_slots;
short free_slots;
short final_slots;
struct heap_page *free_next;
struct heap_page *next;
/* the following three bitmaps are cleared at the beginning of full GC */
bits_t mark_bits[HEAP_PAGE_BITMAP_LIMIT];
};

37. RGenGC

38. Major

39. Minor

40. Minor

41. Minor

42. 4.times { GC.start }

43. if (objspace->last_major_gc > 3 /* magic number */) {
gc_report(1, objspace, "gc_marks_finish: next is full GC!!)n");
objspace->rgengc.need_major_gc |= GPR_FLAG_MAJOR_BY_NOFREE;
}
Major через каждые 3 Minor цикла

44. RIncGC
только для Major Mark

45. RIncGC Major Mark

46. RIncGC Major Mark
objspace->rincgc.step_slots =
(objspace->marked_slots * 2) /
((objspace->rincgc.pooled_slots / HEAP_PAGE_OBJ_LIMIT) + 1);

47. RIncGC Major Mark

48. RIncGC Major Mark
heap_prepare(rb_objspace_t *objspace, rb_heap_t *heap)

49. RGenGC
RIncGC

50. Restricted

51. Много слайдов про
remember set

52. Много слайдов про
write unprotected objects

53. Немного слайдов про
write protected objects

54. Можно найти
• http://www.atdot.net/~ko1/activities/
2015_rubyconfph_pub.pdf
• http://www.atdot.net/fp_store/f.p61can/file.data-
incremental-gc.pdf

55. Дополнительно
• http://tmm1.net/ruby21-rgengc/
• https://ruby-hacking-guide.github.io/gc.html
• Ruby Under a Microscope - Pat Shaughnessy
• http://engineering.heroku.com/blogs/2015-02-04-
incremental-gc

56. Дальнейшее развитие
GC

58. ссылочка
https://esa-pages.io/p/sharing/2933/posts/
5/2075ee3ce5a11a81cd00.html

60. Оптимизация Sweep

61. Спасибо
achempion