Презентация к докладу "Куда уходит память?" на JEEConf Kiev 2012. О размере объектов в java на разных архитектурах, о потреблении памяти типичными java приложениями. Пока нету видео доклада можно почитать мою статью на хабре на эту тему http://habrahabr.ru/post/134102/

1. Куда уходит память?

2. Дмитрий Думанский
Cogniance, Velti project
Java Developer

3. Тенденции за последние 8 лет

Средний heap вырос с 0,5ГБ до 5ГБ

Вырос уровень абстракции

Миграция с 32-х разрядных
архитектур на 64-х разрядные

Количество ядер увеличилось в 8 раз

4. Следствия

5. Памяти много не бывает
Количество
пользователей
85 000 000
Граф связей
30 ГБ

6. Как улучшить?

Размер занимаемой памяти

Количество и скорость создания объектов

Сборщик мусора

7. Размер памяти
OutOfMemoryError

Слишком много данных

Данные слишком большие

Утечка памяти

8. Структура памяти
Память процесса
-Xmx XX:PermSize -Xss
Young Old Perm Stack Misc
-Xmn
Проблема

9. 4 основных структурных
элемента языка Java

Примитивы

Массивы

Объекты

Ссылки

10. Из чего состоит объект?
Header
Primitives
sizeOf
References
Padding/offset

11. Структура заголовка

Mark word

Garbage Collection Information

Type Information Block Pointer

Lock

Array Length

12. Размер заголовка объекта
Размер заголовка — 2 машинных слова.
8 байт для 32-битной JVM
16 байт для 64-битной JVM

13. Отличие архитектур
32-bit, bytes 64-bit, bytes
new Object() - ? new Object() - ?
new int[0] - ? new int[0] - ?
reference size - ? reference size - ?

14. Отличие архитектур
32-bit, bytes 64-bit, bytes
new Object() - 8 new Object() - 16
new int[0] - ? new int[0] - ?
reference size - ? reference size - ?

15. Отличие архитектур
32-bit, bytes 64-bit, bytes
new Object() - 8 new Object() - 16
new int[0] - 16 new int[0] - 24
reference size - ? reference size - ?

16. Отличие архитектур
32-bit, bytes 64-bit, bytes
new Object() - 8 new Object() - 16
new int[0] - 16 new int[0] - 24
reference size - 4 reference size - 8

17. Примечание
Вся приведенная информация для 64-
битной Oracle HotSpot JVM.
Не концентрируйтесь на цифрах.
-XX:-UseCompressedOops

18. Выравнивание полей
class A {
byte a;
}
class B {
int a;
}
new A() - ? байта
new B() - ? байта

19. Выравнивание полей
class A {
byte a;
}
class B {
int a;
}
new A() - 24 байта
new B() - ? байта

20. Выравнивание полей
class A {
byte a;
}
class B {
int a;
}
new A() - 24 байта
new B() - 24 байта

21. В java размер любого
объекта кратен 8
байтам

22. Выравнивание по классу
class A {
byte a;
}
class B extends A {
byte b;
}
new A() - 24 байта
new B() - ? байта

23. Выравнивание по классу
class A {
byte a;
}
class B extends A {
byte b;
}
new A() - 24 байта
new B() - 32 байта

24. Предварительная
группировка полей объекта

8-ми байтовые типы (double и long)

4-х байтовые типы (int и float)

2-х байтовые типы (short и char)

Одно байтовые типы (boolean и byte)

Ссылочные переменные

25. Все есть объект
сlass A {
Object o = new Object();
}
new A() - ? байт

26. Все есть объект
сlass A {
Object o = new Object();
}
new A() - 40 байт

27. Boolean
header v alignment
Boolean 16 1 7
24 bytes

28. Строка
new String() - 40 байт (без массива)
new String(«2») - 64 байт
new String(«33») - 64 байт
new String(«444») - 72 байт

29. Строка
«123456»
17%
data

30. Строка
header int fields ref
String 16 12 8
char[] 24 12
header+padding chars

31. Коллекции
Среднее java приложение ~1 млн HashSet
HashSet → HashMap → Array →
HashMap$Entry
Цена — 72 байта за new + 28 байт за каждое
новое значение

32. Коллекции
95% коллекций содержат лишь несколько
элементов
В среднем 5-20% хипа заняты пустыми
значениями

33. Зачем все это нужно?

34. Сжимаем ссылки
-XX:+UseCompressedOops
• Увеличиваем адресное пространство до
32ГБ.
• Уменьшаем размер ссылок в два раза.
• Прирост скорости работы JVM 2-10%
• Уменьшаем потребление памяти от 5% до
30%

35. Сжимаем ссылки
64-bit 64-bit + опция 32-bit
Указатель 8 4 4
Заголовок 16 12 8
Массив 24 16 12
Выравнивание 8 4 4

36. Primitives vs Wrappers
int — 4 (stack)
Integer — 24 (heap) + 8 ref

37. Типичный пример
class A {
@NotNull
private Long budget;
}

38. Сache friendly? Object pools?
new Integer(1)
vs
Integer.valueOf(1)

39. В чем разница?
Object[1000][2]
и
Object[2][1000]

40. Архитектура
1.2
1
0.8
0.6
0.4
0.2
0
32-bit 64-bit 64-bit Comp.

41. Денормализация модели
class Cursor { class Cursor2 {
String icon; String icon;
Position pos; int x;
} int y;
class Position { }
int x;
int y;
}
Объект Cursor2 занимает на 30% меньше
памяти

42. Сторонние библиотеки
Guava : MapMaker.makeMap() - 2272 байт
Вы никогда не знаете, что внутри

43. Сериализация и десериализация
1 ГБ 4 ГБ

44. Известные проекты

Повсеместное использование пула
объектов

45. Hadoop
public void map(...) {
...
for (String word : words) {
output.collect(new Text(word), new IntVal(1));
}
}

46. Hadoop
class MyMapper ... {
Text wordText = new Text();
IntVal one = new IntVal(1);
public void map(...) {
...
for (String word : words) {
wordText.set(word);
output.collect(word, one);
}
}
}

47. Hadoop
public void reduce(Key key, Iterable<Value> values,
Context context) {
IntWritable c;
for (Value value : values) {
c = new IntWritable(0);
accMap.put(new Value(value), c);
}
}

48. Известные проекты

Постоянная генерация миллионов
объектов

Постоянные срабатывания сборщика

49. Intellij Idea
protected int computeDeltaUpToRoot() {
return computeDeltaUpToRoot(new NodeCachedOffsets());
}
static class NodeCachedOffsets {
private int modCount;
private int deltaUpToRoot;
private boolean allDeltasUpAreNull;
}

50. Известные проекты

Вся модель в памяти

Используют свои коллекции вместо
стандартных

Отказались от оболочек

51. Известные проекты

Часть модели в памяти

Целая команда по
оптимизации памяти

52. Известные проекты

Огромные heap (60ГБ)

Проблемы с паузами
сборщика

Off-heap решение

53. Рекомендации

Тесты

Java core? (substring, BigDecimal)

Используйте готовые решения

Изучайте бизнес логику

54. Make it run, make it right, make it fast