Dans tous les projets se cachent des race conditions. Et on les aime, ces bugs rares qui pimentent notre quotidien ! Durant cette session, on définira formellement ce qu'est une race condition. On verra ensuite deux manières de les détecter. La première sera au niveau d'un groupe de classes via la librairie jcstress. La seconde sera au niveau des applications elles-mêmes, via une méthodologie appellée "The Box" initialement prévue pour régler les problèmes de performance.

1. #TheBox - @pingtimeout
Les race conditions
Nos (très) chères amies
Pierre Laporte - @pingtimeout
Ingénieur performances - Datastax
1

2. #TheBox - @pingtimeout
Agenda
• Intro
• Les race conditions ?
• Techniques white-box
• Techniques black-box
2

3. #TheBox - @pingtimeout 3
…

4. #TheBox - @pingtimeout
Pourquoi ce talk?
4

5. #TheBox - @pingtimeout 5
Learn from the mistakes of others. You
can't live long enough to make them all
yourself.
— Eleanor Roosevelt

6. #TheBox - @pingtimeout
Les race conditions
6

7. #TheBox - @pingtimeout
Symptômes
• Bugs d’hier
• Bugs coûteux
• Détection / Résolution / Test
7
• Uniquement en prod

8. #TheBox - @pingtimeout
Définition
• Une fonction métier = plusieurs tâches
• Ordonnancement aléatoire
• Faible couverture de test
8

9. #TheBox - @pingtimeout
Tâche B
Tâche A
Définition
• Invariant: événements successifs
• Mauvais timing
9

10. #TheBox - @pingtimeout
Définition
• Invariant non respecté
• Threads: RUNNABLE
• Résultat non déterministe
10
Tâche A
Tâche B

11. #TheBox - @pingtimeout
Réactions habituelles
• Lire le code
• Relancer le test
• Augmenter le nombre de clients
• Croiser les doigts
11

12. #TheBox - @pingtimeout
Exemple: JAVA-471
• Cassandra java-driver 2.1.1
• Cassandra 2.0.9
• Deadlock
12

13. #TheBox - @pingtimeout
Exemple: JAVA-471
13
Request (node1) Timeout
Mark node1 DOWN
Receive response (node1)
Mark node1 UP
Retry (node2) Cancel

14. #TheBox - @pingtimeout
Exemple: JAVA-471
14
Request (node1) Timeout
Mark node1 DOWN
Receive response (node1)
Mark node1 UP
Retry (node2) Cancel

15. #TheBox - @pingtimeout 15
Timeout
Mark node1 DOWN
Mark node1 UP
30s
µs
µs
µs
Exemple: JAVA-471

16. #TheBox - @pingtimeout Crédits: Melissa Emmons

17. #TheBox - @pingtimeout
Whitebox: jcstress
17

18. #TheBox - @pingtimeout
L’infortune provient de la négligence
— Gichin Funakoshi
18

19. #TheBox - @pingtimeout
jcstress
• Framework OpenJDK
• Modèle probabiliste
• Expérimental
19

20. #TheBox - @pingtimeout
jcstress 101
20
@Outcome(id = "1, 2", expect = ACCEPTABLE, desc = "Actor1, then Actor2")
@Outcome(id = "2, 1", expect = ACCEPTABLE, desc = "Actor2, then Actor1")
@Outcome(expect = FORBIDDEN, desc = "Only atomic increase wanted !")
@State
public class APISample_01_Simple {
int v;
@Actor
public void actor1(IntResult2 r) {
r.r1 = ++v; // record result from actor1 to field r1
}
@Actor
public void actor2(IntResult2 r) {
r.r2 = ++v; // record result from actor2 to field r2
}
}

21. #TheBox - @pingtimeout
jcstress 102
21
[...]
@State
public class APISample_02_Arbiters {
int v;
@Actor
public void actor1() {
v++;
}
@Actor
public void actor2() {
v++;
}
[...]
}

22. #TheBox - @pingtimeout
jcstress 102 (cont)
22
@Outcome(id = "1", expect = Expect.FORBIDDEN, desc = "Update lost")
@Outcome(id = "2", expect = Expect.ACCEPTABLE, desc = "Atomicity OK")
@State
public class APISample_02_Arbiters {
int v;
[...]
@Arbiter
public void arbiter(IntResult1 r) {
r.r1 = v;
}
}

23. #TheBox - @pingtimeout
jcstress JAVA-471
23
[...]
public class Java471_JCStress {
@Actor
public void markNode1AsUp() {
[...]
}
@Actor
public void markNode1AsDown() {
[...]
}
@Actor
public void sendRequestWithTimeout() {
[...]
}
[...]
}

24. #TheBox - @pingtimeout
jcstress JAVA-471
24
@Outcome(id = {"DOWN", "0"}, expect = ACCEPTABLE, desc = "Received before node down")
@Outcome(id = {"DOWN", "1"}, expect = ACCEPTABLE, desc = "Node down, retry sent")
@Outcome(id = {"UP", "0"}, expect = ACCEPTABLE, desc = "Node back up, all good")
@Outcome(id = {"UP", "1"}, expect = FORBIDDEN,
desc = "No response received despite node up")
@State
public class Java471_JCStress {
[...]
@Actor
public void arbitrer(StringResult2 r) {
r.r1 = node1State();
r.r2 = numberOfQueuedQueries();
}
}

25. #TheBox - @pingtimeout
Agencements
25
Mark node DOWN Mark node UP Send query+ +
Noeud: UP, 0 requête en attente

26. #TheBox - @pingtimeout
Agencements
26
Mark node DOWN Mark node UPSend query+ +
Noeud: UP, 0 requête en attente

27. #TheBox - @pingtimeout
Agencements
27
Mark node DOWN Mark node UPSend query + +
Noeud: UP, 0 requête en attente

28. #TheBox - @pingtimeout
Agencements
28
Mark node DOWNMark node UPSend query + +
Noeud: DOWN, 0 requête en attente

29. #TheBox - @pingtimeout
Agencements
29
Mark node DOWNMark node UP Send query+ +
Noeud: DOWN, 0 requête en attente

30. #TheBox - @pingtimeout
Agencements
30
Mark node DOWNMark node UP Send query+ +
Noeud: DOWN, 1 requête en attente

31. #TheBox - @pingtimeout
Blackbox: The Box
31

32. #TheBox - @pingtimeout Crédits: K-nekoTR
The Box

33. #TheBox - @pingtimeout
The Box
• Méthodologie
• Problèmes de performances
• Mais pas que
• Kirk Pepperdine & Heinz Kabutz
33

34. #TheBox - @pingtimeout
The Box
34
Actors
Application
JVM
System

35. #TheBox - @pingtimeout
The Box
• Responsabilités exclusives par composant
• Hiérarchie d’appels
• Charge définie par le composant précédent
• Pas de raccourcis
35
Actors
Application
JVM
System

36. #TheBox - @pingtimeout
The Box
• Requête CQL avec CL=2
• Coordinateur: trouver un réplicat
• API JVM: nio / socket / …
• JVM: allocations mémoire, appels systèmes
• Système: locks, IRQ, matériel
36
Actors
Application
JVM
System

37. #TheBox - @pingtimeout
Réactions habituelles vs. The Box
37

38. #TheBox - @pingtimeout
Réactions vs. The Box
• Relancer le test
• Augmenter le nombre de clients
• Changer la configuration
38
Actors
Application
JVM
System

39. #TheBox - @pingtimeout
Réactions + alternatives (Actors)
• Relancer le test
• Augmenter le nombre de clients
• Changer la configuration
• Varier la taille des requêtes
• Ajouter des temps morts
39
Actors
Application
JVM
System

40. #TheBox - @pingtimeout
Alternatives (application)
• Utiliser un framework spécifique (FondationDB)
• Thread.sleep()
• Thread.yield()
40
Actors
Application
JVM
System

41. #TheBox - @pingtimeout

42. #TheBox - @pingtimeout

43. #TheBox - @pingtimeout

44. #TheBox - @pingtimeout Credits:Anders Illum

45. #TheBox - @pingtimeout
Fonctionnement du GC (1)
45
Thread A
Thread B
Thread C
Safepoint ON GC

46. #TheBox - @pingtimeout
Fonctionnement du GC (2)
46
Thread A
Thread B
Thread C
Safepoint OFF

47. #TheBox - @pingtimeout
Alternatives (JVM)
• Augmenter la fréquence du GC
• Diminuer sa durée
• Safepoints !
47
Actors
Application
JVM
System

48. #TheBox - @pingtimeout
Dérégler le GC (Maths)
• Allocation mémoire: ~1 Go/s
• Young Generation: 2 Go
• == 1 YGC toutes les 2 secondes
• 1 YGC sur 2 Go ≈ 10ms
48

49. #TheBox - @pingtimeout
Dérégler le GC (Maths)
• Allocation mémoire: ~1 Go/s
• Young Generation: 10 Mo
• == 1 YGC toutes les 10 millisecondes
• 1 YGC sur 10 Mo ≈ 1ms
49

50. #TheBox - @pingtimeout

51. #TheBox - @pingtimeout
Alternatives (Système)
• Ajouter des CPU (cores)
• Ajouter des CPU (sockets)
• Tuner l'ordonnanceur
51
Actors
Application
JVM
System

52. #TheBox - @pingtimeout 52
Timeout
Mark node1 DOWN
Mark node1 UP
30s
µs
µs
µs
Re: JAVA-471 Actors
Application
JVM
System

53. #TheBox - @pingtimeout 53
Timeout
Mark node1 DOWN
Mark node1 UP
1ms
µs
µs
µs
Ex: Timeout client Actors
Application
JVM
System

54. #TheBox - @pingtimeout 54
Timeout
Mark node1 DOWN
Mark node1 UP
1ms
100s µs
100s µs
µs
Ex: GC (client) Actors
Application
JVM
System

55. #TheBox - @pingtimeout 55
Mark node1 DOWN
Mark node1 UP
1ms
100s µs
µs
100s µs
Actors
Application
JVM
System
Ex: GC (DB)
Timeout

56. #TheBox - @pingtimeout
Demo: JAVA-471
56

57. #TheBox - @pingtimeout Crédits: K-nekoTR
The Box

58. #TheBox - @pingtimeout
Thanks
58