javazone, 2012, redis, riak

1. PATTERNS FOR
KEY-VALUE STORE
JavaZone 2012
Ole-Martin Mørk
13/09/12

2. OM MEG
Ole-Martin Mørk
Scientist
Bekk Consulting AS
twitter: olemartin

3. AGENDA
INTRODUCTION
DIFFERENT KV STORES
GENERAL PATTERNS
RIAK PATTERNS
REDIS PATTERNS
RIAK+REDIS PATTERNS
SUMMARY

4. MAP
KEY VALUE
session_1 Functional Programming You Already Know
session_2 Fra enkel J2SE til Grid computing med GigaSpaces XAP
session_3 Reinventing software quality
session_4 Taming Java Agents
session_5 Memory Leaks in Java
session_6 Linking data without common identifiers
session_7 Avinstaller Java nå!

5. PUT

6. GET

7. DEL

8. KEY
VALUE
STORE

9. select value
from lookup
where key=?

10. HVORFOR BENYTTE KEY-VALUE STORES? 1
0
Speed

11. Distribution

12. HVORFOR BENYTTE KEY-VALUE STORES? 1
2
When all you
have is a hammer..

13. PERSON OG ADRESSER
Person
Epost Tlf
Adresse
Twitter Facebook

14. navn: “Ole-Martin Mørk”,
eposter: epost: ”me@ole - martin.net”
type: “jobb”, epost: “ole-martin.mork@bekk.no”
tlf: type: “mobil”, tlf: “90252338”
adresser:
type: “hjem”
adresse: gate: “Lundliveien 30b”, sted: “Oslo”
type: “jobb”
adresse: postboks: “postboks 134, Sentrum”, sted: “Oslo”
postnummer: “0150”

15. {navn: “Ole-Martin Mørk”,
eposter: [ { epost: ”me@ole - martin.net” },
{ type: “jobb”, epost: “ole-martin.mork@bekk.no” }],
tlf: [{ type: “mobil”, tlf: “90252338” }],
adresser: [{
type: “hjem”,
adresse: { gate: “Lundliveien 30b”, sted: “Oslo” }
}, {
type: “jobb”,
adresse: { postboks: “postboks 134, Sentrum”, sted: “Oslo”,
postnummer: “0150”
}
}]}

17. HTML5 LOCALSTORAGE
Demo Klikk!

19. CASSANDRA 1
9

20. DETTE ER FINE DATABASER 2
0
Why?

21. PATTERNS

22. Keys

23. WELL-FORMED KEYS
app:space:what:id

24. LOOKUPS ON OTHER DATA 2
4
user:id:1234
userId 1234
username olemartin
email olemartin@bekk.no
twitter olemartin
user:twitter:olemartin user:id:1234

25. RELATIONS
user:id:1234
userId 1234
username olemartin
email olemartin@bekk.no
twitter olemartin
user:id:4321
userId 4321
username grolisbeth
brother user:id:1234

26. Hash

27. HASHING
<hash> modulo <antall servere> = serverId

28. HASHING
43
4 3
32 2
2
11 1

29. KONSISTENT HASHING
A
B
C

30. KONSISTENT HASHING
A
B
C

31. KONSISTENT HASHING
A
D
D
C A
C B
C
B

32. Use cases

33. EKSEMPLER PÅ APPLIKASJONER SOM KAN KLE K/V
RDBMS + KEY/VALUE

37. RIAK
Key
Key
Key
Key
Bucket
Bucket
Bucket

38. Consistency
Availability
P artition

39. N W R

40. N>W

41. N>R

43. PATTERNS

44. RIAK OG MAP REDUCE

45. MAP REDUCE
shopping:13092012:userId

46. SECONDARY INDEXES 4
6
Secondary
indexes

47. SECONDARY INDEXES 4
7
user:id:1234
userId 1234
username olemartin
email olemartin@bekk.no
twitter olemartin
twitter:id_bin olemartin
email:id_bin user:twitter:olemartin
olemartin@bekk.no user:id:1234
user:sex_bin Male
user:age_int 35

48. Pre Post
Commit Commit

50. Hash
Sorted Sets
Lists
Sets Strings

51. PATTERNS

52. SELECT * FROM foo
WHERE ...
ORDER BY time DESC LIMIT 10

53. PATTERNS FOR MILJØER MED RDBMS
RDBMS REDIS

55. STATISTIKK
Antall sider lest av bruker
<pages:userId, count>
incr pages:userId
Mest leste i dag:
<most_read:300-2012, <url, count>,<url, count>>
zrangebyscore most_read:300-2012 -inf +inf
Unike besøkende:
<page:url:300-2012, <userId>, <userId>, <userId>>
scard page:url:300-2012

56. SERIALIZATION
100000 ms
90000 ms
80000 ms
70000 ms
60000 ms
50000 ms
40000 ms
30000 ms
20000 ms
10000 ms
0 ms

57. KRYO IN REDIS
<bean id="redisTemplate"
class="org.springframework.data.redis.core.RedisTemplate">
<property name="connectionFactory" ref="connectionFactory"/>
<property name="defaultSerializer" ref="serializer"/>
</bean>
<bean id="serializer" class="no.bekk.redis.DiggerSerializer"/>

58. KRYO
public class DiggerSerializer<T> implements RedisSerializer<T> {
private Kryo kryo = new Kryo();
public DiggerSerializer() {
kryo.register(Story.class);
}
public byte[] serialize(T t) {
return new ObjectBuffer(kryo).writeClassAndObject(t);
}
public T deserialize(byte[] bytes) {
return (T) new ObjectBuffer(kryo).readClassAndObject(bytes);
}
}

59. REDDIT KLONE
1. story:id – holder styr på id-en til en story
2. story:id, value – holder selve story-objektet
3. story:stories_zset – holder styr på antall stemmer
4. story:tag:storyId – holder styr på tags knyttet til en story
5. tag:tagId – holder styr på stories knyttet til en tag

60. REDIS OG RIAK
+
=

62. Product
catalog
Produktkatalog

63. RIAK
product:2
Products product:1

64. POST COMMIT
RSS
Products Redis

65. REDIS
catalog:product:id binary data
catalog:product:today:sold_zset <productId, counter>
catalog:product:week:sold_zset <productId, counter>
catalog:product:year:sold_zset <productId, counter>

66. RESULT

67. Summary

68. SUMMARY
1. KV-stores kommer i alle farger og fasonger
2. Gode nøkkelnavn
3. Bruk god tid på datamodellering
4. Konsistent hashing
5. Bruk KV-store sammen med RDBMS
6. Bruk KV-store for domener som matcher
7. Bruk databasen til det den er god til
8. Kombiner gjerne flere type KV-stores
9. La kreativiteten blomstre

69. 6
9
Questions?

70. TAKK FOR
MEG!
Ole-Martin Mørk
ole-martin.mork@bekk.no
@olemartin