Redis: a memcached gyilkos

Redis, a Memcached gyilkos Bártházi András

Az előadó Bártházi András mailto: andras beigli barthazi pont hu twitter: ba78 http://webakademia.hu

Miről lesz szó? NoSQL törekvés Mi az a key-value adatbázis? Redis - a memória alapú adatbázis

NoSQL A “NoSQL” 2009-es buzzword A “cloud” témakör hozta meg az igényt: a relációs adatbázisok segítségével nehézkesen elérhető a kívánt horizontális skálázhatóság Leginkább key-value adattárolás, az SQL komplexitása felesleges lehet

NoSQL Népszerű, ismert, és kevésbé ismert projektek: Google BigTable, Amazon Dynamo Cassandra, Chordless, CouchDB, HBase, Hypertable, Keyspace, MongoDB, Neo4j, Memcache, Riak, Redis, Project Voldemort, Sherpa, SimpleDB, GigaSpaces A legnagyobbak már évek óta használják ezeket - az irány kipróbált és tesztelt

Key-value adattárolás adatbázis[“kulcs”] = “érték”; az egyik legegyszerűbb adatmode), a programozási nyelvekben hash, asszociatív tömb, szótár néven fut nagyon régi a történet, de reneszánszát éli a tudatosabb, céleszközökkel dolgozó, nagy látogatottságot kiszolgáló oldalak igényeként merül fel

Redis Alapvetően egy kulcs-érték alapú, az adatokat memóriában tároló adatbázisszerver http://code.google.com/p/redis/ Leginkább a Memcachedhez lehet hasonlítani, de szigniﬁkáns különbségek vannak

Tulajdonságok Hipergyors fejlesztés: pár hónap alatt 1.0-s kiadás Nagyon jó dokumentáció Ke)emes közösség (levlista) Jó nyelvi támogatottság (PHP, Ruby, Python, Java...)

Tulajdonságok nagyon gyors kiszolgálás: másodpercenként 100.000 írás, 80.000 olvasás (hivatalosan, de ennek többszöröse is lehet) atomi, összetett műveletek: listák, halmazok támogatása perzisztens tárolás: adatbázis kiírása lemezre jól hangolhatóan

Egyszerűség nem igényel különösebb konﬁgurációt, gyorsan kipróbálható, átlátható, telnettel lehet hozzá csatlakozni nincsenek bonyolult parancsok, nagyon könnyen és gyorsan tanulható

Alapműveletek SET kulcs érték, SETNX kulcs érték GET kulcs, MGET kulcs1 kulcs2 kulcs3 EXISTS kulcs INCR kulcs, DECR kulcs INCRBY kulcs szám, DECRBY kulcs szám DEL kulcs

Alapműveletek KEYS minta azon elemek listája, melyek kulcsa mintával kezdődik RANDOMKEY RENAME régikulcs újkulcs DBSIZE EXPIRE kulcs szám

Listaműveletek RPUSH kulcs érték, LPUSH kulcs érték elem beszúrása a “kulcs” lista elejére, végére LLEN kulcs LRANGE kulcs kezdet vég lista egy részének lekérdezése LTRIM kulcs kezdet vég

Listaműveletek LINDEX kulcs index a “kulcs” lista egy elemének lekérdezése LSET kulcs index érték adott indexű elem felülírása LREM kulcs darab érték adott értékű elemek eltávolítása a listából LPOP kulcs, RPOP kulcs

Halmazműveletek SADD kulcs érték, SREM kulcs érték, SPOP kulcs SMEMBERS kulcs SMOVE kulcs1 kulcs2 érték SCARD kulcs elemek száma az adott halmazban SISMEBER kulcs érték

Halmazműveletek SINTER kulcs1 kulcs2 kulcsN, SINTERSTORE célkulcs kulcs1 kulcs2 kulcsN metszet lekérése, i)etve metszet tárolása SUNION kulcs1 kulcs2 kulcsN SUNIONSTORE célkulcs kulcs1 kulcs2 kulcsN összeg lekérése, i)etve összeg tárolása SDIFF kulcs1 kulcs2 kulcsN SDIFFSTROE célkulcs kulcs1 kulcs2 kulcsN különbség lekérése, i)etve különbség letárolása

Rendezés listával és halmazzal is működik SORT kulcs SORT kulcs DESC SORT kulcs LIMIT 0 10 ALPHA DESC SORT kulcs BY weight_* SORT kulcs BY weight_* GET object_* veszi kulcs lista elemeit (pl. azonosítók: 1,2,3), lekéri weight_1, weight_2, weight_3 értékeket és rendezi azokat, majd az így kapott sorrend alapján visszaadja object_3, object_2, object_1 elemeket

Redis 1.1: hamarosan Egész számok bináris tárolása EXPIREAT kulcs unixtime MSET kulcs1 érték1 kulcs2 érték2 kulcs3 érték3... MSETNX kulcs1 érték1 kulcs2 érték2 kulcs3 érték3... LMOVE kulcs1 kulcs2

Redis 1.1: hamarosan ZADD kulcs súly érték ZREM kulcs érték ZCARD kulcs ZRANGE kulcs kezdet vég ZREVRANGE kulcs kezdet vég ZRANGEBYSCORE kulcs súlykezdet súlyvég ZSCORE kulcs érték

Mentés konﬁg fájlban hangolható: x másodpercenként x írás művelet után pl beá)ítható: alapból percenként, de ha volt 1000 művelet, akkor azután is SAVE, BGSAVE, LASTSAVE műveletek

Replikáció Több adatbázist képes összeszinkronizálni: MASTER-SLAVE mode) Egy slave masterként is tud viselkedni, láncok, gráfok építhetőek fel Az egyik lehetőség több processzoros környezet hatékony kihasználására

Backup a teljes adatbázis perzisztens része egy darab fájl bináris memórialenyomat, másra nem használható leá)ás nélkül backpuolható, mivel az adatbázis mentése atomi művelet (rename művelet)

Egyebek egyszerű, saját szöveges protoko) példakódként egy egyszerű Twitter klón forrása is elérhető, kipróbálható több adatbázist (névteret) is támogat, bár nem igazán kényelmesen, érdemes inkább külön szervereket indítani

Redis 1.2: a jövőben Egyszerű Redis Cluster Hozzáfűzés alapú log Hash adattípus Adatbázis JSON dumpja

Redis 1.x: távoli jövő Különféle optimalizációk SORT algoritmusának javítása LOCK, TRYLOCK és UNLOCK BITMAP / BYTEARRAY típus

Hasonló projektek memcached: nem perzisztens, nem kezeli az összetett értékeket memcacheDB: perzisztens, de minden műveletet egyből diszkre ír

Out of memory Ha az adatbázis nem fér be a memóriába, akkor: ne használjunk Redist... félig cache szerűen használjuk

Twitter klón Felhasználók üzenőfalja, az egyes felhasználók azok üzeneteit láthatják, akiket követnek A key-value adatbázis egészen más gondolkodásmódot igényel, mint a hagyományos relációs mode) Ki ismeri a normál formákat?

Twitter klón Felhasználó létrehozása: INCR global:nextUserId (visszakapunk egy számot) SET uid:1000:username felhasználónév SET uid:1000:password jelszó

Twitter klón De hogyan tudom meg, hogy egy adott felhasználónévhez milyen felhasználó azonosító tartozik? SET username:felhasználónév:uid 1000

Twitter klón A követők adminisztrációjához felhasználónként két halmaz: uid:1000:fo)owers uid:1000:fo)owing 1000-es felhasználó követi 1001-et: SADD uid:1001:fo)owers 1000 SADD uid:1000:fo)owing 1001

Twitter klón 1000-es felhasználó üzenetet ír: INCR global:nextPostId SET global:posts:123456789 szöveg LPUSH uid:1000:posts 123456789 LTRIM uid:1000:posts 0 1000

Használat IWIW alkalmazásaink mögötti adattároláshoz Miner mögötti queue, 1iss bejegyzések tárolása, gyorsítása, oldal cache, stb.

Köszönet Bártházi András mailto: andras beigli barthazi pont hu twitter: ba78 http://webakademia.hu/2009/10/redis-a-memcached- gyilkos/ Programozókat keresünk Miner.hu kereső projektünkhöz

http://webakademia.hu	311
http://www.slideshare.net	24
http://webcache.googleusercontent.com	2

Redis: a memcached gyilkos

by András Bártházi on Oct 31, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 337

Statistics

Redis: a memcached gyilkos — Presentation Transcript