This document discusses Apache Avro, a data serialization system. It provides an example Avro schema for a trade record with fields like client ID, amount, and date. It then demonstrates how to write and read Avro data files containing records that match the schema, including writing single records with specific schemas or bulk writing generic records. The key feature discussed is Avro's ability to read data written with a different but compatible schema through schema resolution. Event sourcing is also mentioned as another use case for Avro.

1. AVRO
LA PUISSANCE DU BINAIRE, LA SOUPLESSE
DU JSON

2. MYSELF
Alexandre Victoor
Architecte à la SGCIB
alexvictoor@gmail.com
https://github.com/alexvictoor
@alex_victoor

4. Install-Package Microsoft.Hadoop.Avro

6. UN FICHIER AVRO

7.
{
"type":"record",
"namespace": "DevoxxFR.Example",
"name":"Trade",
"fields":
[
{ "name":"ClientId", "type":"int" },
{ "name":"Nominal", "type":"double" },
{ "name":"Date", "type":"string" }
]
}

8.
{
"type":"record",
"namespace": "DevoxxFR.Example",
"name":"Trade",
"fields":
[
{ "name":"ClientId", "type":"int" },
{ "name":"Nominal", "type":"double" },
{ "name":"Date", "type":"string" },
{
"name":"product",
"type":
["null", {
"type":"record",
"namespace":"DevoxxFR.Example",
"name":"Product",
"default":null,

9.
java ­jar avro­tools.jar compile schema trade.avro

10. AVEC UN SEUL OBJECT
DatumWriter<Trade> writer = new SpecificDatumWriter<Trade>();
encoder = EncoderFactory.get().binaryEncoder(outputStream, null);
writer.write(trade, encoder);

11. PUIS POUR LIRE
DatumReader<Trade> reader = new SpecificDatumReader<Trade>();
decoder = DecoderFactory.get().binaryDecoder(inputStream, null);
trade = reader.read(null, decoder);

12. SANS GÉNÉRATION
GenericRecord record = new GenericData.Record(SCHEMA);
record.put("ProductId", 123);
record.put("Nominal", 42000);
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>(SCHEMA
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>(SCHEMA

13. ECRIRE EN MASSE

14. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream

15. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>();

16. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>();
DataFileWriter<GenericRecord> dataFileWriter
= new DataFileWriter<>(datumWriter);

17. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>();
DataFileWriter<GenericRecord> dataFileWriter
= new DataFileWriter<>(datumWriter);
dataFileWriter.setCodec(CodecFactory.snappyCodec());

18. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>();
DataFileWriter<GenericRecord> dataFileWriter
= new DataFileWriter<>(datumWriter);
dataFileWriter.setCodec(CodecFactory.snappyCodec());
dataFileWriter.create(TRADE_SCHEMA, avroDataFile);

19. ECRIRE EN MASSE
File avroDataFile; // on peut aussi utiliser un OutputStream
DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>();
DataFileWriter<GenericRecord> dataFileWriter
= new DataFileWriter<>(datumWriter);
dataFileWriter.setCodec(CodecFactory.snappyCodec());
dataFileWriter.create(TRADE_SCHEMA, avroDataFile);
for (GenericRecord record : records) {
dataFileWriter.append(record);
}

20. ET POUR LIRE ?

21. ET POUR LIRE ?
File avroDataFile; // on peut aussi utiliser un InputStream

22. ET POUR LIRE ?
File avroDataFile; // on peut aussi utiliser un InputStream
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>();

23. ET POUR LIRE ?
File avroDataFile; // on peut aussi utiliser un InputStream
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>();
DataFileReader<GenericRecord> dataFileReader
= new DataFileReader(avroDataFile, datumReader);

24. ET POUR LIRE ?
File avroDataFile; // on peut aussi utiliser un InputStream
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>();
DataFileReader<GenericRecord> dataFileReader
= new DataFileReader(avroDataFile, datumReader);
for (GenericRecord record : dataFileReader) {
// traitement sur chaque record
}

25. C'EST BIEN MAIS...
{
"type":"record",
"namespace": "DevoxxFR.Example",
"name":"Trade",
"fields":
[
{ "name":"ClientId", "type":"int" },
{ "name":"Nominal", "type":"double" },
{ "name":"Date", "type":"string" },
{
"name":"product",
"type":
["null", {
"type":"record",
"namespace": "DevoxxFR.Example",
"name":"Product",
"default":null,

27. LA KILLER FEATURE
// la résolution de schema
new GenericDatumReader(writerSchema, readerSchema)
Writer Schema
Le schéma qui a été utilisé pour sérialiser

28. LA KILLER FEATURE
// la résolution de schema
new GenericDatumReader(writerSchema, readerSchema)
Reader Schema
Les données dont vous avez besoin

29. ENTRE 2 SCHEMAS, ON PEUT
- ajouter un champ
- supprimer un champ
- renommer un champ (avec un alias)
On ne peut pas changer le type d'un champ

30. COMPATIBLES ?
SchemaCompatibility
.checkReaderWriterCompatibility(readerSchema, writerSchema)

31. D'AUTRES USAGES
- Event sourcing
- Echanges de messages entre applications

32. EVENT SOURCING

33. EVENT SOURCING

34. DEMO
TRADE
productId
quantity
nominal
date
TRADE
productId
quantity
nominal
date
tradingPlace

38. RESSOURCES
Ces slides :
Une variante "alt.net" de cette prez :
La spec avro :
Le tuto MS :
Le SDK MS Hadoop :
https://github.com/alexvictoor/AvroDevoxxFr
https://github.com/alexvictoor/AvroAltNet
http://avro.apache.org/docs/1.7.7/spec.html
http://bit.ly/1uYRX3I
http://hadoopsdk.codeplex.com/SourceControl/latest