Devoxx: Tribulation d'un développeur sur le Cloud

Tribulations dun développeur Java dans le Cloud Tugdual Grall @tgrall 1

Ce que vous allez apprendre• Retour d’experience d’un developpeur du “Dimanche”• Comprendre “mes” choix• Difﬁcultés Surprises du Cloud 2

About me : “Tug”• CTO chez eXo depuis 2008• Développeur, Product Manager chez Oracle• Co fondateur du NantesJUG• @tgrall sur Twitter & RunKeeper• Triathlete• Développeur de resultri.com 3

Agenda• Le Cloud, Pourquoi ? Comment ?• Les surprises Bonnes et Mauvaises• Et Alors ? 4

Le cloud, pourquoi?• Besoins fonctionnels : • Analyser les résultats de courses :Triathlons ou autres • Partager ces résultats simplement : réseaux sociaux• Besoins techniques : • Apprendre à développer pour le cloud • Pas de gestion système, ressources disponibles 5

Choisir une plateforme• Aout 2011, avant mon départ en vacances• Support du mode déconnecté• Java & NoSQL• Documentée et “Connue”• Gratuite• Disponible sur Mac OS X sans “hack” 7

Google AppEngine• Google PaaS• Languages : Java, Python and Go• Base de données : BigTable (NoSQL) & CloudSQL (MySQL)• Accès simpliﬁé aux API et Services Google • Google Cloud Storage, Analytics, Google Apps, Maps... 8

Resultri en quelques mots• Pour les Geeks • Pour les Sportifs • Pure Servlet/JSP • 33 courses • REST avec JAX-RS (Jersey) • 46 754 résultats individuels • Twitter Boostrap • 3500 visiteurs uniques • 11 300 pages vues 9

Traitement des données 10

Accès aux données?• Ma premiere réelle experience du monde NoSQL • Mon passé (passif?) : 9 années d’Oracle, ... très SQL (JPA,Toplink, BC4J !) • API : JPA, JDO, Datastore API ou autre (Objectify) ? 11

Accès aux données?• Mon choix : JDO & Datastore API • Limité aux API Google (documenté dans le SDK) • JDO : car la doc était la plus complète • Datastore : est venu ensuite pour la simplicité 12

Resultri: Les DonnéesSites “résultats” HTML, TXT, CSV, XML 13

Resultri: Les DonnéesSites “résultats” Traitements en local HTML, TXT, CSV, XML Utilisation du GAE Dev Server Export CSV 13

Resultri: Les DonnéesSites “résultats” Traitements en local Import GAE HTML, TXT, CSV, XML Utilisation du GAE Dev Server Utilisation des outils GAE Export CSV Import CSV 13

Dev to “Cloud” 1/2 1: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService(); • 2: ... Une fois les données 3: Map<String, Object> propertiesMap = result.getProperties(); 4: properties = (String[]) propertiesMap.keySet()...; 5: ... 6: 7: Query q = new Query("TriathlonResult"); q.addFilter("raceURI", Query.FilterOperator.EQUAL,race); importées en local 8: PreparedQuery pq = datastore.prepare(q); • 9: for (Entity result : pq.asIterable()) {10:11:12: ! for (int i = 0; i < properties.length; i++) { Object o = result.getProperty(properties[i]); Création d’un Fichier CSV13: String printValue = null; •14: if (o != null) {15:16: ! ! if (o instanceof java.util.Date) { ! SimpleDateFormat formatter = new SimpleDateFormat("yyy ... H:mm:ss") ; Utilisation des API Datastore17: ! ! Date date = (Date) o; •18: ! ! printValue = formatter.format(date);19:20: ! } } else if ... { ...!} Trop “couteux” à faire sur le Cloud21: out.print((printValue == null)?"":printValue);22: out.print(",");23: ! }24: ... 14

Dev to “Cloud” 2/2appcfg.py upload_data --config_file=config.yml --filename=ironman-south-africa.csv --url=http://dev-result-db.appspot.com/remote_api --application=dev-result-db --kind=TriathlonResultUploading data records.[INFO ] Logging to bulkloader-log-20120416.155812[INFO ] Throttling transfers: • Création des entités par CLI[INFO ] Bandwidth: 250000 bytes/second[INFO ] HTTP connections: 8/second[INFO ] Entities inserted/fetched/modified: 20/second[INFO ] Batch Size: 10 • Très rapide •[INFO ] Opening database: bulkloader-progress-20120416.155812.sql3[INFO ] Connecting to dev-result-db.appspot.com/remote_apiPlease enter login credentials for dev-result-db.appspot.com Import des données “formatées”Email: tugdual@gmail.comPassword for tugdual@gmail.com:[INFO ] Starting import; maximum 10 entities per post.................................................................[INFO ] 1552 entities total, 0 previously transferred[INFO ] 1552 entities (7016782 bytes) transferred in 60.4 seconds[INFO ] All entities successfully transferre 15

Recherche Full Text• Beta privée en Octobre...• Solution “Resultri” • Utilisation de Cloud SQL 16

Recherche Full Text• Beta privée en Octobre...• Solution “Resultri” • Utilisation de Cloud SQL First & Last NamesBigTable CloudSQL 16

Accès aux données• Attention aux quotas ! 17

Accès aux données• Utilisation de Memcache • Cache disponible dans GAE • Gestion du cache par le biais de l’API JCache (JSR-107) ou API Google• Dans Resultri: • Tout Entity est automatiquement cachée 18

Memcache 19

Les surprises .... 20

Création de données 1: log.info(" -- Start -- "); 2: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService(); 3: Entity employee = new Entity("Employee"); 4: employee.setProperty("firstName", "Nicolas"); 5: employee.setProperty("lastName", "Martignole"); 6: Date hireDate = new Date(); 7: employee.setProperty("hireDate", hireDate); 8: employee.setProperty("attendedHrTraining", true); 9: datastore.put(employee);10: employee = new Entity("Employee");11: employee.setProperty("firstName", "Antonio");12: employee.setProperty("lastName", "Goncalvez");13: hireDate = new Date();14: employee.setProperty("hireDate", hireDate);15: employee.setProperty("attendedHrTraining", true);16: datastore.put(employee);17: Query q = new Query("Employee");18: PreparedQuery pq = datastore.prepare(q);19: for (Entity emp : pq.asIterable()) {20: ! log.info(emp.getProperty("firstName") + " "+ emp.getProperty("lastName" );21: }22: log.info(" -- End -- "); 21

Création de données 1: log.info(" -- Start -- "); 2: DatastoreService datastore = DatastoreServiceFactory.getDatastoreService(); 3: Entity employee = new Entity("Employee"); 4: employee.setProperty("firstName", "Nicolas"); 5: employee.setProperty("lastName", "Martignole"); 6: Date hireDate = new Date();1: Apr 16, 2012 4:22:25 "hireDate", hireDate); 7: employee.setProperty( PM com....Servlet doGet2: INFO: -- setProperty("attendedHrTraining", true); 8: employee. Start --3: Apr 16, 2012 4:22:25 PM com....Servlet doGet 9: datastore.put(employee);4: INFO: Nicolas Martignole10: employee = new Entity("Employee");5: Apr 16, 2012 4:22:25 "firstName", "Antonio");11: employee.setProperty( PM com....Servlet doGet6: INFO: -- setProperty("lastName", "Goncalvez");12: employee. End --7: Apr 16, 2012 4:Date(); com.......$PersistDatastore persist13: hireDate = new 22:34 PM8: INFO: Time to persist"hireDate",: hireDate);14: employee.setProperty( datastore 4 ms15: employee.setProperty("attendedHrTraining", true);16: datastore.put(employee);17: Query q = new Query("Employee");18: PreparedQuery pq = datastore.prepare(q);20: ! Mais où est parti Antonio????19: for (Entity emp : pq.asIterable()) { log.info(emp.getProperty("firstName") + " "+ emp.getProperty("lastName" );21: }22: log.info(" -- End -- "); 21

Datastore : Queries1: Query q = new Query("Employee");2: q.addSort("lastName");3: q.addSort("firstName");4: PreparedQuery pq = datastore.prepare(q);5: for (Entity emp : pq.asIterable()) {6: o.println(emp.getProperty("lastName") +" "+ emp.getProperty("firstName") );7: } 22

Datastore : Queries 1: Doe John 2: Goncalvez Antonio1: Query q = new Query("Employee"); 3: Grall Briac2: q.addSort("lastName"); 4: Grall Corentin3: q.addSort("firstName"); 5: Grall Malo4: PreparedQuery pq = datastore.prepare(q); 6: Grall Nolwenn5: for (Entity emp : pq.asIterable()) { 7: Grall Tug 8: Grall Virginie6: o.println(emp.getProperty("lastName") +" "+ emp.getProperty("firstName") ); 9: Martignole Nicolas7: } 10: Tabarly Eric 22

Datastore : Queries1: Query q = new Query("Employee");2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");3: q.addSort("lastName");4: q.addSort("firstName");5: PreparedQuery pq = datastore.prepare(q);6: for (Entity emp : pq.asIterable()) {7: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );8: } 23

Datastore : Queries1: Query q = new Query("Employee");2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall"); 1: Grall Briac3: q.addSort("lastName"); 2: Grall Corentin4: q.addSort("firstName"); 3: Grall Malo5: PreparedQuery pq = datastore.prepare(q); 4: Grall Nolwenn6: for (Entity emp : pq.asIterable()) { 5: Grall Tug 6: Grall Virginie7: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );8: } 23

Datastore : Queries1: Query q = new Query("Employee");2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);4: q.addSort("lastName");5: q.addSort("firstName");6: PreparedQuery pq = datastore.prepare(q);7: for (Entity emp : pq.asIterable()) {8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );9: } 24

Datastore : Queries1: Query q = new Query("Employee");2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);4: q.addSort("lastName"); ?5: q.addSort("firstName");6: PreparedQuery pq = datastore.prepare(q);7: for (Entity emp : pq.asIterable()) {8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );9: } 24

Datastore : Queries1: Query q = new Query("Employee");2: q.addFilter("lastName", FilterOperator.EQUAL , "Grall");3: q.addFilter("birthYear", FilterOperator.LESS_THAN_OR_EQUAL , 2000);4: q.addSort("lastName"); java.lang.IllegalArgumentException: ?5: q.addSort("firstName"); The first sort property must be the same as the property to which the inequality filter is applied.6: PreparedQuery pq = datastore.prepareproperty is firstName but the inequality filter is on birthYear In your query the first sort (q);7: for (Entity emp : pq.asIterable()) {8: o.println(emp.getProperty("lastName") + " "+ emp.getProperty("firstName") );9: } 24

Datastore : Queries1: PersistenceManager pm = PMF.get().getPersistenceManager();2: Query q = pm.newQuery(Employee.class,"lastName==Grall&& firstName==Malo");3: List<Employee> results = (List<Employee>) q.execute(); !4: o.println(results); 25

Datastore : Queries1: PersistenceManager pm = PMF.get().getPersistenceManager();2: Query q = pm.newQuery(Employee.class,"lastName==Grall&& firstName==Malo");3: List<Employee> results = (List<Employee>) q.execute(); ! 1: Grall Malo4: o.println(results); 25

Datastore : Queries1: PersistenceManager pm = PMF.get().getPersistenceManager();2: Query q = pm.newQuery(Employee.class,"lastName==Grall|| firstName==Malo");3: List<Employee> results = (List<Employee>) q.execute(); !4: o.println(results); 26

Datastore : Queries1: PersistenceManager pm = PMF.get().getPersistenceManager();2: Query q = pm.newQuery(Employee.class,"lastName==Grall|| firstName==Malo");3:4: List<Employee> results = (List<Employee>) q.execute(); ! o.println(results); ? 26

Datastore : Queries 1: PersistenceManager pm = PMF.get().getPersistenceManager();org.datanucleus.store.appengine.query.DatastoreQuery$UnsupportedDatastoreFeatureException: 2: Problem = pm.newQuery(Employee.class,"lastName==Grall|| firstName==Malo"); Query q with query <SELECT FROM com.grallandco.model.Employee WHERE lastName==Grall || firstName==Malo>: 3: Or filters cannot be applied<Employee>) q.execute(); ! (found both lastName and firstName). List<Employee> results = (List to multiple properties 4: o.println(results); ? 26

Manipulation des données• Les données ne sont pas toujours disponibles • High Data Replication (HDR) : surprenant pendant les tests• “Limitations” des requêtes (GQL) et JDO• Attentions aux index : sans index pas de “requetes” • Veriﬁer la disponibilité des index• Utilisation de Memcache (must have! ) 27

Autres services 28

Task Queues• Service pour l’execution de taches en arrière plan • Possibilité d’inclure les taches dans un ordonnanceur (cron)• Resultri: • Synchronization (BigTable/CloudSQL) , Nettoyage des données 1: Queue queue = QueueFactory.getQueue("SynchappAppQueue"); 2: TaskOptions taskOptions = TaskOptions.Builder.withUrl("/worker/ProcessSynchronizeDataServlet") 3: .param("race-uri", "ironman-florida-2005") 4: .param("type", "syncDB") 5: .method(TaskOptions.Method.POST); 6: queue.add(taskOptions); 29

Test en Local• Un version de Jetty avec le SDK Google AppEngineSimulation “Authentiﬁcation Google” Console Developpeur 30

Disponibilité des services 31

Authentiﬁcation Google • Utilisation de Google Account • Se base sur la sécurité JavaEE standard • Gestion des administrateurs par le biais de la console AppEngine <security-constraint> <web-resource-collection> <url-pattern>/admin/*</url-pattern> </web-resource-collection> <auth-constraint> <role-name>admin</role-name> </auth-constraint> </security-constraint> 32

URL Fetch• Accès à des serveurs autres que AppEngine par HTTP/HTTPS • Utilisation de java.net.URL ou com.google.appengine.api.urlfetch.URLFetchService• Dans Resultri : utilisation du service de GeoCodage de Google Maps 1: URL url = new URL("http://maps.googleapis.com/maps/api/geocode/json?sensor=false&address="+ address ); 33

Accès aux API Google• Google offre de nombreux Services et API • Un seul compte => tous les services 34

Resultri & Google• Les services que j’utilise pour Resultri • Google Apps : Gestion du nom de domaines, Mail, ... • CloudSQL : Recherche Full Text (MySQL) • Cloud Storage : Sauvegarde BigTable, Serveur de ﬁchiers • Google Maps • Analytics, Adsense, Webmaster 35

En production 36

Gratuit ?• Oui mais.... • Avec des quotas • Les règles peuvent changer • Septembre : Google modiﬁe ses tarifs 37

Exemple 38

ExempleImport CSV 38

Gestion du cout• En Fevrier : Augmentation du cout • Pas d’activité utilisateur, mais cout en augmentation 39

Gestion du cout• En Fevrier : Augmentation du cout • Pas d’activité utilisateur, mais cout en augmentation• Une idée ? 39

Merci Google!• Google Bots, et autres moteurs de recherche • Utilisation de Google Webmaster Tools • Mise en place d’un ﬁchier robots.txt 40

Merci Google!• Google Bots, et autres moteurs de recherche User-agent: Twiceler • Disallow: / Utilisation de Google Webmaster Tools User-agent: psbot Disallow: / • User-agent: * Mise en place d’un ﬁchier robots.txt Disallow: /search Disallow: /races/*/compare Disallow: /rest Disallow: /races/*/*/position Disallow: /races/*/*/rank Disallow: /races/*/*/otherRaces Disallow: /races/*?page=-* 40

Merci Google!• Google Bots, et autres moteurs de recherche User-agent: Twiceler • Disallow: / Utilisation de Google Webmaster Tools User-agent: psbot Disallow: / • User-agent: * Mise en place d’un ﬁchier robots.txt Disallow: /search Disallow: /races/*/compare Disallow: /rest • Disallow: /races/*/*/position 243 784 URL bloquées sur Resultri Disallow: /races/*/*/rank Disallow: /races/*/*/otherRaces Disallow: /races/*?page=-* 40

Console 41

Conclusion 42

Conclusion• AppEngine est-il le bon choix pour Resultri? • Pour l’instant trop couteux et “puissant” • Techniquement passionnant• Feuille de route • Gestion des utilisateurs : Facebook, Twitter, Google • Notiﬁcations • Version Mobile 43

Conclusion• Techniquement : j’apprends beaucoup.... • Publication d’articles sur mon blog • NoSQL, CloudSQL, Memcache.... • Twitter Boostrap 2 and Google Maps • Google AppEngine Full Text Search with Cloud • Utilisation de Git SQL • Installing Memcached on Mac OS X and using it in • Twitter Bootstrap, Less Java • JAX-RS: Jersey and JSON single element arrays • Create and Deploy a JAX-RS REST service on Google App Engine • .... 44

Questions? 45

Tribulations dun développeur Java dans le Cloud Tugdual Grall @tgrall 46

http://www.tnjug.co.cc	110
http://www.tunisjug.org	20
http://mjhazbri.blogspot.fr	19
http://mjhazbri.blogspot.co.uk	10
http://mjhazbri.blogspot.com	6

Devoxx: Tribulation d'un développeur sur le Cloud

by Tugdual Grall

Accessibility

Categories

Upload Details

Usage Rights

5 Embeds 165

Statistics