Voyager avec play scala

Voyager avec Play 2

Nicolas Martignole
nicolas@touilleur-express.fr
@nmartignole
Scala.IO - 24/25 octobre 2013, Paris

samedi 26 octobre 13

Votre plan de vol

What
Why
How
ZapTravel

Avant de commencer...

Current status


ZapTravel


We search destinations & dates,
then ﬁnd the best price, hotel and
transport, so you don’t need to


We search destinations & dates,
then ﬁnd the best price, hotel and
transport, so you don’t need to

ﬁlter, map, reduce

ZapTravel

Mobile
API REST


Show me Romance
deals

Show me Family
deals

</zaptravel>

“
There are known knowns; there are things we know that we know.
There are known unknowns; that is to say, there are things that we now know we don't know.
But there are also unknown unknowns – there are things we do not know we don't know.

”

—United States Secretary of Defense, Donald Rumsfeld


Aware

Don’t know

Know

Not aware

Quelques chiffres
• 159 000 hôtels
• 1383 destinations
• 840 000 transports (avions/trains)
• 1.4To images sur S3
• 20600 prix chambres hôtels

redis 127.0.0.1:6379> hlen Hotel:Content:Short
(integer) 158 041


Ce que je savais


Ce que je savais
• Play! Framework


Ce que je savais
• Play! Framework
• Web development


Ce que je savais
• Play! Framework
• Web development
• Hiring and training developers


Ce que je savais
• Play! Framework
• Web development
• Hiring and training developers
• Kiss-ass project managment

Equipe
Ze Boss
Java
HTML CSS Scala
Play2 Scala


Equipe
Ze Boss
Java
HTML CSS Scala
Play2 Scala
5
3,75
2,5
1,25
0


Mai 2012

Ete 2012

Sept 2012 Oct 2012 Nov 2012

Jan 2013

Oct 2013

Comment
apprendre Scala
(et désapprendre Java)


Scala et Zaptravel
• Scala => recrutement
• Facile à apprendre
• Scala c’est simple


Ah tu fais du Scala


Paradigme objet ET fonctionnel

http://parleys.com/p/51c1994ae4b0d38b54f4621b


Ce que j’ai évité

- 18

SBT

ScalaZ

Les choses que je ne savais pas

• Faut être gonﬂé
• Communauté
• Parallélisme,
Reactivité

• Play2/Scala/Redis en
PROD ???

• SEO

• JSON+Redis
• Typesafe / refactoring

Communauté Scala

Place de Scala, la communauté, par rapport à Java

Scala Days 2013 on parleys.com
94 516 VUEs


Parallélisme et
concurrence
It’s the web, stupid

Response[HTML] = Fx(Request)


Typesafe
•HTML template
•routes
•conﬁg
•LESS

Play2 -> Reactive
Reactive In Practice


Iteratee, Enumeratee and Enumerator
on Zaptravel

août - sept 2012
R.I.P


BusinessException
Iteratee/Enumeratee/Enumerator c’est cool, mais nous n’en n’avons pas besoin pour le moment.


/**
* Server sent event streaming controller.
* Date: 06/08/12
* Time: 12:16
*/
object Streaming extends Controller {
  // Streaming using server sent event
  def stream(requestId: String) = Action {
    // Define an implicit EventNameExtractor wich extract the "event" name from the Json event so that the EventSource() sets
the event in the message
    implicit val eventNameExtractor: EventNameExtractor[JsValue]=EventNameExtractor[JsValue](eventName = (zepEvent)=>zepEvent.
("event").asOpt[String])
        // Streams.events is a composition of HotelPrice and AirfarePrice.
        Ok.feed(Streams.events(requestId) &> EventSource()).as("text/event-stream")
  }

implicit val eventNameExtractor: EventNameExtractor[JsValue] =
EventNameExtractor[JsValue](eventName = (zepEvent)=>zepEvent.
("event").asOpt[String])


Akka
faukon


Akka
• Cron Jobs
• Emails (Mailjet/Mailchimp)
• Facebook
• ElasticSearch index (proto)
• Sitemap
• Generate content (R.I.P.)

Dev ?
Redis
Prices

read-only

Play2

Prix Hotels, Avions,
Voitures, Trains,
Rating Hotel

Redis

read/write

Static
Lieux, Destinations,
Contenu, Routage,
URLs, Places, Tags,
Webuser

Redis
slave-of

EC2 m2.xlarge

S3

1.2 GB
450k obj

EC2 m2.2xlarge

27GB
870k obj

Prod ?
CloudWatch

www

Route53

Cloudfront

redis prices

EC2 m2.2xlarge

ELB

redis static
EC2 c1.medium
S3
EC2 m2.xlarge

logs

SimpleDB

redis backup

Play2 + AWS


Idéal : c1.medium

2 vCPUs
1.7 GB mémoire


Ce qu’il faut retenir
2300 USD / mois

• IaaS versus PaaS pour Zaptravel


Boarding...


Des cas d’usages


Fonctionnalités


Fonctionnalités
• API REST


Fonctionnalités
• API REST
• Facebook


Fonctionnalités
• API REST
• Facebook
• Weather


Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP


Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP
• Semantic Search


Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP
• Semantic Search
• Cache Redis

Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP
• Semantic Search
• Cache Redis

• Mobile Web version

Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP
• Semantic Search
• Cache Redis

• Authentiﬁcation

Fonctionnalités
• API REST
• Facebook
• Weather
• GeoIP
• Semantic Search
• Cache Redis

• Authentiﬁcation
• Statistiques/Parcours
visiteur

Quelques exemples

ZapTravel

Charger une donnée venant de Redis

ZapTravel

Architecture
Redis
Air/Hotel/Cars/Ac

Web
HTTP
HTTPS

Web
LB

Redis
Resa/Users
Redis
Web Content

Web

ZapTravel

Architecture
Redis

Web

Air/Hotel/Cars/Ac

Web
HTTP
HTTPS

Web

LB

Redis
Resa/Users
Redis
Web Content

redis

Web

ZapTravel

Cas d’usage
Donne moi le label qui correspond à originId

=380

ZapTravel

Cas d’usage

=380

def getSlug(originId: Long): Option[String] = Redis.pool.withClient
{
client =>
Option(client.hget("Url:From:Rev", originId.toString))
}

ZapTravel

Cas d’usage

=380

def getSlug(originId: Long): Option[String] = Redis.pool.withClient
{
client =>
Option(client.hget("Url:From:Rev", originId.toString))
}

Driver Sedis https://github.com/pk11/sedis

ZapTravel

Un mot sur les Tests


package models

import org.specs2.mutable._

import play.api.test._
import play.api.test.Helpers._

class OriginSpecs extends Specification {
"An Origin" should {
"returns the slug for a valid origin" in {
running(FakeApplication()) {
Origin.getSlug(380) mustEqual Some("from-london")
Origin.getSlug(1) mustEqual Some("from-paris")
Origin.getSlug(-9999) mustEqual None
}
}
}
}

https://gist.github.com/nicmarti/5064048

Charger un objet

Charge moi un Objet «Londres»

ZapTravel

Charger un objet Origin
1) charger from-london
def getOrigin(originId: Long): Option[Origin] =
Redis.pool.withClient
{
client =>
Option(client.hget("Url:From:Rev", originId.toString)).map{
slug=>
Option(client.hget("Places:Place:"+originId, "display").map
{
.... ...
}
}
}

ZapTravel

Code smells
2) charger display...

def getOrigin(originId: Long): Option[Origin] =
Redis.pool.withClient {
client =>
Option(client.hget("Url:From:Rev", originId.toString)).map{
slug=>
Option(client.hget("Places:Place:"+originId, "display").map{
.... ...
}
}
}

ZapTravel

Cas d’usage
2) charger display...
def getOrigin(originId: Long): Option[Origin] = Redis.pool.withClient
{
client =>
for(slug<-Option(client.hget("Url:From:Rev", originId.toString));
display<-Option(client.hget("Places:Place:"+originId,"display")
)) yield Origin(originId,display,slug)
}
}

for-comprehension
https://gist.github.com/nicmarti/5064066
ZapTravel

La Tour Eiffel
1. Charger du JSON à partir de Redis
2. Interpréter et retourner un objet
PointOfInterest

ZapTravel

HGET Pois:PoisHash 52511
{"name":"Eiffel
Tower","address":"","latitude":"48.8582493546","longitude":"2.2945117950","website":"www.toureiffel.fr","rank":3,"photo":{"r":"eiffel-tower-paris-france","k":"6b56","e":"jpg","w":2406,"h":
1600,"a":"Mirari Erdoiza","l":"http://www.fotopedia.com/items/anboto-RiKxAA3gE6I"},"sentences":
{"gbs":[{"d":"The Eiffel Tower is one of the most famous monuments in the world (324 metres, 10,100
tonnes).","a":"Paris","l":"http://www.paris.com/paris_landmarks/monuments/
eiffel_tower_paris"},{"d":"This is without doubt one of the most recognizable structures in the
world.","a":"Frommers","l":"http://www.frommers.com/destinations/paris/A25288.html"},{"d":"If
the Statue of Liberty is emblematic of New York, Big Ben is London, and the Kremlin is Moscow, then the
Eiffel Tower is the symbol of Paris.","a":"Fodors","l":"http://www.fodors.com/world/europe/
france/paris/review-97417.html"},{"d":"When it was built for the 1889 Exposition Universelle (World
Fair), marking the centenary of the Revolution, the Tour Eiffel faced massive opposition from Paris'
artistic and literary elite.","a":"Lonely Planet","l":"http://www.lonelyplanet.com/france/paris
/sights/famous-landmark/eiffel-tower"}],"tips":[{"d":"It's pretty
high!.","a":"annawelford","l":"http://www.lonelyplanet.com/france/paris/sights/famouslandmark/eiffel-tower","s":"Lonely Planet"},{"d":"Bigger than you think.","a":"anomolly","l":"http:/
/www.lonelyplanet.com/france/paris/sights/famous-landmark/eiffel-tower","s":"Lonely
Planet"},{"d":"Overcrowded.","a":"anshjain","l":"http://www.lonelyplanet.com/france/paris/
sights/famous-landmark/eiffel-tower","s":"Lonely Planet"},{"d":"The restaurant on the first floor is
an amazing experience!.","a":"ansofie","l":"http://www.lonelyplanet.com/france/paris/sights
/famous-landmark/eiffel-tower","s":"Lonely Planet"}]},"tags":["Landmark","Memorials/
Monuments","Sights","Famous landmark"]}


Play 2.1
• Déﬁnir une case class POI
• Déﬁnir un implicit Json.format[POI]
• C’est tout... ou presque


Play 2.0
case class POI(name: String,
address: String,
latitude: String,
longitude: String,
website: Option[String],
photo: Option[SightPhoto] = None,
sentences: Sentences,
tags: Option[List[String]])

POI = Point of Interest = notre Tour Eiffel

Play 2.0


Play 2.1


Play 2.1
(Parser lorsque le JSON stocké sur Redis utilise une déclaration différente
de la case class)


Appel Redis et
interprétation JSON


Afﬁcher une liste
ZapTravel

Afﬁcher une liste

ZapTravel

Aller sur Redis
def allOrigins: List[Origin] =
Redis.pool.withClient {
client =>
// ...
// ...
}

Modèle

Préparer une liste
def allUrlOrigins: Seq[(String, String)] =
{
Origin.allOrigins.map{
origin =>
(origin.slug, origin.label)
}.sortBy(_._2)
}

Contrôleur

Envoyer la liste au
template
Code dans la page HTML
<label for="location">Your travel origin is :</label>
@select( userForm("originCity"),
FolioCriteria.allUrlOrigins ,
'_label -> "Travel from origin",
'_showConstraints -> false
)

Vue

Gérer
l’authentiﬁcation

Comment protéger l’accès à
une ressource ?

My Info


Dans le Controller
object Application extends Controller
{
def index = Action {
implicit request =>
val username="test"
Ok(html.index(username))
}
}


Dans le Controller
object Application extends Controller
with Secured {
def index = ActionSecure {
username =>
implicit request =>
Ok(html.index(username))
}
}


trait Secured {
def username(request: RequestHeader) = request.session.get(Security.username)
def onUnauthorized(request: RequestHeader) = Results.Redirect(routes.Auth.login)
def ActionSecure(f: => String => Request[AnyContent] => Result) = {
Security.Authenticated(username, onUnauthorized) {
user =>
Action{
request =>
f(user)(request)
}
}
}

Result

}

String


Request[AnyContent]

HTML

Play2 et Sécurité
• Simple
• Composable
• Facile à tester


Optimiser
l’indexation et le
référencement


Indexation et
référencement
• URLs propres et pondérées
• Mots clés
• Liens et Sitemap
• Microformat (Hotel, Avion, Lieux)
• Contenu non répété

routes
Compilé et validé


URL
/from-boston/quality
GET
/$origin<from-(.*)>/:classifier
controllers.Frontoffice.home(origin:String, classifier: String)

http://www.zaptravel.com/romance/weekend-deals/from-paris/to-athens/
12-Apr-2013-to-14-Apr-2013/elite-athens-greece


Play2
• La séparation entre la partie routage et

la partie contrôleur permet de créer des
URLs «propres»


Sitemap
• Déclarer la table des matières de son
site

• Optimise le référencement
• Permet de mettre en cache les pages
curl http://www.zaptravel.com/sitemap.xml

Problème : construire le sitemap de
façon asynchrone


Solution : Async

Akka / Play2


def sitemap = Action {
implicit request =>
val longCall = Akka.future {
val today = ZapFormats.formatForJson(new DateTime())
val listOfSEOCards = FolioCard.allForSEO().flatMap {
seo =>
val localURL =
routes.Frontoffice.showFolioDynamically(seo.category,
seo.duration, seo.origin, seo.destination, seo.dateRange,
seo.segment).absoluteURL(secure = false)
val updatedUrl = (for (l <- localAddress; p <publicAddress) yield localURL.replaceAll(l, p))
updatedUrl
}
Ok(views.xml.Application.sitemap(today,
listOfSEOCards)).as("text/xml")
}
Async {
implicit val timeout = akka.util.Timeout(60 seconds)
longCall
}
}


implicit request =>
val today = ... // some other code
seo =>
val localURL =
updatedUrl
}
listOfSEOCards)
).as("text/xml")
}
Async {
longCall
}
}

implicit request =>
seo =>
val localURL =
updatedUrl
}
}
Async {
longCall
}
}

implicit request =>
seo =>
val localURL =

Bref...

updatedUrl

}
}
Async {
longCall
}
}

curl http://www.zaptravel.com/sitemap.xml


Gestion du cache

Comment améliorer
les performances ?


Eviter de recharger la
même page,
utilisez code 304 NotModified
Note: @rosstuck a fait une session sur HTTP à Confoo mercredi dernier


Exemple sur /from-paris/quality

Navigateur

Play2

GET /from-paris/quality


Exemple sur /from-paris/quality
Navigateur

Play2

OK

HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8
ETag: 11299930771
Cache-Control: max-age=600, s-maxage=600, must-revalidate
Content-Length: 103586
...
...
ce n’est pas une erreur


Recharge /from-paris/quality
GET /from-paris/quality
If-None-Match: 112999307771
Navigateur

Play2

304 Not Modified
Content-Length: 0


Optimisation 1
• Evitez de faire travailler votre serveur
pour rien

• Déterminez des ETags «métiers»
• Attention à la gestion du cache et des
serveurs mandataires.


Optimisation 2
Faire de la gestion de cache applicative


Cache applicatif ?


2 types de cache
Cache technique type
Varnish

- Process à part
- Cache HTTP


Cache de Play2 ou Redis

- Code applicatif
- utilise la mémoire
de Play2 ou Redis

2 types de cache
Cache technique type
Varnish

• Facile à installer
• Evite de solliciter
Play2

• Scalable
• Conﬁgurable

2 types de cache
Cache applicatif Play2/
Redis

• Prend en compte le
métier

• Permet de garder les

pages «authentiﬁées»

• Pas aussi performant
que la solution
Varnish


Sur Zaptravel
• Page d’accueil

optimisé avec Cache
de Play2

• Page Folio, section

top Deal avec cache
Play2

• Page Deal, cache
avec Redis


Et pour terminer


Merci

nicolas@touilleur-express.fr
@nmartignole

Voyager avec play scala

Recommended

Recommended

More Related Content

Similar to Voyager avec play scala

Similar to Voyager avec play scala (16)

More from Nicolas Martignole

More from Nicolas Martignole (6)

Voyager avec play scala