Slides of our intervention with Mathieu Mailhos about re:Invent 2016 :
- Annoucements
- Technical demonstration of Athena, monitoring via Lambda and step function
- Feedbacks
Scripts available here : https://gist.github.com/manuquentin/adee523b60a4723e9e4819ea69713ab6
5. THE EVENT
32 000 people on-site, 50 000 online
Huge space: use of the Venetian Hotel (3 floors) and The Mirage
389 partners in the giant networking hall
400+ tech conferences
Labs for workshops
Multiple Hackathons
Outdoor Play Area
Side-Events: 5km Run, Party
16. Compute
Elastic GPU for EC2: Like an EBS, ability to attach a GPU with 1,2,4, 8 GiB
to any EC2 instance. Not available yet.
New F1 Instances optimized for application acceleration through
programmable hardware (FPGA)
Amazon Lightsail: easy-to-user Virtual Private Server. Enable custom image
and fully already configured with simple pricing.
17. Artificial Intelligence
Amazon Lex
Service for building conversational interfaces using voice and text
Same technology as Alexa
Native integration with Lambda, Mobile Hub, CloudWatch. Ability to
use Cognito, DynamoDB…
Integration with Facebook Messenger, Twilio, Slack
18. Artificial Intelligence
Amazon Polly
Service that turns text into lifelike speech
Supports 24 languages and 47 lifelike voices
Allows you to create an app that talk to build speech-
enabled products
19. Artificial Intelligence
Amazon Rekognition
Service to add image analysis to an application
Ability to detect objects, scenes and faces in images
Search engine to search and compare faces
Process and index millions of pictures per day into a database
Make a visual search engine
Compare a picture of an employee before entering a secure zone
tors in this area. Integration with other AWS services such as Mobile Hub
20. Analytics
Amazon Athena: interactive query service to analyse data
in S3 using SQL. Serverless, you pay by query.
Amazon Glue: Data export across services: S3, Redshift,
RDS. ETL:Extract, Transform, Load. Use of a common
format (CSV, JSON) and generate Python code for data
exportation. Handle jobs and failures (format, hardware).
21. Other cool features
AWS Shield: DDoS protection for your web app. Use of ELB, CloudFront and Route 53.
Protection against 96% of attacks.
EC2 System Manager: Configure large set of EC instances. Define a VM State to define
a consistent set of OS and applications across your fleet of systems: same patches,
firewall rules… Based on policies. Automate actions.
AWS CodeBuild: Test suite. Use of a Code Repo (GitHub, CodeCommit, S3). Handle
Android, Java, Python, Ruby, Go, Node.js and Docker environment.
31. WHAT'S NEXT ?
★ Less frictions in data processing (glue)
★ Lambda marketplace ?
★ Step functions improvements
★ Enter war against k8s and Swarm with Blox
★ Enter in chatbot hype
★ Let startup grow around and kill them
★ Golang in lambdas ?
★ Lambdas everywhere (workflow, monitoring, IoT, API…)
★ Partnership with Otto to run snowmobile without drivers ?
Je vais présenter rapidement CloudScreener puis je parlerai de l’évenement en lui-même: l’ambiance générale, ce qu’on a pu y faire, les entreprises qu’on a pu rencontrer…Je reviendrai sur les (plus) grosses annonces qui ont été faites avec leur impactPuis je laissera la parole à Manu qui parlera un peu technique avec Lambda et qui reviendra sur le marché actuel
Emmanuel et moi faisons parti de CloudScreener, startup parisienne. On développe un outil de recommandation des ressources Cloud qui vous permet de comparer les fournisseurs de Cloud (Google, Amazon, Microsoft, par exemple) et de selectionner les ressources les plus adaptées à votre besoin.
Parce qu’une image vaut mieux qu’un long discours: interface simple qui vous propose ici une solution pour votre infrastructure 3 tiers avec un choix specific d’OS et de région.
Le moteur de recommendation propose l’infra cloud privé ou public la plus adaptée en terme de performance, prix et des éventuels contrats négociées avec les fournisseurs et règles internes de l’’entreprise s’ils existent.
Le coin startup avec de relativement petits stands, sur le salon, à côté du Developer Lounge. Visionnage de démo et récupération de goodies
Dev Loungne: whiteboard pour parler technique avec des experts, un bar, table de ping-pong, un super baby-foot… et un espace technique avec notamment le Beer As A Service (Intel Sensor et Lambda) pour remplir les bières; il y a un article sur Medium là-dessus
Dev Loungne: whiteboard pour parler technique avec des experts, un bar, table de ping-pong, un super baby-foot… et un espace technique avec notamment le Beer As A Service (Intel Sensor et Lambda) pour remplir les bières; il y a un article sur Medium là-dessus
La “cours de récré” avec un jeu de foot avec raquette en exterieur, un rodeo qui permettait de gagner un chapeau de cow-boy qui clignote, un R2D2 steam punk qui sert de la bière et qui fait du bruit, un mini-golf un peu geeky…
La salle de la Keynote, gigantesque, qui s’étendait sur plusieurs centaines de metres, pour plusieurs milliers de personnes.
Au final, on a jamais regardé le présentateur directement, toujours les yeux rivés sur l’écran devant nous
Je vais revenir sur les principales annonces et notamment sur la parte Compute, Intelligence Artificielle et Management Tools.
Les instances T2 sont à usage général, généralement les moins chères avec un bon équilibre CPU, Mémoire et Ressources réseaux. Les T2 sont soumis au burst CPU qui leurs offrent un “crédit CPU” sur 24h, utilisé quand ils ont besoins de plus de 20% d’un core. Les R4 sont une nouvelle gamme d’instance qui offrent un meilleur coût que les R3 par Gb de RAM, avec un meilleur cache et une rapidité mémoire plus importante.Pas de news sur le I3 pour le moment. (Gamme i2: hautes performances en IOPS)
Pas de news sur les C5 pour le moment. (Gamme C: optimisée pour le compute) mais utilisation du nouveau Xeon Skylake.
Possibilité d’attacher un GPU à n’importe quelle instance EC2. Comme on attache un EBS, on peut attacher un GPU de la taille que l’on souhaite. Les machines utilisent une version custom d’OpenGL qui détectera la carte graphique. C’est encore en preview par contre.Sortie des instances F1 qui offrent la possibilité de reconfigurer des puces FPGA pour obtenir de meilleurs performances. On peut accéder à la puce en quelque clicks. Sortie d’un SDK sur GitHub pour ça.Enfin, amazon a annoncé la sortie de serveurs dédiés privés, lancés vraisemblablement dans un containeur. On choisit son OS ou sa couche applicative (Drupal, Wordpress), sa région… Accessible via API, comme tous les services Amazon. Pas d’info sur le VPC (“VPC Shardow”) donc environnement mutualisé. Pour le lancer dans notre environnement, il faut ajouter un “VPC Peering”. Entièrement configuré, Prix assez simple mais pas moins cher que ses concurrents. On profite surtout de l’eco-systeme Amazon.
Lex est un service pour construire des discussions en se basant sur les technologies de ‘Deep Learning’ d’Alexa: ASR (Automatic Speech Recognition Natural Language Understand). Permet notamment de construire des chatbots, la grande mode en ce moment. On utilise Lambda pour la logic business, pour effectuer des actions au fil de la conversation. On peut utiliser Mobile Hub pour une integration facile sur une appli et CloudWatch. On peut aussi utiliser d’autres services Amazon relativement facilement aussi.Il s’intègre aujourd’hui avec Facebook Messenger et très prochainement avec Twilio et Slack.
Outils pour convertir du text en discours. Il supporte 24 langages différents avec 47 types de voix (homme/femme) possibles. Il ne se contente de pas de lire, il y a une compréhension du texte derrière. Par exemple, si on dit “St.”, il va comprendre que dans certains cas ça voudra dire Street, dans un autre Saint. Support de SSML, markup language for speech synthesis.Une entreprise de healthcare de l’Ohio a écrit un bot qui parle avec Polly et Lex pour prendre rendez-vous avec le médecin adéquat en fonction des symptômes
Service de reconnaissance d’images et de leur contenu. Par exemple, en analysant la photo d’une voiture, il va reconnaitre que c’est une voiture, mais aussi sa marque, s’il fait jour oui nuit…Un énorme réseau de neurone qui analyse des milliards d’images par jour. Dans les applications possibles, on peut indexer des millions d’images pour tenir à jour une base de donnée intelligente avec l’index que l’on souhaite, écrire un moteur de recherche par image, comparer la tête d’un employé avec de lui laisser accès à une zone sécurisée…Pricing: nombre d’image analysée et vectors de visage (garder en mémoire un faciès)Marché de l’IA en plein essor, Amazon sort ses premiers outils pour rattraper ses concurrents qui ont un peu d’avance (Microsoft, IBM, Google)
Athena permet de lancer des queries SQL sur des données stockées sur S3. Il n’y a pas d’infrastructure à gèrer, on paye par requête. On commence par définir son bucket, le format de ses données et les colonnes de sa base. Fichiers log, JSON, CSV… Générer un rapport. Redshift permet de gérer d’énormes quantité de données, c’est la solution Amazon pour faire du data warehouse. EMR se lance sur EC2 et permet donc de tuner ses instances. On peut lancer du code par dessus donc optimisé pour du Hadoop et les techno Big Data.Amazon Glue permet d’exporter ses data entre les “data stores”: base de données Redshift, S3, RDS ou votre base locale. Il génère du code Python automatiquement pour transformer vos données vers le format cible. Le code gérer bien sur les erreurs de réseau, de hardware ou de conversion de format. Code que vous pouvez éditer. Pour ne pas tout envoyer d’un coup, vous pouvez configurer des jobs de manière régulière et bien sur intégrer Lambda.
Amazon Shield: la protection anti-DDOS d’Amazon pour votre service Web. 2 niveaux de protection, dont celle standard sera ajoutée par default pour tout le monde. Pour la version premium, on aura 3000$ de fees par an sans compter le transfert de data via ELB. Avantage d’avoir du reporting et une équipe à disposition.Il se met en compétition avec le géant CloudFlare par exemple. Le mois dernier Oracle racheté Dyn pour se lancer sur ce marché là.
EC2 Systems Manager qui permet de garder des instances identiques à travers vos clusters. Outils qui s’assure que vos instances suivent bien les policies définies par votre entreprise. Comme s’assurer des versions des patch ou des règles de firewall. Automatiser des actions sur vos sets d’instance.
AWS CodeBuild permet d’effectuer ses tests sur Amazon. Il prend un repo de code en entrée et construit un nouveau container, isolé. Plusieurs types d’environment possibles par default (Android, Java, Ruby…). Il lance ensuite les commandes de création du container, upload le résultat sur S3 et termine le containeur. La bonne nouvelle c’est qu’on voit que Go est présent. J’ai demandé: ça arrive vite sur Lambda: grosse demande.
4,000 state transitions are free each month
$0.025 per 1,000 state transitions thereafter ($0.000025 per state transition)