Mapping Life Science Informatics to the CloudChris Dagdigian
Infrastructure cloud platforms such as those offered by Amazon Web Services are not designed and built with scientific research as the primary use case. These presentation slides cover the current state of mapping life science research and HPC technique onto “the cloud” and how to work around the common engineering, orchestration and data movement problems.
[Note: I've replaced the 2011 version of this talk deck with a slightly updated version as delivered at the AIRI Petabyte Challenge Meeting]
BioIT World 2016 - HPC Trends from the TrenchesChris Dagdigian
As presented at BioIT World 2016. In one of the more popular presentations of the Expo, Chris delivers a candid assessment of the best, the worthwhile, and the most overhyped information technologies (IT) for life sciences. He’ll cover what has changed (or not) in the past year around infrastructure, storage, computing, and networks. This presentation will help you understand IT to build and support data intensive science.
Video link from the presentation: biote.am/bs
[Note: email chris@bioteam.net if you would like a PDF copy of this presentation]
BioITWorld 2013 presentation - Best practices for building multi-tenant HPC clusters for Pharma/BioTech
Essentially a mini case study of a recent deployment of a multi-petabyte, 1000+ CPU core Linux cluster in the Boston area.
Please email me at: chris@bioteam.net if you would like the actual PDF file itself.
This was a 30 min talk intended as one of the opening/overview presentations before a full-day deep dive into ScienceDMZ design patterns and architectures.
Direct downloads are not enabled. Contact me directly (chris@bioteam.net) if you for some odd reason want a copy of this slide deck!
This is a custom "Bio IT trends/problems" deck that I did for a general but highly technical audience at the 2014 Internet2 Technology Exchange conference.
Download of the raw PPT is disabled; contact me at chris@bioteam.net if a direct copy or PDF of the presentation would be useful.
This presentation covers:
* very simple explanations of what 'cloud computing' is.
* some specific examples and uses.
* its advantages and disadvantages.
* questions for you to ask when considering it.
* results of a survey of businesses on the 'cloud'.
Presentation given at HostingCon 2008 in Chicago for the Marketing tract. Designed to explain the differences between various Cloud Computing models as well as dispel myths and illustrate the features and benefits of Clouds.
Mapping Life Science Informatics to the CloudChris Dagdigian
Infrastructure cloud platforms such as those offered by Amazon Web Services are not designed and built with scientific research as the primary use case. These presentation slides cover the current state of mapping life science research and HPC technique onto “the cloud” and how to work around the common engineering, orchestration and data movement problems.
[Note: I've replaced the 2011 version of this talk deck with a slightly updated version as delivered at the AIRI Petabyte Challenge Meeting]
BioIT World 2016 - HPC Trends from the TrenchesChris Dagdigian
As presented at BioIT World 2016. In one of the more popular presentations of the Expo, Chris delivers a candid assessment of the best, the worthwhile, and the most overhyped information technologies (IT) for life sciences. He’ll cover what has changed (or not) in the past year around infrastructure, storage, computing, and networks. This presentation will help you understand IT to build and support data intensive science.
Video link from the presentation: biote.am/bs
[Note: email chris@bioteam.net if you would like a PDF copy of this presentation]
BioITWorld 2013 presentation - Best practices for building multi-tenant HPC clusters for Pharma/BioTech
Essentially a mini case study of a recent deployment of a multi-petabyte, 1000+ CPU core Linux cluster in the Boston area.
Please email me at: chris@bioteam.net if you would like the actual PDF file itself.
This was a 30 min talk intended as one of the opening/overview presentations before a full-day deep dive into ScienceDMZ design patterns and architectures.
Direct downloads are not enabled. Contact me directly (chris@bioteam.net) if you for some odd reason want a copy of this slide deck!
This is a custom "Bio IT trends/problems" deck that I did for a general but highly technical audience at the 2014 Internet2 Technology Exchange conference.
Download of the raw PPT is disabled; contact me at chris@bioteam.net if a direct copy or PDF of the presentation would be useful.
This presentation covers:
* very simple explanations of what 'cloud computing' is.
* some specific examples and uses.
* its advantages and disadvantages.
* questions for you to ask when considering it.
* results of a survey of businesses on the 'cloud'.
Presentation given at HostingCon 2008 in Chicago for the Marketing tract. Designed to explain the differences between various Cloud Computing models as well as dispel myths and illustrate the features and benefits of Clouds.
Facilitating Collaborative Life Science Research in Commercial & Enterprise E...Chris Dagdigian
This is a talk I put together for a http://www.neren.org/ seminar called "Bridging the Gap: Research Facilitation". Tried to give a biotech/pharma view for a mostly academic audience.
Businesses love printing and storing paper. Even with our PCs, electronic file cabinets and the Internet, we refuse to stop printing – and storing even more paper off‐site for safekeeping!
Since we can’t fully eliminate paper or electronic content, we have to identify where it originates. The closer to the origination we get, the more we can reduce or negate the manual handling – and the cost – that is often still required, even with fully electronic or ‘automated’ systems.
Technology has evolved from Document Imaging to scan paper, to Workflow to route the imaged paper, to Document Management to organize our file folders, to Web Content Management to manage Intranet and Extranet documents – all are now united as ECM. The influx of both paper and electronic documents still presents an enormous business and economic challenge for any organization.
It must be met with a well thought‐out Document Capture strategy.
En cette ère digitale, les usages changent : les IHM sont multiples, accessibles n'importe où et n'importe quand, mais surtout de plus en plus éphémères. Nos systèmes d'informations doivent évoluer afin de gérer cette accélération.
Si la volonté de rendre le SI modulaire n'est pas nouvelle (architectures orientées services, technologies associées, etc.), de nouvelles cultures et pratiques nous sont insufflées par les Géants du Web pour y parvenir (API First, OpenAPI, etc.).
La démarche de rationalisation d'hier se transforme en levier de création de valeur.
Cette session reviendra sur les enjeux business et techniques de la culture API.
Nous adresserons ensuite les points clés d’une stratégie API, de la conception au management d’API.
Découvrir la technique des User Story Mapping facilement et en s'inspirant de votre expérience du matin, d'après la version de Jeff PATTON !
Public : Product Owner, Product Manager, Innovation, Startup, UX, etc
The Product Visioning Workshop: A Proven Method for Product Planning and Prio...Perfetti Media
Is your team looking for new product concepts to capture a new market? Do you need to establish a long-term product strategy? Are you working to set a direction to drive roadmap decisions?
In this presentation, we will share a proven approach for creating a long-term product vision that your team can understand and rally behind. We will share all of the techniques you'll need to successfully run a Product Visioning Workshop with your product team and business stakeholders.
You will learn how to create a long-term vision for your product, establish consensus and buy-in across your organization, and prioritize features for the product roadmap. Your product managers will come away equipped to create roadmaps that align with your long-term product strategy.
A 2 day Workshop outline to discover the driving purpose of your company or brand. Facilitated by Invitro Innovation's Angela Koch in Singapore, Malaysia, Hong Kong, Indonesia, Thailand and Taiwan.
10 file downloads will be permitted
Digital Transformation Review 9: The Digital Strategy Imperative #DTR9Capgemini
In this edition of the Digital Transformation Review, we examine the approaches that organizations can take to crafting a strategy for a digital age, focusing on the following key questions: 1. How do you design a digital strategy in today’s uncertain and volatile world and understand how much reinvention of the organization is required? 2. Should your company become a
platform, or be a part of one? 3. What are the most successful approaches to executing digital strategy – acquisitions, partnerships, Greenfield?
Solution de transfert mobile - Formats d'échangeOCTO Technology
Les solutions de transfert mobiles sont nombreuses. Mais en pratique, c’est le format d’échange JSON qui est régulièrement utilisé. Déjà intégré pour le web, connu et lisible, ce format a tout pour plaire. Mais est-il le seul? Est-il réellement adapté au mobile?
Le poids de la données ainsi que sa vitesse d'encodage/décodage sont des facteurs importants pour diminuer le temps de chargement. De plus, une simplicité d'usage d'un format garantit une mise en place plus rapide, plus simple. La manipulation d'un JSON, par exemple, n'est pas si aisée en Android.
La présentation ci-dessous présente les trois formats comparés: JSON, Message Pack et Protocol Buffers.
Le développement logiciel a beaucoup évolué ces 10 dernières années : méthodes Agiles, intégration continue, tests, nouvelles architectures, Cloud, etc. Beaucoup de concepts utiles et nécessaires, mais pas suffisants à la réussite du développement d'un nouveau produit.
Cette session ne vous aidera malheureusement pas à développer une application sur base d'un épais cahier de spécifications, en respectant le budget, les délais et la qualité. Mais elle vous permettra de réussir un produit de qualité, à forte valeur ajoutée pour vos utilisateurs ou clients, dans les temps et au budget escompté !
Au travers de retours d'expérience récents, nous vous montrerons comment sont menés de tels développements chez OCTO. Nous vous parlerons notamment d'ingénierie, de gestion du produit, d'organisation et de process, mais également de culture.
Mais rassurez-vous, tout ceci restera applicable à tout projet de développement, développé avec ou sans OCTO !
geantsduweb.com
De l’autre côté de l’Atlantique, mais aussi à d’autres endroits du monde comme en France, des gens sont en train de réinventer la façon de faire de l’informatique. Ils s’appellent Amazon, Facebook, Google, Netflix ou LinkedIn pour les plus connus.
On les appelle les Géants du Web.
Cet ouvrage collaboratif synthétise et structure les pratiques, les solutions technologiques et les traits culturels les plus saillants de ces pionniers, en décryptant des sujets passionnants tels que l’obsession de la mesure, la bêta perpétuelle, DevOps, le Design for failure, la contribution systématique au logiciel libre ou encore le Feature Flipping.
How to Leverage Mainframe Data with Hadoop: Bridging the Gap Between Big Iron...Precisely
In this presentation from Syncsort and Cloudera, you'll learn how to bridge the technical, skill and cost gaps between mainframe and Hadoop. We discuss the top challenges of ingesting and processing mainframe data in Hadoop – and how to solve them.
Slides used for the keynote at the even Big Data & Data Science http://eventos.citius.usc.es/bigdata/
Some slides are borrowed from random hadoop/big data presentations
Facilitating Collaborative Life Science Research in Commercial & Enterprise E...Chris Dagdigian
This is a talk I put together for a http://www.neren.org/ seminar called "Bridging the Gap: Research Facilitation". Tried to give a biotech/pharma view for a mostly academic audience.
Businesses love printing and storing paper. Even with our PCs, electronic file cabinets and the Internet, we refuse to stop printing – and storing even more paper off‐site for safekeeping!
Since we can’t fully eliminate paper or electronic content, we have to identify where it originates. The closer to the origination we get, the more we can reduce or negate the manual handling – and the cost – that is often still required, even with fully electronic or ‘automated’ systems.
Technology has evolved from Document Imaging to scan paper, to Workflow to route the imaged paper, to Document Management to organize our file folders, to Web Content Management to manage Intranet and Extranet documents – all are now united as ECM. The influx of both paper and electronic documents still presents an enormous business and economic challenge for any organization.
It must be met with a well thought‐out Document Capture strategy.
En cette ère digitale, les usages changent : les IHM sont multiples, accessibles n'importe où et n'importe quand, mais surtout de plus en plus éphémères. Nos systèmes d'informations doivent évoluer afin de gérer cette accélération.
Si la volonté de rendre le SI modulaire n'est pas nouvelle (architectures orientées services, technologies associées, etc.), de nouvelles cultures et pratiques nous sont insufflées par les Géants du Web pour y parvenir (API First, OpenAPI, etc.).
La démarche de rationalisation d'hier se transforme en levier de création de valeur.
Cette session reviendra sur les enjeux business et techniques de la culture API.
Nous adresserons ensuite les points clés d’une stratégie API, de la conception au management d’API.
Découvrir la technique des User Story Mapping facilement et en s'inspirant de votre expérience du matin, d'après la version de Jeff PATTON !
Public : Product Owner, Product Manager, Innovation, Startup, UX, etc
The Product Visioning Workshop: A Proven Method for Product Planning and Prio...Perfetti Media
Is your team looking for new product concepts to capture a new market? Do you need to establish a long-term product strategy? Are you working to set a direction to drive roadmap decisions?
In this presentation, we will share a proven approach for creating a long-term product vision that your team can understand and rally behind. We will share all of the techniques you'll need to successfully run a Product Visioning Workshop with your product team and business stakeholders.
You will learn how to create a long-term vision for your product, establish consensus and buy-in across your organization, and prioritize features for the product roadmap. Your product managers will come away equipped to create roadmaps that align with your long-term product strategy.
A 2 day Workshop outline to discover the driving purpose of your company or brand. Facilitated by Invitro Innovation's Angela Koch in Singapore, Malaysia, Hong Kong, Indonesia, Thailand and Taiwan.
10 file downloads will be permitted
Digital Transformation Review 9: The Digital Strategy Imperative #DTR9Capgemini
In this edition of the Digital Transformation Review, we examine the approaches that organizations can take to crafting a strategy for a digital age, focusing on the following key questions: 1. How do you design a digital strategy in today’s uncertain and volatile world and understand how much reinvention of the organization is required? 2. Should your company become a
platform, or be a part of one? 3. What are the most successful approaches to executing digital strategy – acquisitions, partnerships, Greenfield?
Solution de transfert mobile - Formats d'échangeOCTO Technology
Les solutions de transfert mobiles sont nombreuses. Mais en pratique, c’est le format d’échange JSON qui est régulièrement utilisé. Déjà intégré pour le web, connu et lisible, ce format a tout pour plaire. Mais est-il le seul? Est-il réellement adapté au mobile?
Le poids de la données ainsi que sa vitesse d'encodage/décodage sont des facteurs importants pour diminuer le temps de chargement. De plus, une simplicité d'usage d'un format garantit une mise en place plus rapide, plus simple. La manipulation d'un JSON, par exemple, n'est pas si aisée en Android.
La présentation ci-dessous présente les trois formats comparés: JSON, Message Pack et Protocol Buffers.
Le développement logiciel a beaucoup évolué ces 10 dernières années : méthodes Agiles, intégration continue, tests, nouvelles architectures, Cloud, etc. Beaucoup de concepts utiles et nécessaires, mais pas suffisants à la réussite du développement d'un nouveau produit.
Cette session ne vous aidera malheureusement pas à développer une application sur base d'un épais cahier de spécifications, en respectant le budget, les délais et la qualité. Mais elle vous permettra de réussir un produit de qualité, à forte valeur ajoutée pour vos utilisateurs ou clients, dans les temps et au budget escompté !
Au travers de retours d'expérience récents, nous vous montrerons comment sont menés de tels développements chez OCTO. Nous vous parlerons notamment d'ingénierie, de gestion du produit, d'organisation et de process, mais également de culture.
Mais rassurez-vous, tout ceci restera applicable à tout projet de développement, développé avec ou sans OCTO !
geantsduweb.com
De l’autre côté de l’Atlantique, mais aussi à d’autres endroits du monde comme en France, des gens sont en train de réinventer la façon de faire de l’informatique. Ils s’appellent Amazon, Facebook, Google, Netflix ou LinkedIn pour les plus connus.
On les appelle les Géants du Web.
Cet ouvrage collaboratif synthétise et structure les pratiques, les solutions technologiques et les traits culturels les plus saillants de ces pionniers, en décryptant des sujets passionnants tels que l’obsession de la mesure, la bêta perpétuelle, DevOps, le Design for failure, la contribution systématique au logiciel libre ou encore le Feature Flipping.
How to Leverage Mainframe Data with Hadoop: Bridging the Gap Between Big Iron...Precisely
In this presentation from Syncsort and Cloudera, you'll learn how to bridge the technical, skill and cost gaps between mainframe and Hadoop. We discuss the top challenges of ingesting and processing mainframe data in Hadoop – and how to solve them.
Slides used for the keynote at the even Big Data & Data Science http://eventos.citius.usc.es/bigdata/
Some slides are borrowed from random hadoop/big data presentations
Getting to timely insights - how to make it happen?Mandie Quartly
This is a keynote I gave at the Unicom conferences: "Data Analytics and Behavioural Science Applied to Retail and Consumer Markets" and “AI, Machine Learning and Sentiment Analysis Applied to Finance” in June 2017. A video version can be found here: https://youtu.be/XP1sJV9GPMs
DevOps for Data Engineers - Automate Your Data Science Pipeline with Ansible,...Mihai Criveti
Automate your Data Science pipeline with Ansible, Python and Kubernetes - ODSC Talk
What is Data Science and the Data Science Landscape
Process and Flow
Understanding Data
The Data Science Toolkit
The Big Data Challenge
Cloud Computing Solutions
The rise of DevOps in Data Science
Automate your data pipeline with Ansible
Big Data Everywhere Chicago: Leading a Healthcare Company to the Big Data Pro...BigDataEverywhere
Mohammad Quraishi, Senior IT Principal, Cigna
Like Moses seeing the Promised Land from afar, we knew the big data journey would be worth it, but we didn't know how hard it would be. In this talk, I'll delve into the details of our big data and analytics initiative at Cigna,
Introduction to Cloud computing and Big Data-HadoopNagarjuna D.N
Cloud Computing Evolution
Why Cloud Computing needed?
Cloud Computing Models
Cloud Solutions
Cloud Jobs opportunities
Criteria for Big Data
Big Data challenges
Technologies to process Big Data- Hadoop
Hadoop History and Architecture
Hadoop Eco-System
Hadoop Real-time Use cases
Hadoop Job opportunities
Hadoop and SAP HANA integration
Summary
David Thoumas, OpenDataSoft CTO, about data API strategy (rich API vs. multiple end-points) for broadcasting data & making business
At APIdays 2012, the 1st European event dedicated to API world
Power to the People: A Stack to Empower Every User to Make Data-Driven DecisionsLooker
Infectious Media runs on data. But, as an ad-tech company that records hundreds of thousands of web events per second, they have have to deal with data at a scale not seen by most companies. You can not make decisions with data when people need to write manual SQL only for queries take 10-20 minutes to return. Infectious Media made the switch to Google BigQuery and Looker and now every member of every team can get the data they need in seconds.
Infectious Media shares:
- Why they chose their current stack
- Why faster data means happier customers
- Advantages and practical implications of storing and processing that much data
Check out the recording at https://info.looker.com/h/i/308848878-power-to-the-people-a-stack-to-empower-every-user-to-make-data-driven-decisions
Le Comptoir OCTO - Qu'apporte l'analyse de cycle de vie d'un audit d'éco-conc...OCTO Technology
par Nicolas Bordier (Consultant numérique responsable @OCTO Technology) et Alaric Rougnon-Glasson (Sustainable Tech Consultant @OCTO Technology)
Sur un exemple très concret d’audit d’éco-conception de l’outil de bilan carbone C’Bilan développé par ICDC (Filiales de la Caisse des dépôts et consignations) nous allons expliquer en quoi l’ACV (analyse de cycle de vie) a été déterminante pour identifier les pistes d’actions pour réduire jusqu'à 82% de l’empreinte environnementale du service.
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonnéOCTO Technology
Se conformer à la CSRD : un levier d'action insoupçonné
par Bintou Diarra (Manager EPM @OCTO Technology), Chloé Wibaux (Consulting & stratégie @Accenture) et Frédéric Lenci (Partner @OCTO Technology)
À partir de 2024, plus de 50 000 entreprises en Europe rendront compte de leurs impacts environnementaux et sociaux, ainsi que sur les mesures prises pour les améliorer. Pour répondre à cette obligation, elles devront se conformer à la Corporate Sustainability Reporting Directive (CSRD) en exploitant toutes leurs données, ce qui représente un défi majeur. Grâce à notre expertise dans le domaine de la donnée, pilotage opérationnel et solutions technologiques, nous sommes prêts à aider nos clients à relever ces défis liés au reporting CSRD. Lors de ce Comptoir, nous exposerons notre approche de gouvernance des données ESG, nos méthodes pour piloter les actions ainsi que les solutions pour générer le rapport et superviser les initiatives ESG de manière opérationnelle.
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudOCTO Technology
Comment choisir son architecture MLOps dans le cloud ?
par Baptiste Courbe (Senior Data Consultant & MLOps @OCTO Technology)
Choisir une architecture aura de grands impacts en termes de mise en œuvre, de maintenabilité, d'évolutivité, de passage à l’échelle, etc. À travers nos retours d’expérience sur les différents cloud providers, venez découvrir les différents niveaux de complexité de telles architectures et les critères de décision.
Que vous soyez débutant ou expert en MLOps, nous vous donnerons les clés pour faire les bons choix techniques.Vous repartirez avec une vue d’ensemble des bonnes pratiques et des pièges à éviter pour déployer vos applications de Machine Learning XGBoost ou LLM dans le cloud.
Vidéo Youtube : https://www.youtube.com/watch?v=j_5pI6iYRs4&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=57
Compte-rendu :
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...OCTO Technology
Par Philippe Stepniewski - ML Engineer
Et si nous développions ensemble un moteur de recherche multimodal texte-image ? Imaginons un moteur qui, à partir d'une simple description textuelle d'un produit sur un site d'e-commerce, puisse trouver instantanément les images correspondantes, sans nécessiter la saisie préalable de textes descriptifs pour nos produits ! Les bases de données vectorielles seront au centre de cet atelier. Il serait tout à fait possible de prendre une solution clé en main, mais où serait le fun là-dedans ? Rien de tel que de mettre les mains dans le code pour comprendre le fonctionnement de tels concepts, alors implémentons en une nous-mêmes ! Pré-requis : Pour assister à cet atelier et comprendre ce qui sera affiché à l’écran, il est recommandé d’être à l’aise dans la lecture de code Python manipulant des données vectorielles (type Numpy). Même si nous effectuerons des rappels en début d’atelier, des rudiments en data science vous aideront à comprendre les concepts manipulés : CNN, embedding, distance/similarités entre vecteurs.
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...OCTO Technology
Par Philippe Prados - Pionnier de l'informatique
Un des usages les plus fréquents des Larges Languages Models (LLM) consiste à répondre à des questions à partir d’une base documentaire : le fameux Retrieval Augmented Generation (RAG). Les démonstrations font leur effet wahou ! Les douleurs arrivent lorsque la solution est vraiment utilisée : le modèle répond à côté, ignore des informations présentes dans les documents… Comment aller plus loin ? Comment rendre la solution plus robuste ? Plus fiable ? Pour répondre à ces questions, nous allons mettre les mains dans le code, dans l’architecture, pour appliquer les concepts classiques de l’informatique aux RAG. Pré-requis : Même si un rappel sera fait au début, pour assister à cet atelier et comprendre ce qui sera affiché à l’écran, il est recommandé d’être à l’aise dans la lecture de code Python et les principes de base des modèles de langage et des bases vectorielles.
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...OCTO Technology
Maîtriser le RAG : connecter les modèles d’IA génératives aux données de l’entreprise
par Nicolas Cavallo (Head of Natural Language Processing @OCTO Technology)
Les chatbots intelligents qui répondent directement aux clients, des tâches accélérées et simplifiées pour les salariés via des services d’assistance helpdesk automatisés, etc. Après plusieurs mois de développement et d’implémentation de projets de génération augmentée de récupération (Retrieval Augmented Generation - RAG),faisons le bilan sur ce principal cas d’usage à base d’IA génératives.
Nous détaillerons le fonctionnement du RAG qui permet de connecter la puissance de l’IA générative au patrimoine informationnel des entreprises. Nous examinerons plus particulièrement les méthodologies pour les évaluer et les améliorer. Grâce à nos retours d’expérience, nous détaillerons des stratégies d’intégration dans un environnement souverain.
Vidéo Youtube : https://www.youtube.com/watch?v=9tmlseutQM8
Compte-rendu : https://blog.octo.com/maitriser-le-rag-retrieval-augmented-generation
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Technology
Les IA s'invitent au chevet des développeurs : rêve ou cauchemar ?
par Alain Faure (Architecte @OCTO Technology) et Alexandre Jeambrun (Programmeur, Crafter & Coach tech @OCTO Technology)
L’année 2023 marque le retour en force de l’intelligence artificielle avec la démocratisation des IA génératives qui ont le potentiel de perturber de nombreuses activités et en particulier le développement d'applications. La révolution de l’IA dans le développement de code n’a pas attendu le buzz de chatGPT. La société TabNine est créée en 2017 et dès 2018 Microsoft lance Intellicode, puis copilot en 2022. AWS se joint au mouvement avec CodeWhisperer. Tous ces outils sont opérationnels et leur base d'utilisateurs s'accroît jour après jour.
Effet de mode, évolution ou révolution, est ce que bientôt il y aura moins de développeurs ? Que savent vraiment faire ces IA ? Quels types de gains en attendre et comment les utiliser ? Comment les équipes accueillent elles ces outils ? Faut-il les former ? Quels risques y a-t-il à utiliser ces outils ? Bienvenue à un tour complet de l'IA dans le monde du développement
Lancement du livre Culture Test Vol.2
par Sylvie Ponthus (développeuse, chef de projet et coach agile @ OCTO Technology), Stéphane Bedeau (développeur et formateur @OCTO Technology) et Christophe Breheret-Girardin (Coach Craft, formateur et conférencier @OCTO Technology)
Et si tester, c’était mieux faire, faire plus rapidement ? À l'occasion de la sortie du premier volume de notre trilogie Culture Test, on vous donne rendez-vous le mardi 5 décembre dans les locaux d'OCTO Technology pour rencontrer les auteurs, confronter les points de vue, et vous dévoiler en exclusivité le prochain tome
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...OCTO Technology
Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ?
par Eric Biernat (Directeur Big Data Analytics @OCTO Technology) et Reynald Riviere (Manager Sénior Data Science @OCTO Technology)
Après l’électricité et l’Internet, nous sommes maintenant dans l’ère de l’IA avec des modèles qui optimisent l’usage de nos ressources … sans avoir conscience que ces modèles d’IA sont eux aussi énergivores. Venir découvrir comment l’écologie de l'IA est devenu notre quête avec le Green AI selon 3 angles de vue : le software, le hardware et le processus.
Vidéo Youtube : https://www.youtube.com/watch?v=7nWADBWA22c
Compte-rendu : https://blog.octo.com/comptoir-green-ai
OCTO Talks - State of the art Architecture dans les frontend webOCTO Technology
Vous avez dit architecture front 💅 ? Du CSS au CDN, personne ne sera épargné !
par Pierrette Bertrand (Head of Web Front Development @OCTO Technology), David Ostermann (Developpeur Front End @OCTO Technology) et Florian Leroy (Consultant Senior @OCTO Technology)
Qu’est-ce qu’une architecture front ? Selon que vous demandiez à un intégrateur, un développeur frontend, un développeur d’API ou tout simplement, à un architecte, la réponse sera bien différente. Car selon notre expérience, ce dernier, n’a en réalité qu’une partie de la réponse. Dans ce talk, nous regarderons ensemble les avantages et inconvénients de la multitude des choix possibles, à chaque étage, afin de donner une carte utile pour s’y retrouver. N’en déplaise aux développeurs front, le concept d’architecture front dépasse de loin le choix de leur framework préféré !
Cette Refcard est un condensé de bonnes pratiques qui s'adresse autant aux consommateurs qu'aux développeurs d'API GraphQL.
Elle aborde notamment la documentation, le versioning, le code first, le monitoring, la découvrabilité, la sécurité et le design de schéma.
Comment la culture d'entreprise peut faire la différence lors d'une fusion acquisition ?
par Lucie quach, Vanessa Govi et Frédéric Lenci
Comment la Culture s'est retrouvée parmi les sujets d'intégration clés lors d'une fusion ? Venez découvrir les coulisses de 6 mois de la co-construction entre ALD/Leaseplan pour définir la culture commune de l'entreprise de 15 700 personnes couvrant 60 pays et les supports que l'on a co-créés pour l'implémenter aussi bien au COMEX que sur le terrain.
Vidéo Youtube : https://www.youtube.com/watch?v=smnpq7Ey9pk
Compte-rendu : https://blog.octo.com/compte-rendu-du-comptoir-definition-de-la-culture-dentreprise-issue-dune-fusion
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? OCTO Technology
Par Antoine Moreau (Head of Data & AI @OCTO Technology), Pierre Sabrié (Directeur Prévision @Groupe Casino) et Nicolas Gery (Retail Strategy & Consulting Senior Manager @Accenture)
Comment sécuriser la disponibilité des produits en rayon, réduire la casse et les stocks, et gagner en efficacité en centrale et en magasins ?
Casino a réussi rapidement ce pari grâce à une solution algorithmique capable de traiter des données à la maille la plus fine (articles x magasins), de manière quotidienne en se basant sur les assets Cloud.
Rejoignez Pierre, Antoine et Nicolas qui vous partageront les réussites, les difficultés rencontrées et la démarche Casino.
Vidéo Youtube : https://www.youtube.com/watch?v=6oX4NvXZkTk&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=47
Compte-rendu : https://blog.octo.com/compte-rendu-le-comptoir-x-casino-comment-optimiser-les-stocks-en-lineaire-par-la-data/
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...OCTO Technology
Par Julie François (Consultante et formatrice RGPD @OCTO Technology)
Le RGPD a fêté ses 5 ans de mise en application et vous pensez toujours que votre équipe ne manipule pas “vraiment” de données personnelles ? Alors ce Comptoir OCTO est fait pour vous !
Chez OCTO, nous avons la conviction que le RGPD n'est pas qu'une affaire de juristes. Alors embarquez avec nous pour une sensibilisation rythmée et parlante. Au programme des retours d’expérience sur 5 années de mise en œuvre, qui vous feront découvrir le sujet de la protection des données autrement.
Vidéo Youtube : https://www.youtube.com/watch?v=uum3Qxisuu0&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=51
Compte-rendu : https://blog.octo.com/compte-rendu-du-comptoir-retour-sur-5-ans-de-mise-en-oeuvre-comment-le-rgpd-a-reinvente-la-protection-des-donnees-personnelles/
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...OCTO Technology
par Wilde Diogene (Manager EPM @OCTO Technology), Samir Benyoucef (Consultant @OCTO Technology) et Elghali Guessous (Delivery Manager EPM @OCTO Technology)
Les approches traditionnelles de planification, basées sur un consensus entre différents départements (ventes, marketing, finance), peuvent être consommatrices de temps et aboutir à des prévisions inexactes. Découvrez comment exploiter l'IA et le Machine Learning pour créer une plateforme de prévision du chiffre d'affaires intelligente. En associant le planning distribué de Pigment (EPM) et la puissance prédictive de Dataiku (Auto ML), vous bénéficiez d'un gain de temps significatif dans votre planification, d'une prise de décision éclairée et d'une meilleure gestion de vos ressources (humaines, production, stocks...).
Surmontez les incertitudes et pilotez votre entreprise vers le succès avec confiance.
Vidéo Youtube : https://www.youtube.com/watch?v=tBwlWAksFik&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=48
Compte-rendu : https://blog.octo.com/affinez-vos-forecast-avec-le-planning-distribue-et-lautoml/
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionOCTO Technology
Par Brice Le Roux (GreenOps @OCTO Technology) et Frédéric Menetreux (Architecte d’entreprise @CA-GIP)
Vous souhaitez acquérir les leviers d’action pour mettre en œuvre la sobriété numérique et mesurer les impacts de votre infrastructure ? Rejoignez Brice et Frédéric qui vous partageront les réussites et améliorations de la formation réalisée au Crédit Agricole par OCTO Academy
Vidéo Youtube : https://www.youtube.com/watch?v=efrJT_ZJ5fk&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=50
Compte-rendu : https://blog.octo.com/les-comptoirs-octo-la-formation-au-coeur-de-la-strategie-deco-conception-de-linfra/
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...OCTO Technology
Par Wassel Alazhar (Architecte @OCTO Technology), François-Xavier Bouffant (Engineering Manager @Wakam )et Etienne Debost (Head of Architecture @Wakam)
La littérature promeut les plateformes digitales comme un levier de croissance pour les entreprises et un vrai avantage stratégique dans l’économie numérique.
Force est de constater que les entreprises qui se lancent dans cette aventure échouent : elles n’arrivent pas à dépasser le Proof Of Concept ou bien s’enlisent dans la paralysis analysis après des millions d’euros dépensés.
Nous vous partageons un retour sur l'expérience Wakam. Nous avons réussi à amorcer une dynamique pour construire une plateforme (tunnel de distribution en marque blanche, APIs, web apps, blockchain...) qui permet d’innover, de fournir des capacités métiers sous forme de commodité et d’assurer une expérience hyper personnalisable aux partenaires, en moins de 6 mois
Vidéo Youtube : https://www.youtube.com/watch?v=tfioZZTfX1M&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=49
Compte-rendu : https://blog.octo.com/compte-rendu-du-comptoir-une-vision-de-plateforme-sans-leadership-tech-nest-quhallucination/
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...OCTO Technology
Par Wilde Diogene (Manager EPM @OCTO Technology), Samir Benyoucef (Consultant @OCTO Technology) et Matthieu Mlatac (Consultant sénior @OCTO Technology)
Plongez dans les bénéfices des solutions EPM pour améliorer la gestion du bilan carbone de votre entreprise. En simplifiant la collecte et l’analyse, ces solutions offrent une vision claire de votre empreinte environnementale et permettent d’identifier les opportunités de réductions de vos émissions. Les bénéfices pour votre entreprise incluent une meilleure efficacité opérationnelle, des coûts réduits, une réputation renforcée et une contribution significative aux efforts de lutte contre le changement climatique.
Vidéo Youtube : https://www.youtube.com/watch?v=ak--ftSio-I&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=46
Compte-rendu : https://blog.octo.com/lavenir-de-la-gestion-du-bilan-carbone-les-solutions-epm-au-service-de-la-performance-environnementale/
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...OCTO Technology
Par Mehdi Houacine (Consultant Senior @OCTO Technology), Sofia Calcagno (Machine Learning Engineer @OCTO Technology) et Thomas Dobrzelewski (Lead Product Manager B2C @Wakam)
Wakam a comme ambition de réinventer le métier de l'assurance en y introduisant plus de transparence et de sécurisation via le blockchain. Or, ce type d'innovation structurante pose plusieurs questions : qui seront ses utilisateurs cibles ? Quel sera son impact sur le processus métier ? Nous vous présenterons ici une démarche liant expérimentation et déploiement via les outils du DDD permettant de faire pivoter un produit rapidement.
Vidéo Youtube : https://www.youtube.com/watch?v=Q3ElzHtV40s&list=PLBD8R108T9T4D3mcLiDpT67f9ERg1Hm2r&index=45
Compte-rendu : https://blog.octo.com/compte-rendu-du-comptoir-continuous-delivery-et-continuous-discovery-pour-construire-lassurance-de-demain/
L’état de l’art des tests front-end
Maîtriser et fiabiliser son code sont aujourd’hui devenus incontournables pour tout développeur devant faire face à des architectures Web de plus en plus riches et complexes.
Il existe des outils pour réaliser des tests front-end d’applications Web et répondre aux besoins d’un développement de qualité.
Nous vous invitons ici à parcourir l’écosystème de ces tests front-end d’applications Web. Que vous soyez déjà convaincus par les tests ou tout simplement curieux, ce document vous guidera pour les mettre en place sur vos projets.
Smart TV Buyer Insights Survey 2024 by 91mobiles.pdf91mobiles
91mobiles recently conducted a Smart TV Buyer Insights Survey in which we asked over 3,000 respondents about the TV they own, aspects they look at on a new TV, and their TV buying preferences.
The Art of the Pitch: WordPress Relationships and SalesLaura Byrne
Clients don’t know what they don’t know. What web solutions are right for them? How does WordPress come into the picture? How do you make sure you understand scope and timeline? What do you do if sometime changes?
All these questions and more will be explored as we talk about matching clients’ needs with what your agency offers without pulling teeth or pulling your hair out. Practical tips, and strategies for successful relationship building that leads to closing the deal.
Connector Corner: Automate dynamic content and events by pushing a buttonDianaGray10
Here is something new! In our next Connector Corner webinar, we will demonstrate how you can use a single workflow to:
Create a campaign using Mailchimp with merge tags/fields
Send an interactive Slack channel message (using buttons)
Have the message received by managers and peers along with a test email for review
But there’s more:
In a second workflow supporting the same use case, you’ll see:
Your campaign sent to target colleagues for approval
If the “Approve” button is clicked, a Jira/Zendesk ticket is created for the marketing design team
But—if the “Reject” button is pushed, colleagues will be alerted via Slack message
Join us to learn more about this new, human-in-the-loop capability, brought to you by Integration Service connectors.
And...
Speakers:
Akshay Agnihotri, Product Manager
Charlie Greenberg, Host
GraphRAG is All You need? LLM & Knowledge GraphGuy Korland
Guy Korland, CEO and Co-founder of FalkorDB, will review two articles on the integration of language models with knowledge graphs.
1. Unifying Large Language Models and Knowledge Graphs: A Roadmap.
https://arxiv.org/abs/2306.08302
2. Microsoft Research's GraphRAG paper and a review paper on various uses of knowledge graphs:
https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/
Kubernetes & AI - Beauty and the Beast !?! @KCD Istanbul 2024Tobias Schneck
As AI technology is pushing into IT I was wondering myself, as an “infrastructure container kubernetes guy”, how get this fancy AI technology get managed from an infrastructure operational view? Is it possible to apply our lovely cloud native principals as well? What benefit’s both technologies could bring to each other?
Let me take this questions and provide you a short journey through existing deployment models and use cases for AI software. On practical examples, we discuss what cloud/on-premise strategy we may need for applying it to our own infrastructure to get it to work from an enterprise perspective. I want to give an overview about infrastructure requirements and technologies, what could be beneficial or limiting your AI use cases in an enterprise environment. An interactive Demo will give you some insides, what approaches I got already working for real.
Essentials of Automations: Optimizing FME Workflows with ParametersSafe Software
Are you looking to streamline your workflows and boost your projects’ efficiency? Do you find yourself searching for ways to add flexibility and control over your FME workflows? If so, you’re in the right place.
Join us for an insightful dive into the world of FME parameters, a critical element in optimizing workflow efficiency. This webinar marks the beginning of our three-part “Essentials of Automation” series. This first webinar is designed to equip you with the knowledge and skills to utilize parameters effectively: enhancing the flexibility, maintainability, and user control of your FME projects.
Here’s what you’ll gain:
- Essentials of FME Parameters: Understand the pivotal role of parameters, including Reader/Writer, Transformer, User, and FME Flow categories. Discover how they are the key to unlocking automation and optimization within your workflows.
- Practical Applications in FME Form: Delve into key user parameter types including choice, connections, and file URLs. Allow users to control how a workflow runs, making your workflows more reusable. Learn to import values and deliver the best user experience for your workflows while enhancing accuracy.
- Optimization Strategies in FME Flow: Explore the creation and strategic deployment of parameters in FME Flow, including the use of deployment and geometry parameters, to maximize workflow efficiency.
- Pro Tips for Success: Gain insights on parameterizing connections and leveraging new features like Conditional Visibility for clarity and simplicity.
We’ll wrap up with a glimpse into future webinars, followed by a Q&A session to address your specific questions surrounding this topic.
Don’t miss this opportunity to elevate your FME expertise and drive your projects to new heights of efficiency.
Slack (or Teams) Automation for Bonterra Impact Management (fka Social Soluti...Jeffrey Haguewood
Sidekick Solutions uses Bonterra Impact Management (fka Social Solutions Apricot) and automation solutions to integrate data for business workflows.
We believe integration and automation are essential to user experience and the promise of efficient work through technology. Automation is the critical ingredient to realizing that full vision. We develop integration products and services for Bonterra Case Management software to support the deployment of automations for a variety of use cases.
This video focuses on the notifications, alerts, and approval requests using Slack for Bonterra Impact Management. The solutions covered in this webinar can also be deployed for Microsoft Teams.
Interested in deploying notification automations for Bonterra Impact Management? Contact us at sales@sidekicksolutionsllc.com to discuss next steps.
Accelerate your Kubernetes clusters with Varnish CachingThijs Feryn
A presentation about the usage and availability of Varnish on Kubernetes. This talk explores the capabilities of Varnish caching and shows how to use the Varnish Helm chart to deploy it to Kubernetes.
This presentation was delivered at K8SUG Singapore. See https://feryn.eu/presentations/accelerate-your-kubernetes-clusters-with-varnish-caching-k8sug-singapore-28-2024 for more details.
Generating a custom Ruby SDK for your web service or Rails API using Smithyg2nightmarescribd
Have you ever wanted a Ruby client API to communicate with your web service? Smithy is a protocol-agnostic language for defining services and SDKs. Smithy Ruby is an implementation of Smithy that generates a Ruby SDK using a Smithy model. In this talk, we will explore Smithy and Smithy Ruby to learn how to generate custom feature-rich SDKs that can communicate with any web service, such as a Rails JSON API.
UiPath Test Automation using UiPath Test Suite series, part 3DianaGray10
Welcome to UiPath Test Automation using UiPath Test Suite series part 3. In this session, we will cover desktop automation along with UI automation.
Topics covered:
UI automation Introduction,
UI automation Sample
Desktop automation flow
Pradeep Chinnala, Senior Consultant Automation Developer @WonderBotz and UiPath MVP
Deepak Rai, Automation Practice Lead, Boundaryless Group and UiPath MVP
6. Digitalization
!
Yesterday, Internet was a tool
!
Today, numerical technologies are changing everything : the
way we communicate, work, learn, do business… the way we
live
11. !
All this data will end in the IT system of some company, and
they will make money from it
“Big data is the new oil”
!
It’s not only about data : there will be new usages, new
services… new competitors !
!
Sooner or later, every company will face the problematics the
web giants had to face
22. !
They measured everything :
! Power efficiency of all hardware parts
! Performance to power ratio, $ per transaction, etc.
! Cost models of failures
!
!
!
22
For them : Commodity hardware is 3 to 12 times cheaper
Start to design datacenters only based on commodity hw
Start to design application distributed on thousands of non
reliable machines
23. Small is beautiful, but…
!
!
Web giants are the champions of infrastructure automation, that’
why they became champions of the cloud
!
Need to completely redefine application resilience, since the
hardware is not reliable, and constantly fails.
!
23
Having to deploy on many machines changes everything : you
need to automate things
Resilience must be handled by software. Especially for
databases
25. NoSQL
! « Not Only SQL »
! To go beyond RDBMS limitations
!
!
!
!
!
Google : BigTable
Amazon : DynamoDB
Facebook : Cassandra, sharded key-value mysql
LinkedIn : Voldemort
etc
26. The need for speed
Amazon:
Google:
Yahoo:
Bing:
… and availability
100ms of degradation of latency
more than 500ms in page load
more than 400ms in page load
more than 1s in page load
Amazon: 1 min of unavailability
=
=
=
=
-1% of revenues
-20% of page views
+5 to 9% of bounce
-2.8% in ad revenues
=
50 K$ of revenue loss
(The blink of an eye is 300 ms)
26
Les géants du Web
27. New storage architectures and the CAP theorem
« Availability »
Users can access the system
(read or write)
A is also related to response time.
The more you look for consistency,
the worst will be the latency
Large websites use
“eventually consistent”
datastores (NoSQL)
DBRMS universe
Can pick
only two !
« Consistency »
All users have the same
version of information
« Partition tolerance »
The system continues to work in case
of network partition, ie. when different
nodes cannot communicate
28. NoSQL
!
A radically different approach to database
!
!
!
!
Distributed storage, tolerating failure by replicating data
Consistency constraint is relaxed : eventual consistency
Focus is put on availability and low response times (low latency)
Linear horizontal scalability
!
Variety of datamodels
! key/value
! column oriented
! graph
29. Different sharding approaches
!
Google
! BigTable, with the distributed storage file system GFS
!
Amazon
! Famous paper about Dynamo, key/value store organised in a ring
of replication with consistent hashing, and original approach to
eventual consistency
!
Facebook
! Cassandra, inspired form both BigTable, and Dynamo
! also : specific design of a sharded mysql used as key/value store
!
29
…
31. Exponential growth of capacities
CPU, memory, network bandwith, storage … all of them followed the Moore’s law
Source :
http://strata.oreilly.com/2011/08/building-data-startups.html
31
33. Google paper : Map Reduce
Key
principles
! Parallelize,
distribute,
and
load-‐balance
processing
! Fault-‐tolerant
(hide
failure
of
nodes
during
the
processing)
! Co-‐loca;on
of
processing
and
data
33
36. A new way of doing BI and data analytics
!
Consider that all the data is valuable, and store everything :
structured and un-structured data
!
Scale to peta-bytes of storage, at a low cost
! Yahoo has a cluster of 42’000 nodes
!
!
36
Don’t force the data to match a predefined data model (tables
and schema), instead use a “schema-on-read” approach
Don’t move the data (ETL) to process it, instead move the
processing to the data (Map-Reduce)
38. Build vs. Buy
Strategic and
innovative Assets
Faster
SPECIFIC
Unique,
Differentiating
Perceived as
a competitive advantage
Common to all companies in a sector
Perceived as an advantage for
production
COMMERCIAL
SOFTWARE
PACKAGES
BPO
Common to all companies
Perceived as a resource
Resources
Cheaper
38
39. They use and contribute massively to open source
!
Facebook : MySQL, Cassandra, Thrift, open compute (open
source hardware and datacenter design)…
!
Google : android, GWT, chromium, linux kernel…
! through their papers : GFS, MapReduce
!
LinkedIn : Voldemort, Kafka, Zoie …
!
NetFlix : a huge list of software…
I trust software I hacked myself
39
40. A way to expose services of
applications, to be re-used by
others to build and enrich their
own services and applications
40
46. Be a platform from the beginning
Memo de Jeff Bezos (2002)
1) All teams will expose their data and functionality through service
interfaces.
2) Teams must communicate with each other through these interfaces.
3) There will be no other form of interprocess communication allowed: no
direct linking, no direct reads of another team’s data store, no sharedmemory model, no back-doors whatsoever. The only communication
allowed is via service interface calls over the network.
4) It doesn’t matter what technology they use. HTTP, Corba, Pubsub,
custom protocols — doesn’t matter. Bezos doesn’t care.
5) All service interfaces, without exception, must be designed from the
ground up to be externalizable. That is to say, the team must plan and
design to be able to expose the interface to developers in the outside world.
No exceptions.
6) Anyone who doesn’t do this will be fired.
7) Thank you; have a nice day!
46
47. Open API : advantages to do it
!
Leverage effect
! enrich your service portfolio and business opportunities with many
partners
!
Do bigger things by using « collective intelligence of the world »
!
Create an ecosystem around you
!
Improve the quality
! If you want your APIs to be used,
! Companies of the world are looking at what you are doing à it
brings pressure on you to improve
!
Attract talented people
! The best way to attract good developers : they will want to come
and work with those who created these APIs
47
50. We try things. We celebrate our failures.
This is a company where it is absolutely OK
to try something that is very hard, have it not be
successful, take the learning and apply it to
something new
Eric Schmidt
former Google’s CEO
Move fast and break things
Mark Zuckerberg
Facebook
Failure is totally OK.
As long as you fail fast
50
Marissa Mayer
Yahoo
52. The minimum viable product
is that version of a new product
which allows a team to collect the
maximum amount of validated
learning about customers with the
least effort
Eric Ries
pioneer of Lean Startup
52
61. How long would it take your
organization to deploy a change that involves
just one single line of code?
Mary Poppendieck
From Concept To Cash
61
62. !
2 deployments per day
!
!
A deployment somewhere in datacenters every 11 seconds
Any moment, an average of 10’000 servers are being
updated
!
10 deployments / day
62
63. Why deploy continuously ?
!
!
Improve Time To Market
Learn Faster
IDEAS
(and it needs metrics !)
LEARN FAST
DATA
CODE FAST
CODE
MEASURE FAST
63
64. Why deploy continuously ?
!
!
Smaller change = Smallest Time-to-Recover
You reduce the risks, by lowering the impacts of problems
64
68. Tools and practices
! Continuous integration
! TDD - Test Driven Development
(automated unit testing)
! Code reviews
! Continuous code auditing (sonar…)
! Functional test automation
! Strong non-functional tests
(performance, availability…)
! Automated packaging and deployment,
independent of target environment
! Zero downtime deployment
68
69. Feature flipping
!
!
!
Push code to production != push a feature to production
Enable/ Disable a new feature on production in seconds
“Graceful degradation” during peaks of traffic
!
Can be used for A/B testing !
69
70. Datamodel evolution strategy example
Datamodel
Version N
Datamodel
Version N
V.1
Datamodel
Version N+1
Hybrid
V.1 + V.2
Datamodel
Version N+1
V.2
70
71. Dark Launch @ Facebook
We chose to simulate the impact of
many real users hitting many machines by
means of a “dark launch” period in which
Facebook pages would make connections to
the chat servers, query for presence
information and simulate message sends
without a single UI element drawn
on the page.
YES !
IT’S A LOAD TEST ON A PRODUCTION PLATFORM !
71
77. NetFlix Hystrix
77
Hystrix is a latency and fault tolerance library
designed to isolate points of access to remote
systems, services and 3rd party libraries, stop
cascading failure and enable resilience in complex
distributed systems where failure is inevitable.
79. In God we trust.
All others must bring data
W. Edwards Deming
79
80. Everyone must be able to experiment, learn and iterate.
Position, obedience and tradition should not hold no power.
For innovation to flourish, measurement must rule.
Werner Vogels ,
CTO of Amazon
80
81. !
They measure everything
!
!
!
!
!
!
!
81
usage
infrastructure, from datacenter to HDD power consumption
operational processes efficiency
…
self-service restaurant queue length !
management practices (Google)
Good ideas come from the field, from real data, because
managers always have biases when they try to interpret
situations
82. Best size for teams
82
http://www.qsm.com/process_improvement_01.html
89. If an idea worths 1,
a well-executed idea worths
$100...$1’000...$10’000’000 !
90. Attract and hire the best
WHAT FACEBOOK EMPLOYEES
EARN:
Senior software engineer $132,503
Product manager $130,143
User interface engineer $129,136
Machine learning engineer $123,379
Engineering manager $123,379
Source : www.glassdoor.com/index.htm
Software engineer $111,562
Project manager $98,302
Operations engineer $82,626
Site reliability engineer $80,413
Software engineering intern $74,700
Account executive $62,124
Network engineer $121,500
Business development mgr $115,000
!
They are also known to have tough technical interviews, to get
only the best developers !
91. Develop the talents !
!
Lots of training
!
Code review / Pair programming
!
Mentoring
!
Slack-time dedicated to RnD , or personal projects
!
Hackatons
!
Strong open source involvement