YouTube: https://www.youtube.com/watch?v=H5F0D55nKX4&index=11&list=PLnKL6-WWWE_WNYmP_P5x2SfzJ7jeJNzfp
Tomasz Kowalczewski
Language: English
Hardware fails, applications fail, our code... well, it fails too (at least mine). To prevent software failure we test. Hardware failures are inevitable, so we write code that tolerates them, then we test. From tests we gather metrics and act upon them by improving parts that perform inadequately. Measuring right things at right places in an application is as much about good engineering practices and maintaining SLAs as it is about end user experience and may differentiate successful product from a failure.
In order to act on performance metrics such as max latency and consistent response times we need to know their accurate value. The problem with such metrics is that when using popular tools we get results that are not only inaccurate but also too optimistic.
During my presentation I will simulate services that require monitoring and show how gathered metrics differ from real numbers. All this while using what currently seems to be most popular metric pipeline - Graphite together with com.codahale metrics library - and get completely false results. We will learn to tune it and get much better accuracy. We will use JMeter to measure latency and observe how falsely reassuring the results are. We will check how graphite averages data just to helplessly watch important latency spikes disappear. Finally I will show how HdrHistogram helps in gathering reliable metrics. We will also run tests measuring performance of different metric classes
Hardware fails, applications fail, our code... well, it fails too (at least mine). To prevent software failure we test. Hardware failures are inevitable, so we write code that tolerates them, then we test. From tests we gather metrics and act upon them by improving parts that perform inadequately. Measuring right things at right places in an application is as much about good engineering practices and maintaining SLAs as it is about end user experience and may differentiate successful product from a failure.
In order to act on performance metrics such as max latency and consistent response times we need to know their accurate value. The problem with such metrics is that when using popular tools we get results that are not only inaccurate but also too optimistic.
During my presentation I will simulate services that require monitoring and show how gathered metrics differ from real numbers. All this while using what currently seems to be most popular metric pipeline - Graphite together with metrics.dropwizard.io library - and get completely false results. We will learn to tune it and get much better accuracy. We will use JMeter to measure latency and observe how falsely reassuring the results are. Finally I will show how HdrHistogram helps in gathering reliable metrics. We will also run tests measuring performance of different metric classes.
Hardware fails, applications fail, our code... well, it fails too (at least mine). To prevent software failure we test. Hardware failures are inevitable, so we write code that tolerates them, then we test. From tests we gather metrics and act upon them by improving parts that perform inadequately. Measuring right things at right places in an application is as much about good engineering practices and maintaining SLAs as it is about end user experience and may differentiate successful product from a failure.
In order to act on performance metrics such as max latency and consistent response times we need to know their accurate value. The problem with such metrics is that when using popular tools we get results that are not only inaccurate but also too optimistic.
During my presentation I will simulate services that require monitoring and show how gathered metrics differ from real numbers. All this while using what currently seems to be most popular metric pipeline - Graphite together with metrics.dropwizard.io library - and get completely false results. We will learn to tune it and get much better accuracy. We will use JMeter to measure latency and observe how falsely reassuring the results are. Finally I will show how HdrHistogram helps in gathering reliable metrics. We will also run tests measuring performance of different metric classes.
This talk describes the general architecture common to anomaly detections systems that are based on probabilistic models. By examining several realistic use cases, I illustrate the common themes and practical implementation methods.
4Developers 2015: Java Memory Consistency Model or intro to multithreaded pro...PROIDEA
Tomasz Borek, Jacek Jagieła
Language: English
JMM is often (incorrectly) treated as Java Memory Management, which it's NOT. It's NOT about Eden, Survivors, GC, heap memory and all that. It's about Memory Consistency, or making things visible to threads, and making things understandable for humans. I'll tell you what is memory model, why should it be consistent, will explain memory barriers, volatile, final, synchronization and from there will delve in lock-free, wait-free and prepping this with examples all along.
4Developers 2015: Overly Attached ORM - Wojciech ChojnackiPROIDEA
Wojciech Chojnacki
Language: English
Zewnętrzne vendory - takie, jak biblioteki ORM - lubią trwale wiązać się z naszymi aplikacjami. Niestety, czasami taki "związek" przestaje nam być na rękę, a samo myślenie o jego usunięciu przyprawia o ból głowy. W mojej prezentacji chciałbym przedstawić kilka dość prostych zabiegów, dzięki którym uniezależnimy logikę naszej aplikacji od jej źródeł danych.
4Developers 2015: Czterej jeźdźcy apokalipsy, gdy Armagedon w JVM nadchodzi. ...PROIDEA
Jarosław Pałka
Language: Polish
JVM towarzyszy mi w projektach od prawie 15 lat. Łączą nas dobre chwile i złe wspomnienia, którymi będę się chciał z wami podzielić. Opowiem o 4 jeźdźcach apokalipsy którzy zamieszkują maszynę wirtualną i od czasu do czas dają znać o swojej obecności. Podstępnie zakradają się do zakamarków waszego systemu operacyjnego, procesorów i obszarów pamięci RAM, powodując że wasza aplikacja na produkcji zachowuje się jak wygłodniałe acz powolne zombie.
Kim są Ci odrażający jeźdźcy? To GC, operacje I/O, wątki i interpretowany bytecode. Postaram się na przykładach pokazać narzędzia dostępne w JDK jak i w waszym systemie operacyjnym, które pozwolą wam rozpoznać z którym z nich macie do czynienia a także techniki radzenia sobie z spadkiem wydajności. Prezentacja będzie pokazywać ekstremalne przypadki, które wymagać będą nietypowych technik, jednak wszystko odbędzie się zgodnie z zasadami sztuki a pokazane rozwiązania oparte będą na API i technikach dostępnym w każdym JDK.
Więc o czym tak naprawdę będzie?
Usłyszycie słów kilka o "off-heap memory", gdy wszystkie rozsądne techniki optymalizacji GC zawiodły.
A także o "non-blocking IO" i "zero-copy buffers", gdy już klasyczne IO zawiodło.
Nie obędzie się bez łagodnego wstępu do java.util.concurrent.atomic.* i "lock free programming", gdy już nie radzicie sobie z ilością wątków.
A na koniec opowiem o "just-in time compilation" i jak pisać kod, który jest "JIT friendly".
To wszystko i więcej o wydajności i optymalizacji JVM, dla waszej radości i uciechy przyszłych pokoleń.
PLNOG14: Jak radzimy sobie z rzekomym nieprzystawaniem prawa autorskiego do r...PROIDEA
Krzysztof Siewicz
Language: Polish
Jak radzimy sobie z rzekomym nieprzystawaniem prawa autorskiego do rzeczywistości "cyfrowej": - standardowy regulamin korzystania z prasy (http://iwp.pl/aktualnosci_show.php?id_aktualnosc=587) jako próba samoregulacji; - pomysły nowelizacji przepisów o dozwolonym użytku, jakie ostatnio zaproponowało MKiDN; - czy i jak Komisja Europejska zreformuje przepisy tworzone w czasach "WEB 1.0"?
Zarejestruj się na kolejną edycję PLNOG już dzisiaj: krakow.plnog.pl
Hardware fails, applications fail, our code... well, it fails too (at least mine). To prevent software failure we test. Hardware failures are inevitable, so we write code that tolerates them, then we test. From tests we gather metrics and act upon them by improving parts that perform inadequately. Measuring right things at right places in an application is as much about good engineering practices and maintaining SLAs as it is about end user experience and may differentiate successful product from a failure.
In order to act on performance metrics such as max latency and consistent response times we need to know their accurate value. The problem with such metrics is that when using popular tools we get results that are not only inaccurate but also too optimistic.
During my presentation I will simulate services that require monitoring and show how gathered metrics differ from real numbers. All this while using what currently seems to be most popular metric pipeline - Graphite together with metrics.dropwizard.io library - and get completely false results. We will learn to tune it and get much better accuracy. We will use JMeter to measure latency and observe how falsely reassuring the results are. Finally I will show how HdrHistogram helps in gathering reliable metrics. We will also run tests measuring performance of different metric classes.
Hardware fails, applications fail, our code... well, it fails too (at least mine). To prevent software failure we test. Hardware failures are inevitable, so we write code that tolerates them, then we test. From tests we gather metrics and act upon them by improving parts that perform inadequately. Measuring right things at right places in an application is as much about good engineering practices and maintaining SLAs as it is about end user experience and may differentiate successful product from a failure.
In order to act on performance metrics such as max latency and consistent response times we need to know their accurate value. The problem with such metrics is that when using popular tools we get results that are not only inaccurate but also too optimistic.
During my presentation I will simulate services that require monitoring and show how gathered metrics differ from real numbers. All this while using what currently seems to be most popular metric pipeline - Graphite together with metrics.dropwizard.io library - and get completely false results. We will learn to tune it and get much better accuracy. We will use JMeter to measure latency and observe how falsely reassuring the results are. Finally I will show how HdrHistogram helps in gathering reliable metrics. We will also run tests measuring performance of different metric classes.
This talk describes the general architecture common to anomaly detections systems that are based on probabilistic models. By examining several realistic use cases, I illustrate the common themes and practical implementation methods.
4Developers 2015: Java Memory Consistency Model or intro to multithreaded pro...PROIDEA
Tomasz Borek, Jacek Jagieła
Language: English
JMM is often (incorrectly) treated as Java Memory Management, which it's NOT. It's NOT about Eden, Survivors, GC, heap memory and all that. It's about Memory Consistency, or making things visible to threads, and making things understandable for humans. I'll tell you what is memory model, why should it be consistent, will explain memory barriers, volatile, final, synchronization and from there will delve in lock-free, wait-free and prepping this with examples all along.
4Developers 2015: Overly Attached ORM - Wojciech ChojnackiPROIDEA
Wojciech Chojnacki
Language: English
Zewnętrzne vendory - takie, jak biblioteki ORM - lubią trwale wiązać się z naszymi aplikacjami. Niestety, czasami taki "związek" przestaje nam być na rękę, a samo myślenie o jego usunięciu przyprawia o ból głowy. W mojej prezentacji chciałbym przedstawić kilka dość prostych zabiegów, dzięki którym uniezależnimy logikę naszej aplikacji od jej źródeł danych.
4Developers 2015: Czterej jeźdźcy apokalipsy, gdy Armagedon w JVM nadchodzi. ...PROIDEA
Jarosław Pałka
Language: Polish
JVM towarzyszy mi w projektach od prawie 15 lat. Łączą nas dobre chwile i złe wspomnienia, którymi będę się chciał z wami podzielić. Opowiem o 4 jeźdźcach apokalipsy którzy zamieszkują maszynę wirtualną i od czasu do czas dają znać o swojej obecności. Podstępnie zakradają się do zakamarków waszego systemu operacyjnego, procesorów i obszarów pamięci RAM, powodując że wasza aplikacja na produkcji zachowuje się jak wygłodniałe acz powolne zombie.
Kim są Ci odrażający jeźdźcy? To GC, operacje I/O, wątki i interpretowany bytecode. Postaram się na przykładach pokazać narzędzia dostępne w JDK jak i w waszym systemie operacyjnym, które pozwolą wam rozpoznać z którym z nich macie do czynienia a także techniki radzenia sobie z spadkiem wydajności. Prezentacja będzie pokazywać ekstremalne przypadki, które wymagać będą nietypowych technik, jednak wszystko odbędzie się zgodnie z zasadami sztuki a pokazane rozwiązania oparte będą na API i technikach dostępnym w każdym JDK.
Więc o czym tak naprawdę będzie?
Usłyszycie słów kilka o "off-heap memory", gdy wszystkie rozsądne techniki optymalizacji GC zawiodły.
A także o "non-blocking IO" i "zero-copy buffers", gdy już klasyczne IO zawiodło.
Nie obędzie się bez łagodnego wstępu do java.util.concurrent.atomic.* i "lock free programming", gdy już nie radzicie sobie z ilością wątków.
A na koniec opowiem o "just-in time compilation" i jak pisać kod, który jest "JIT friendly".
To wszystko i więcej o wydajności i optymalizacji JVM, dla waszej radości i uciechy przyszłych pokoleń.
PLNOG14: Jak radzimy sobie z rzekomym nieprzystawaniem prawa autorskiego do r...PROIDEA
Krzysztof Siewicz
Language: Polish
Jak radzimy sobie z rzekomym nieprzystawaniem prawa autorskiego do rzeczywistości "cyfrowej": - standardowy regulamin korzystania z prasy (http://iwp.pl/aktualnosci_show.php?id_aktualnosc=587) jako próba samoregulacji; - pomysły nowelizacji przepisów o dozwolonym użytku, jakie ostatnio zaproponowało MKiDN; - czy i jak Komisja Europejska zreformuje przepisy tworzone w czasach "WEB 1.0"?
Zarejestruj się na kolejną edycję PLNOG już dzisiaj: krakow.plnog.pl
Andrzej Wolski - RIPE
Language: English
Securing BGP has been on the todo list of the the community at large for many years. Resource Public Key Infrastructure (RPKI) is the latest and most successful initiative. RPKI solves one of the most fundamental problems, it allows to verify whether an Autonomous System (AS) is authorized to announce a specific IP address range. We will look at closely at the state of the RPKI deployment. Successes and failures globally, define areas for improvement and quickly zoom in into our region.
Register to the next PLNOG edition: krakow.plnog.pl
4Developers 2015: Designing for failure - architecting fault-tolerant system ...PROIDEA
Jakub Derda
Language: English
Designing an enterprise system is not a black magic nowadays - indeed, a lot of experienced developers have some knowledge and experience in designing solutions. However, when SLAs, distribution and integration with legacy systems come into play, the complexity increases exponentially.
This lecture will discuss most common pitfalls in designing fault-talerant systems, ways to plan for failure, how to predict where (and how) system may fail and ways to fail gracefully.
We'll exploit both simple systems and more complex architectural blueprints, using EIP to solve/decrease influence of some of the problems.
PLNOG14: Przyszłość usług transmisji danych L2 - Andrzej Zieliński, Mariusz K...PROIDEA
Andrzej Zieliński – UPC Biznes
Mariusz Kasprzak – UPC Biznes
Mateusz Firuta – Ciena
Language: Polish
Do 2017 roku, ponad 75% globalnego zapotrzebowania na pasmo transmisyjne będzie realizowane za pomocą technologii Ethernet następnej generacji, która spełnia wymagania na szybkie dostarczanie różnorodnych usług, większe przepływności niż obecnie oferowane, pełną transparentność oraz bezpieczeństwo. Wymogi te odpowiadają na rosnące oczekiwania dostarczania usług wysokiej jakości opartej o doświadczenia użytkowników (Quality of Experience).
Metro Ethernet Forum (MEF) jest globalnie rozpoznawalną instytucją, która standaryzuje i promuje sieci oraz usługi Ethernet w celu przyśpieszenie adaptacji tej technologii w rozszerzonych środowiskach sieciowych rozwiązań w chmurze, ICT i multimediów.
UPC Biznes oraz paneuropejska spółka-matka Liberty Global, wspólnie wdrożyła usługę Carrier Ethernet z certyfikatem MEF CE 2,0 w relacjach zarówno krajowych jak i europejskich.
Wspólnie z naszym partnerem technologicznym, Ciena, przedstawimy nasze postrzeganie trendów technologicznych na rynku, naszą drogę do certyfikacji i wdrożenie usługi Carrier Ethernet z punktu widzenia wartości dla naszych partnerów biznesowych.
Przedstawimy również w jaką stroną będę ewoluować usługi transmisji danych bazujące na popycie różnorodnej konsumpcji danych, i których bazą stanowi Carrier Ethernet
Zarejestruj się na kolejną edycję PLNOG: krakow.plnog.pl
PLNOG14: Historia epickiej wyprawy cz. I - Robert Woźny, Łukasz TrąbińskiPROIDEA
Łukasz Trąbiński - Orange
Robert Woźny - Orange
Language - Polish
Od czasów sieci ARPANET i lat ‘60tych, poprzez NFSNET, aż po Internet, który znamy obecnie.
Zarejestruj się na kolejną edycję PLNOG: krakow.plnog.pl
4Developers 2015: Jaka piękna katastrofa w doskonałym świecie, rzecz o archit...PROIDEA
Jarosław Pałka
Language: Polish
System powstają i upadają. Często to człowiek zawodzi, na różnych etapach tworzenia. Czasami gdy system jest jeszcze na deskach kreślarskich, czasami gdy już myśl w kod się przekuwa, gdy podejmujemy tysiące tych drobnych decyzji, "to się zrobi później", "będzie jeszcze czas".
Zapominamy ciągle jednak o tym, że jutro nie nadchodzi nigdy. I system upadają, pod naporem użytkowników, bez dostępu do szybkich dysków, niezawodnej sieci i stabilnych "chmur".
Ta opowieść, będzie historią takich upadków i o tym co ja i ludzie z którymi pracowałem w projektach mogliśmy zrobić lepiej, by ustrzec się przed koszmarem nadgodzin i utrzymywania systemu w jako taki zdrowiu. Opowiem o wzorcach, które pozwalają wam budować stabilne systemy. Opowiem o "fail fast", "circuit braker", "supervisor" i innych wynalazkach.
Tym razem jednak nie będzie tylko o technologii, będzie też o nas, o naszych błędach, o słabościach naszych i organizacji w których pracujemy, o braku komunikacji pomiędzy zespołami, o napiętych terminach i "business value", hegemonii procesów i braku zdrowego rozsądku.
PLNOG14: Od Nova Network przez Neutron do Opencontrail czyli sieć w Openstack...PROIDEA
Michał Dopierała - Allegro
Szymon Kowalski - Allegro
Language: Polish
W czasie naszej prezentacji przedstawimy ewolucję jaką przeszła warstwa sieciowa zaimplementowana w rozwiązaniach cloud stosowanych w Grupie Allegro opartych na Openstack.
Pokażemy jak poradziliśmy sobie z problemem skali w środowiskach przekraczających 100 compute node’ow opartych na różnych wersjach Openstack - począwszy od Essex z Nova Network kończąc na Icehouse z Opencontrail. Przedstawimy różnice między nimi oraz problemy na jakie natrafiliśmy w czasie wdrożeń oraz użytkowania
Zarejestruj się już teraz na kolejną edycję PLNOG: krakow.plnog.pl
4Developers 2015: Testowanie ze Spockiem - Dominik PrzybyszPROIDEA
Czy można pisać testy bez takich bibliotek jak JUnit, TestNG i festAssert? Mockować bez Mockito? Łapać wyjątki bez catch-exception? Oczywiście, że można. Odpowiedzią jest Spock.
Podczas prezentacji przyjrzymy się możliwościom Spocka w testowaniu kodu javowego i grooviowego. Zobaczymy jak pisać w stylu given-when-then, sprawdząć warunki nie używając słowa "assert", jak zasilać testy danymi, udawać, że mamy zależności testowanego obiektu i pisać testy integracyjne z podniesionym kontekstem springa.
4Developers 2015: Analiza ruchu w aplikacji AngularJS - Kamil BorkowskiPROIDEA
Speaker: Kamil Borkowski
Language: Polish
Prezentacja na temat integracji i wykorzystania możliwości Google Analitycs z aplikacjami opartymi o AngularJS przy pomocy biblioteki Angulartics.
4Developers 2015: Making sense of agile requirements - Łukasz SzydłoPROIDEA
Łukasz Szydło
Language: English
Delivering the right software can be a challenge. You can have resilient architecture, modern flat UI, be intrinsically motivated, use sexiest tools and languages, and it all does not matter if a software you produce does not solve the right problem. Even when you know what the right problem is, you have to figure out which set of features will solve it; then how to transfer this knowledge to the whole team so that they know what to implement. During my presentation I will try to make sense out of it and show you some tools and techniques that you can use. P.S. if you think "user story" or "use case" is enough think twice.
PLNOG14: Prawo w Internecie, fakty i mity - Agata KowalskaPROIDEA
Agata Kowalska - Chabasiewicz Kowalska i Partnerzy
Language: Polish
Trudno jest porównać Internet, jego możliwości, znaczenie dla użytkowników i tempo rozwoju do jakiegokolwiek innego współczesnego zjawiska. Zdecydowana większość dzisiejszego społeczeństwa nie wyobraża sobie funkcjonowania bez niego. Jednocześnie, Internet wciąż jest postrzegany jako przestrzeń poza prawem – nieintuicyjne wydaje się odniesienie do niego większości obowiązujących regulacji i przepisów.
Z tego powodu powstało wiele mitów dotyczących korzystania z Internetu zarówno dla celów osobistych, jak i zawodowych czy gospodarczych. Celem wystąpienia jest odniesienie się do tych mitów i wyjaśnienie podstawowych kwestii prawnych związanych z Internetem. Słuchacze będą mogli dowiedzieć się:
− dlaczego pobieranie plików metodą peer-to-peer narusza prawo, a pobieranie plików umieszczonych w chmurze nie?
− czy ma znaczenie, jak długo bezprawny plik znajduje się na dysku twardym? Czy usunięcie go przed upływem 24h chroni przed odpowiedzialnością?
− czy można linkować do wszystkich utworów umieszczonych w Internecie?
− czy można wykorzystać w witrynie swojej firmy cudze zdjęcia umieszczone w Internecie? Czy wystarczy podać źródło albo nazwisko autora, żeby udostępnić takie utwory?
− czym są licencje Creative Commons? W jaki sposób można wykorzystać je w swojej działalności gospodarczej?
− jakie zabezpieczenia należy zapewnić podczas przetwarzania danych osobowych? Dlaczego wymagana jest zgoda na przetwarzanie danych osobowych w celach marketingowych?
− czy internauta który żąda usunięcia jego danych osobowych albo informacji na jego temat, powinien uzasadnić swoje żądania? Czym jest tzw. prawo do zapomnienia?
Założeniem wystąpienia jest wywołanie dyskusji na temat obecności prawa w Internecie i rozwiązania dylematów, przed którymi stoją jego użytkownicy, na co dzień wykorzystujący funkcjonujące w nim rozwiązania w swojej działalności.
Zarejestruj się na kolejną edycją PLNOG już teraz: krakow.plnog.pl
PLNOG14: Usługi zarządzane ICT jako nowy etap partnerstwa z Twoim klientem bi...PROIDEA
Krzysztof Burzyński - Business Innovation
Language: Polish
Czego potrzebują przedsiębiorstwa?
Dlaczego usługi zarządzane, a nie tylko Cloud?
Co na to dział IT?
Przegląd najnowszych trendów technologii wspierających usługi zarządzane:
- zarządzany druk
- zdalny dostęp do LAN
- narzędzia ITSM
- telefonia biznesowa VoIP
- zarządzane bezpieczeństwo
Modele biznesowe usług zarządzanych
Kto odniesie sukces?
PLNOG14: Overlay Networking, nowatorskie podejście do budowy wydajnej sieci D...PROIDEA
Artur Gmaj - Comp
W dzisiejszych czasach użytkownicy i administratorzy przyzwyczaili się do wszechobecnej wirtualizacji w domenie serwerowej i pamięci masowych. Automatyzacja zadań, technologie SDN (Software Defined Network) i NFV (Network Function Virtualization) wymagają od projektantów Data Center zmiany spojrzenia na funkcjonalność urządzeń LAN. Obecnie wymogiem podstawowym jest aby przełączniki i routery w DC zapewniały uniwersalne metody transportu (Underlay Networking) dla systemów wirtualnych (Overlay Networking). Na rynku istnieje kilka standardów zaadoptowanych do budowy sieci w centrum danych. Prezentacja omawia koncepcje Overlay Network oraz zawiera przegląd mechanizmów takich jak VxLAN, MPLS, EVPN oraz sposoby ich implementacji.
Zarejestruj się już teraz na kolejną edycję PLNOG: krakow.plnog.pl
TRUDNE ROZMOWY
Sytuacji, w których pojawiają się emocje, nie da się uniknąć. Ważniejsze jest to, co w takiej sytuacji zrobimy. Zazwyczaj instynktownie stajemy się agresywni, aby obronić to, co jest dla nas ważne albo unikamy konfrontacji, żeby nie pogorszyć sytuacji. Bardzo rzadko tego typu reakcje dają pozytywny efekt. Potrzebna jest inna droga.
W czasie spotkania omówimy i przećwiczymy podejście, dzięki któremu:
- będzie bardziej jasne czego my chcemy w danej sytuacji
- będzie bardziej jasne czego chce druga strona
- będziemy używać języka, który nie wzbudza dodatkowych emocji
- będziemy mogli łatwiej zinterpretować swoje emocje i emocje innych
- będziemy wiedzieć, w jaki sposób postawić granice nie atakując innych.
Jeśli odnajdujesz w tym coś ważnego dla siebie, przyjdź. A jeśli po prostu chciałbyś się dowiedzieć o co chodzi, to też przyjdź.
JDD2014: Introducing groovy into JAVA project - Yuriy ChulovskyyPROIDEA
This is story about thing you wanted to do but didn't yet. We will start with comparison of Groovy and Java code, will see how to test with Groovy and finally will try to sell it to manager
PLNOG 13: Robert Ślaski: NFV, Virtualise networks or die – the voice of the r...PROIDEA
Robert Ślaski – Chief network consultant at Atende S.A., with 15 years experience in ICT, responsible for most demanding and challenging company projects within operator networks and mobile technologies – i.e. for ATMAN, T-Mobile, Polkomtel, OST112. The Cisco Certified Internetwork Expert CCIE #10877 (Routing & Switching and Security).
Topic of Presentation: NFV, Virtualise networks or die – the voice of the realist
Language: Polish
Abstract: Currently we are on the leading edge of NFV (Network Function Virtualization) hype, but what does it entirely mean? Is the network element virtualization concept a quite new one? Does it mean the same as SDN? When it makes sense, when it is a salvation, and when it would probably fail? For the SP or for the enterprise? An introduction to the topic and a couple of unanswered questions.
JDD2014: Spring 4, JAVA EE 7 or both? - Ivar GrimstadPROIDEA
Problems choosing between Java EE and Spring? Or do you want to use both in combination? Then this session is something for you.
In this session I will go through the similarities and differences between Spring 4 and Java EE 7. I will go through what you need to consider to configure and combine the two approaches. In the demo part of the presentation I will show how to integrate existing Spring 4 components into a Java EE 7 application. And as if that is not enough, I will also do it the other way around, that is to integrate existing Java EE 7 components into a Spring 4 application.
Strengths and weaknesses with the approaches will then be explored and lessons learned summarized.
PLNOG14: Network and Application Performance Monitoring - Bob CroninPROIDEA
Bob Cronin - NetScout
Language: English
IT organizations must overcome many challenges to realize the benefits of a consolidated data center and successfully execute mandated consolidation initiatives. NetScout’s Unified Service Delivery Management framework and the nGeniusONE Unified Performance Management platform provide a comprehensive, unified view of service delivery of application and network performance across virtual and physical environments This unitied view enables IT organizations to optimize data center infrastructure investments, protect against service degradations, and simplify the operation of complex, multi-tier application environments in consolidated data centers like ORACLE, Exchange and SharePoint.
Enterprise organizations are dependent upon Unified Communications (UC) to stay connected. Organizations cannot afford poor user experiences or service disruptions when people are counting on them to provide a critical service or resource they need. The nGeniusONE Unified Performance Management platform simplifies UC service delivery management, optimizes the infrastructure to assure availability, quality and consistency of services and protects the user experience by providing real-time holistic visibility across complex, multi-vendor, distributed UC environments.
Register to the next PLNOG edition - krakow.plnog.pl
4Developers 2015: Mikroserwisy - szanse, dylematy i problemy - Łukasz SowaPROIDEA
Łukasz Sowa
Language: Polish
Mikroserwisy to ostatnio jeden z najgorętszych tematów poruszanych w dyskusjach na temat architektury systemów. W środowisku programistów daje się odczuć zachwyt i ekscytację zaletami tego podejścia. Rzadko wspomina się jednak o dylematach i problemach, z którymi mierzą się zespoły tworzące architekturę mikroserwisową. W mojej prezentacji postaram się przedstawić możliwie najpełniejszy obraz tego co może spotkać lidera zespołu, architekta i programistę mikroserwisów.
Odpowiem na pytania:
- Co to są mikroserwisy?
- Co oferują w stosunku do tradycyjnego, monolitycznego podejścia?
- Jakie kwestie należy rozstrzygnąć projektując system operaty na mikroserwisach?
- Na jakie problemy można trafić?
Speaker: Przemysław Skowron
Language: Polish
Od setek lat banki lub ich klienci są okradani. W XXI wieku nadal ma to miejsce, zmianie uległ sposób, teraz najczęściej robi się to za pomocą kanałów elektronicznych, czyli tam gdzie przeniosła się spora część naszego życia.
Na przykładzie, prawdopodobnie największej kradzieży pieniędzy z banków w elektronicznej ich historii (Carbanak: ok. 1 mld $) i innych "mniejszych", przeprowadzę analizę znanych z raportów hipotez (sposobów ataków) i co zmienić by napastnikowi było trudniej. Aby pójść krok dalej, zaproponuję wykorzystanie metodyki KillChain, pozwalającej w sposób bardziej efektywny niż "stara szkoła", planować obronę naszych cennych zasobów.
CONFidence: http://confidence.org.pl/pl/
This presentation gives a lot of insights into Jimdo's infrastructure that hosts 20 million websites. To enable our application developers to quickly launch and improve their services, we've created a platform called Wonderland that does all the infrastructure work them.
In this talk, I present the parts of Wonderland related to monitoring and logging. You can learn about our Prometheus setup as well as how we stream log messages from Docker to Logstash.
Andrzej Wolski - RIPE
Language: English
Securing BGP has been on the todo list of the the community at large for many years. Resource Public Key Infrastructure (RPKI) is the latest and most successful initiative. RPKI solves one of the most fundamental problems, it allows to verify whether an Autonomous System (AS) is authorized to announce a specific IP address range. We will look at closely at the state of the RPKI deployment. Successes and failures globally, define areas for improvement and quickly zoom in into our region.
Register to the next PLNOG edition: krakow.plnog.pl
4Developers 2015: Designing for failure - architecting fault-tolerant system ...PROIDEA
Jakub Derda
Language: English
Designing an enterprise system is not a black magic nowadays - indeed, a lot of experienced developers have some knowledge and experience in designing solutions. However, when SLAs, distribution and integration with legacy systems come into play, the complexity increases exponentially.
This lecture will discuss most common pitfalls in designing fault-talerant systems, ways to plan for failure, how to predict where (and how) system may fail and ways to fail gracefully.
We'll exploit both simple systems and more complex architectural blueprints, using EIP to solve/decrease influence of some of the problems.
PLNOG14: Przyszłość usług transmisji danych L2 - Andrzej Zieliński, Mariusz K...PROIDEA
Andrzej Zieliński – UPC Biznes
Mariusz Kasprzak – UPC Biznes
Mateusz Firuta – Ciena
Language: Polish
Do 2017 roku, ponad 75% globalnego zapotrzebowania na pasmo transmisyjne będzie realizowane za pomocą technologii Ethernet następnej generacji, która spełnia wymagania na szybkie dostarczanie różnorodnych usług, większe przepływności niż obecnie oferowane, pełną transparentność oraz bezpieczeństwo. Wymogi te odpowiadają na rosnące oczekiwania dostarczania usług wysokiej jakości opartej o doświadczenia użytkowników (Quality of Experience).
Metro Ethernet Forum (MEF) jest globalnie rozpoznawalną instytucją, która standaryzuje i promuje sieci oraz usługi Ethernet w celu przyśpieszenie adaptacji tej technologii w rozszerzonych środowiskach sieciowych rozwiązań w chmurze, ICT i multimediów.
UPC Biznes oraz paneuropejska spółka-matka Liberty Global, wspólnie wdrożyła usługę Carrier Ethernet z certyfikatem MEF CE 2,0 w relacjach zarówno krajowych jak i europejskich.
Wspólnie z naszym partnerem technologicznym, Ciena, przedstawimy nasze postrzeganie trendów technologicznych na rynku, naszą drogę do certyfikacji i wdrożenie usługi Carrier Ethernet z punktu widzenia wartości dla naszych partnerów biznesowych.
Przedstawimy również w jaką stroną będę ewoluować usługi transmisji danych bazujące na popycie różnorodnej konsumpcji danych, i których bazą stanowi Carrier Ethernet
Zarejestruj się na kolejną edycję PLNOG: krakow.plnog.pl
PLNOG14: Historia epickiej wyprawy cz. I - Robert Woźny, Łukasz TrąbińskiPROIDEA
Łukasz Trąbiński - Orange
Robert Woźny - Orange
Language - Polish
Od czasów sieci ARPANET i lat ‘60tych, poprzez NFSNET, aż po Internet, który znamy obecnie.
Zarejestruj się na kolejną edycję PLNOG: krakow.plnog.pl
4Developers 2015: Jaka piękna katastrofa w doskonałym świecie, rzecz o archit...PROIDEA
Jarosław Pałka
Language: Polish
System powstają i upadają. Często to człowiek zawodzi, na różnych etapach tworzenia. Czasami gdy system jest jeszcze na deskach kreślarskich, czasami gdy już myśl w kod się przekuwa, gdy podejmujemy tysiące tych drobnych decyzji, "to się zrobi później", "będzie jeszcze czas".
Zapominamy ciągle jednak o tym, że jutro nie nadchodzi nigdy. I system upadają, pod naporem użytkowników, bez dostępu do szybkich dysków, niezawodnej sieci i stabilnych "chmur".
Ta opowieść, będzie historią takich upadków i o tym co ja i ludzie z którymi pracowałem w projektach mogliśmy zrobić lepiej, by ustrzec się przed koszmarem nadgodzin i utrzymywania systemu w jako taki zdrowiu. Opowiem o wzorcach, które pozwalają wam budować stabilne systemy. Opowiem o "fail fast", "circuit braker", "supervisor" i innych wynalazkach.
Tym razem jednak nie będzie tylko o technologii, będzie też o nas, o naszych błędach, o słabościach naszych i organizacji w których pracujemy, o braku komunikacji pomiędzy zespołami, o napiętych terminach i "business value", hegemonii procesów i braku zdrowego rozsądku.
PLNOG14: Od Nova Network przez Neutron do Opencontrail czyli sieć w Openstack...PROIDEA
Michał Dopierała - Allegro
Szymon Kowalski - Allegro
Language: Polish
W czasie naszej prezentacji przedstawimy ewolucję jaką przeszła warstwa sieciowa zaimplementowana w rozwiązaniach cloud stosowanych w Grupie Allegro opartych na Openstack.
Pokażemy jak poradziliśmy sobie z problemem skali w środowiskach przekraczających 100 compute node’ow opartych na różnych wersjach Openstack - począwszy od Essex z Nova Network kończąc na Icehouse z Opencontrail. Przedstawimy różnice między nimi oraz problemy na jakie natrafiliśmy w czasie wdrożeń oraz użytkowania
Zarejestruj się już teraz na kolejną edycję PLNOG: krakow.plnog.pl
4Developers 2015: Testowanie ze Spockiem - Dominik PrzybyszPROIDEA
Czy można pisać testy bez takich bibliotek jak JUnit, TestNG i festAssert? Mockować bez Mockito? Łapać wyjątki bez catch-exception? Oczywiście, że można. Odpowiedzią jest Spock.
Podczas prezentacji przyjrzymy się możliwościom Spocka w testowaniu kodu javowego i grooviowego. Zobaczymy jak pisać w stylu given-when-then, sprawdząć warunki nie używając słowa "assert", jak zasilać testy danymi, udawać, że mamy zależności testowanego obiektu i pisać testy integracyjne z podniesionym kontekstem springa.
4Developers 2015: Analiza ruchu w aplikacji AngularJS - Kamil BorkowskiPROIDEA
Speaker: Kamil Borkowski
Language: Polish
Prezentacja na temat integracji i wykorzystania możliwości Google Analitycs z aplikacjami opartymi o AngularJS przy pomocy biblioteki Angulartics.
4Developers 2015: Making sense of agile requirements - Łukasz SzydłoPROIDEA
Łukasz Szydło
Language: English
Delivering the right software can be a challenge. You can have resilient architecture, modern flat UI, be intrinsically motivated, use sexiest tools and languages, and it all does not matter if a software you produce does not solve the right problem. Even when you know what the right problem is, you have to figure out which set of features will solve it; then how to transfer this knowledge to the whole team so that they know what to implement. During my presentation I will try to make sense out of it and show you some tools and techniques that you can use. P.S. if you think "user story" or "use case" is enough think twice.
PLNOG14: Prawo w Internecie, fakty i mity - Agata KowalskaPROIDEA
Agata Kowalska - Chabasiewicz Kowalska i Partnerzy
Language: Polish
Trudno jest porównać Internet, jego możliwości, znaczenie dla użytkowników i tempo rozwoju do jakiegokolwiek innego współczesnego zjawiska. Zdecydowana większość dzisiejszego społeczeństwa nie wyobraża sobie funkcjonowania bez niego. Jednocześnie, Internet wciąż jest postrzegany jako przestrzeń poza prawem – nieintuicyjne wydaje się odniesienie do niego większości obowiązujących regulacji i przepisów.
Z tego powodu powstało wiele mitów dotyczących korzystania z Internetu zarówno dla celów osobistych, jak i zawodowych czy gospodarczych. Celem wystąpienia jest odniesienie się do tych mitów i wyjaśnienie podstawowych kwestii prawnych związanych z Internetem. Słuchacze będą mogli dowiedzieć się:
− dlaczego pobieranie plików metodą peer-to-peer narusza prawo, a pobieranie plików umieszczonych w chmurze nie?
− czy ma znaczenie, jak długo bezprawny plik znajduje się na dysku twardym? Czy usunięcie go przed upływem 24h chroni przed odpowiedzialnością?
− czy można linkować do wszystkich utworów umieszczonych w Internecie?
− czy można wykorzystać w witrynie swojej firmy cudze zdjęcia umieszczone w Internecie? Czy wystarczy podać źródło albo nazwisko autora, żeby udostępnić takie utwory?
− czym są licencje Creative Commons? W jaki sposób można wykorzystać je w swojej działalności gospodarczej?
− jakie zabezpieczenia należy zapewnić podczas przetwarzania danych osobowych? Dlaczego wymagana jest zgoda na przetwarzanie danych osobowych w celach marketingowych?
− czy internauta który żąda usunięcia jego danych osobowych albo informacji na jego temat, powinien uzasadnić swoje żądania? Czym jest tzw. prawo do zapomnienia?
Założeniem wystąpienia jest wywołanie dyskusji na temat obecności prawa w Internecie i rozwiązania dylematów, przed którymi stoją jego użytkownicy, na co dzień wykorzystujący funkcjonujące w nim rozwiązania w swojej działalności.
Zarejestruj się na kolejną edycją PLNOG już teraz: krakow.plnog.pl
PLNOG14: Usługi zarządzane ICT jako nowy etap partnerstwa z Twoim klientem bi...PROIDEA
Krzysztof Burzyński - Business Innovation
Language: Polish
Czego potrzebują przedsiębiorstwa?
Dlaczego usługi zarządzane, a nie tylko Cloud?
Co na to dział IT?
Przegląd najnowszych trendów technologii wspierających usługi zarządzane:
- zarządzany druk
- zdalny dostęp do LAN
- narzędzia ITSM
- telefonia biznesowa VoIP
- zarządzane bezpieczeństwo
Modele biznesowe usług zarządzanych
Kto odniesie sukces?
PLNOG14: Overlay Networking, nowatorskie podejście do budowy wydajnej sieci D...PROIDEA
Artur Gmaj - Comp
W dzisiejszych czasach użytkownicy i administratorzy przyzwyczaili się do wszechobecnej wirtualizacji w domenie serwerowej i pamięci masowych. Automatyzacja zadań, technologie SDN (Software Defined Network) i NFV (Network Function Virtualization) wymagają od projektantów Data Center zmiany spojrzenia na funkcjonalność urządzeń LAN. Obecnie wymogiem podstawowym jest aby przełączniki i routery w DC zapewniały uniwersalne metody transportu (Underlay Networking) dla systemów wirtualnych (Overlay Networking). Na rynku istnieje kilka standardów zaadoptowanych do budowy sieci w centrum danych. Prezentacja omawia koncepcje Overlay Network oraz zawiera przegląd mechanizmów takich jak VxLAN, MPLS, EVPN oraz sposoby ich implementacji.
Zarejestruj się już teraz na kolejną edycję PLNOG: krakow.plnog.pl
TRUDNE ROZMOWY
Sytuacji, w których pojawiają się emocje, nie da się uniknąć. Ważniejsze jest to, co w takiej sytuacji zrobimy. Zazwyczaj instynktownie stajemy się agresywni, aby obronić to, co jest dla nas ważne albo unikamy konfrontacji, żeby nie pogorszyć sytuacji. Bardzo rzadko tego typu reakcje dają pozytywny efekt. Potrzebna jest inna droga.
W czasie spotkania omówimy i przećwiczymy podejście, dzięki któremu:
- będzie bardziej jasne czego my chcemy w danej sytuacji
- będzie bardziej jasne czego chce druga strona
- będziemy używać języka, który nie wzbudza dodatkowych emocji
- będziemy mogli łatwiej zinterpretować swoje emocje i emocje innych
- będziemy wiedzieć, w jaki sposób postawić granice nie atakując innych.
Jeśli odnajdujesz w tym coś ważnego dla siebie, przyjdź. A jeśli po prostu chciałbyś się dowiedzieć o co chodzi, to też przyjdź.
JDD2014: Introducing groovy into JAVA project - Yuriy ChulovskyyPROIDEA
This is story about thing you wanted to do but didn't yet. We will start with comparison of Groovy and Java code, will see how to test with Groovy and finally will try to sell it to manager
PLNOG 13: Robert Ślaski: NFV, Virtualise networks or die – the voice of the r...PROIDEA
Robert Ślaski – Chief network consultant at Atende S.A., with 15 years experience in ICT, responsible for most demanding and challenging company projects within operator networks and mobile technologies – i.e. for ATMAN, T-Mobile, Polkomtel, OST112. The Cisco Certified Internetwork Expert CCIE #10877 (Routing & Switching and Security).
Topic of Presentation: NFV, Virtualise networks or die – the voice of the realist
Language: Polish
Abstract: Currently we are on the leading edge of NFV (Network Function Virtualization) hype, but what does it entirely mean? Is the network element virtualization concept a quite new one? Does it mean the same as SDN? When it makes sense, when it is a salvation, and when it would probably fail? For the SP or for the enterprise? An introduction to the topic and a couple of unanswered questions.
JDD2014: Spring 4, JAVA EE 7 or both? - Ivar GrimstadPROIDEA
Problems choosing between Java EE and Spring? Or do you want to use both in combination? Then this session is something for you.
In this session I will go through the similarities and differences between Spring 4 and Java EE 7. I will go through what you need to consider to configure and combine the two approaches. In the demo part of the presentation I will show how to integrate existing Spring 4 components into a Java EE 7 application. And as if that is not enough, I will also do it the other way around, that is to integrate existing Java EE 7 components into a Spring 4 application.
Strengths and weaknesses with the approaches will then be explored and lessons learned summarized.
PLNOG14: Network and Application Performance Monitoring - Bob CroninPROIDEA
Bob Cronin - NetScout
Language: English
IT organizations must overcome many challenges to realize the benefits of a consolidated data center and successfully execute mandated consolidation initiatives. NetScout’s Unified Service Delivery Management framework and the nGeniusONE Unified Performance Management platform provide a comprehensive, unified view of service delivery of application and network performance across virtual and physical environments This unitied view enables IT organizations to optimize data center infrastructure investments, protect against service degradations, and simplify the operation of complex, multi-tier application environments in consolidated data centers like ORACLE, Exchange and SharePoint.
Enterprise organizations are dependent upon Unified Communications (UC) to stay connected. Organizations cannot afford poor user experiences or service disruptions when people are counting on them to provide a critical service or resource they need. The nGeniusONE Unified Performance Management platform simplifies UC service delivery management, optimizes the infrastructure to assure availability, quality and consistency of services and protects the user experience by providing real-time holistic visibility across complex, multi-vendor, distributed UC environments.
Register to the next PLNOG edition - krakow.plnog.pl
4Developers 2015: Mikroserwisy - szanse, dylematy i problemy - Łukasz SowaPROIDEA
Łukasz Sowa
Language: Polish
Mikroserwisy to ostatnio jeden z najgorętszych tematów poruszanych w dyskusjach na temat architektury systemów. W środowisku programistów daje się odczuć zachwyt i ekscytację zaletami tego podejścia. Rzadko wspomina się jednak o dylematach i problemach, z którymi mierzą się zespoły tworzące architekturę mikroserwisową. W mojej prezentacji postaram się przedstawić możliwie najpełniejszy obraz tego co może spotkać lidera zespołu, architekta i programistę mikroserwisów.
Odpowiem na pytania:
- Co to są mikroserwisy?
- Co oferują w stosunku do tradycyjnego, monolitycznego podejścia?
- Jakie kwestie należy rozstrzygnąć projektując system operaty na mikroserwisach?
- Na jakie problemy można trafić?
Speaker: Przemysław Skowron
Language: Polish
Od setek lat banki lub ich klienci są okradani. W XXI wieku nadal ma to miejsce, zmianie uległ sposób, teraz najczęściej robi się to za pomocą kanałów elektronicznych, czyli tam gdzie przeniosła się spora część naszego życia.
Na przykładzie, prawdopodobnie największej kradzieży pieniędzy z banków w elektronicznej ich historii (Carbanak: ok. 1 mld $) i innych "mniejszych", przeprowadzę analizę znanych z raportów hipotez (sposobów ataków) i co zmienić by napastnikowi było trudniej. Aby pójść krok dalej, zaproponuję wykorzystanie metodyki KillChain, pozwalającej w sposób bardziej efektywny niż "stara szkoła", planować obronę naszych cennych zasobów.
CONFidence: http://confidence.org.pl/pl/
This presentation gives a lot of insights into Jimdo's infrastructure that hosts 20 million websites. To enable our application developers to quickly launch and improve their services, we've created a platform called Wonderland that does all the infrastructure work them.
In this talk, I present the parts of Wonderland related to monitoring and logging. You can learn about our Prometheus setup as well as how we stream log messages from Docker to Logstash.
100% Visibility - Jason Yee - Codemotion Amsterdam 2018Codemotion
Monitoring systems has traditionally been the responsibility of Ops teams. But our goal is to align devs, ops, & other roles in the organization (aka DevOps), so we need to ensure they are all monitoring critical business systems & do so in ways that take advantage of the unique perspective that each role offers. In this session, I’ll break down the expansive monitoring landscape into 5 categories that each provide a unique view of your systems. I’ll show how each category allows your team to have complete observability, avoid blind spots, & work together to quickly resolve issues & outages.
Canary Deployments on Amazon EKS with Istio - SRV305 - Chicago AWS SummitAmazon Web Services
Within complex systems, even well-written code can behave in unexpected ways and lead to outages and critical issues. Amazon Elastic Container Service for Kubernetes (Amazon EKS) enables you to easily run Kubernetes, quickly deploy new code, and revert to safe, stable releases when issues are identified. But the damage done in the short period between deployment and rollback can be significant. In this session, we show you how to limit the effect of unforeseen issues using canary deployments with Istio and how to better monitor your applications in Amazon EKS and spot potential problems before they affect your customer base. This session is brought to you by AWS partner, Datadog.
Data Modelling is an important tool in the toolbox of a developer. By building and communicating a shared understanding of the domain they're working with, their applications and APIs are more useable and maintainable. However, as you scale up your technical teams, how do you keep these benefits whilst avoiding time-consuming meetings every time something new comes along? This talk reminds ourselves of key data modelling technique and how our use of Kafka changes and informs them. It then examines how these patterns change as more teams join your organisation and how Kafka comes into its own in this world.
Creating Modern Metadata Systems [FutureStack16 NYC]New Relic
FutureStack16 NYC - Aug 9, 2016
Bill Sammons, Head of Content Enrichment, DowJones
Technology Stack Transformation
New Relic Insights for Classification Engine Transition
In this deck, Torsten Hoefler from ETH Zurich presents: Scientific Benchmarking of Parallel Computing Systems.
"Measuring and reporting performance of parallel computers constitutes the basis for scientific advancement of high-performance computing. Most scientific reports show performance improvements of new techniques and are thus obliged to ensure reproducibility or at least interpretability. Our investigation of a stratified sample of 120 papers across three top conferences in the field shows that the state of the practice is not sufficient. For example, it is often unclear if reported improvements are in the noise or observed by chance. In addition to distilling best practices from existing work, we propose statistically sound analysis and reporting techniques and simple guidelines for experimental design in parallel computing. We aim to improve the standards of reporting research results and initiate a discussion in the HPC field. A wide adoption of this minimal set of rules will lead to better reproducibility and interpretability of performance results and improve the scientific culture around HPC."
Learn more: https://htor.inf.ethz.ch/
Sign up for our insideHPC Newsletter: http://insidehpc.com/newsletter
A 2015 presentation to introduce users to Java profiling. The Yourkit Profiler is used for concrete examples. The following topics are covered:
1) When to profile
2) Profiler sampling
3) Profiler instrumentation
4) Where to Start
5) Macro vs micro benchmarking
Using Time Series for Full Observability of a SaaS PlatformDevOps.com
Aleksandr Tavgen from Playtech, the world’s largest online gambling software supplier, will share how they are using InfluxDB 2.0, Flux, and the OpenTracingAPI to gain full observability of their platform. In addition, he will share how InfluxDB has served as the glue to cope with multiple sets of time series data.
How Machines Help Humans Root Case Issues @ NetflixC4Media
Video and slides synchronized, mp3 and slide download available at URL https://bit.ly/2wGIFlU.
Seth Katz discusses ways to build tools designed to enhance the cognitive ability of humans through automated analysis to speed root cause detection in distributed systems. He focuses on examples from large scale systems at Netflix, on the systems directly involved in browsing and playing Netflix movies, and how pairing automation with human feedback reduces time to detect and resolve issues. Filmed at qconnewyork.com.
Seth Katz is Senior Software Engineer, Operational Insights at Netflix. He has been responsible for building the insights tooling around Netflix servers for the past 5 years. He pioneered Netflix's streaming visualization data platforms, the contextual system tracing tools and analytics, and the anomaly systems for detecting and troubleshooting problems on Netflix’s most mission critical servers.
Time Series Anomaly Detection with .net and AzureMarco Parenzan
If you have any device or source that generates values over time (also a log from a service), you want to determine if in a time frame, the time serie is correct or you can detect some anomalies. What can you do as a developer (not a Data Scientist) with .NET o Azure? Let's see how in this session.
Observability - The good, the bad and the ugly Xp Days 2019 Kiev Ukraine Aleksandr Tavgen
Talk about approaches to an observability. Do we need millions of metrics? Anomalies vs regularities? Can Machine Learning help us? Some abilities of Flux language by InfluxData
Wiring the IoT for modern manufacturingFlorent Solt
The IoT has the potential to create a renaissance of manufacturing in the US and elsewhere. The expected exponential increase in the amount of data that will be processed, transported, stored, and accessed means there will be a huge demand for smart technologies to deliver it.
It covers general problem of creating monitoring and observability without killing your Ops motivation team with False Positives and unexplained alerts.
Problems on this side, pitfalls, anti-patterns, and how to make it right.
How to manage a monitoring zoo. Spaghettification of dashboards. Why Uber needs 9 billion metrics (¯\_(ツ)_/¯) and why this is antipattern. Metrics as a stream of data. We talk about new Flux language from InfluxDb. A bit of time series analysis and defining of pipelines in Flux for metrics data. Drunkyard walk on your metrics or why to measure a randomness.
Using InfluxDB for Full Observability of a SaaS Platform by Aleksandr Tavgen,...InfluxData
Aleksandr Tavgen from Playtech, the world’s largest online gambling software supplier, will share how they are using InfluxDB 2.0, Flux, and the OpenTracingAPI to gain full observability of their platform. In addition, he will share how InfluxDB has served as the glue to cope with multiple sets of time series data, especially in the case of understanding online user activity — a use case that is normally difficult without the math functions now available with Flux.
Performance doesn’t have the same definition between system administrators, developpers and business teams. What is Performance ? High CPU usage, not scalable web site, low business transaction rate per sec, slow response time, … This presentation is about maths, code performance, load testing, web performance, best practices, … Working on performance optimizaton is a very broad topic. It’s important to really understand main concepts and to have a clean and strong methodology because it could be a very time consumming activity. Happy reading !
Strangler Pattern in practice @PHPers Day 2019Michał Kurzeja
I start with the basics of the strangler pattern approach and then go to some harder parts of it, like the Anti-Corruption Layer. I also briefly discuss two projects I worked on using this pattern.
InfoSecurity Europe 2017 - On The Hunt for Advanced Attacks? C&C Channels are...Moshe Zioni
Why are Command and Control (C&C) communications so significant to detecting advanced threats and how should you go about detecting them? We’ll discuss the various pitfalls of the traditional methods of detecting C&C and specifically those currently based on machine learning. Machine Learning must be structured, designed and delivered in exactly the right way to deliver impact for detection of advanced threats. The session will introduce our approach, which has significantly improved both detection rates and efficiency. We’ll discuss several test cases and the lessons we’ve learned over time.
Learning Outcomes:
Learn why Command and Control monitoring is the key to detecting advanced threats
Uncover pitfalls of the current approaches to C&C detection
Understand Machine Learning and it's role in detecting malicious activity
Understand the potential dangers of the wrong machine learning approach
Learn about the impact a new supervised learning approach can have – in both theory and practice
Similar to 4Developers 2015: Measure to fail - Tomasz Kowalczewski (20)
Enhancing Project Management Efficiency_ Leveraging AI Tools like ChatGPT.pdfJay Das
With the advent of artificial intelligence or AI tools, project management processes are undergoing a transformative shift. By using tools like ChatGPT, and Bard organizations can empower their leaders and managers to plan, execute, and monitor projects more effectively.
Globus Compute wth IRI Workflows - GlobusWorld 2024Globus
As part of the DOE Integrated Research Infrastructure (IRI) program, NERSC at Lawrence Berkeley National Lab and ALCF at Argonne National Lab are working closely with General Atomics on accelerating the computing requirements of the DIII-D experiment. As part of the work the team is investigating ways to speedup the time to solution for many different parts of the DIII-D workflow including how they run jobs on HPC systems. One of these routes is looking at Globus Compute as a way to replace the current method for managing tasks and we describe a brief proof of concept showing how Globus Compute could help to schedule jobs and be a tool to connect compute at different facilities.
Top Features to Include in Your Winzo Clone App for Business Growth (4).pptxrickgrimesss22
Discover the essential features to incorporate in your Winzo clone app to boost business growth, enhance user engagement, and drive revenue. Learn how to create a compelling gaming experience that stands out in the competitive market.
Exploring Innovations in Data Repository Solutions - Insights from the U.S. G...Globus
The U.S. Geological Survey (USGS) has made substantial investments in meeting evolving scientific, technical, and policy driven demands on storing, managing, and delivering data. As these demands continue to grow in complexity and scale, the USGS must continue to explore innovative solutions to improve its management, curation, sharing, delivering, and preservation approaches for large-scale research data. Supporting these needs, the USGS has partnered with the University of Chicago-Globus to research and develop advanced repository components and workflows leveraging its current investment in Globus. The primary outcome of this partnership includes the development of a prototype enterprise repository, driven by USGS Data Release requirements, through exploration and implementation of the entire suite of the Globus platform offerings, including Globus Flow, Globus Auth, Globus Transfer, and Globus Search. This presentation will provide insights into this research partnership, introduce the unique requirements and challenges being addressed and provide relevant project progress.
How to Position Your Globus Data Portal for Success Ten Good PracticesGlobus
Science gateways allow science and engineering communities to access shared data, software, computing services, and instruments. Science gateways have gained a lot of traction in the last twenty years, as evidenced by projects such as the Science Gateways Community Institute (SGCI) and the Center of Excellence on Science Gateways (SGX3) in the US, The Australian Research Data Commons (ARDC) and its platforms in Australia, and the projects around Virtual Research Environments in Europe. A few mature frameworks have evolved with their different strengths and foci and have been taken up by a larger community such as the Globus Data Portal, Hubzero, Tapis, and Galaxy. However, even when gateways are built on successful frameworks, they continue to face the challenges of ongoing maintenance costs and how to meet the ever-expanding needs of the community they serve with enhanced features. It is not uncommon that gateways with compelling use cases are nonetheless unable to get past the prototype phase and become a full production service, or if they do, they don't survive more than a couple of years. While there is no guaranteed pathway to success, it seems likely that for any gateway there is a need for a strong community and/or solid funding streams to create and sustain its success. With over twenty years of examples to draw from, this presentation goes into detail for ten factors common to successful and enduring gateways that effectively serve as best practices for any new or developing gateway.
Into the Box Keynote Day 2: Unveiling amazing updates and announcements for modern CFML developers! Get ready for exciting releases and updates on Ortus tools and products. Stay tuned for cutting-edge innovations designed to boost your productivity.
In 2015, I used to write extensions for Joomla, WordPress, phpBB3, etc and I ...Juraj Vysvader
In 2015, I used to write extensions for Joomla, WordPress, phpBB3, etc and I didn't get rich from it but it did have 63K downloads (powered possible tens of thousands of websites).
Gamify Your Mind; The Secret Sauce to Delivering Success, Continuously Improv...Shahin Sheidaei
Games are powerful teaching tools, fostering hands-on engagement and fun. But they require careful consideration to succeed. Join me to explore factors in running and selecting games, ensuring they serve as effective teaching tools. Learn to maintain focus on learning objectives while playing, and how to measure the ROI of gaming in education. Discover strategies for pitching gaming to leadership. This session offers insights, tips, and examples for coaches, team leads, and enterprise leaders seeking to teach from simple to complex concepts.
Paketo Buildpacks : la meilleure façon de construire des images OCI? DevopsDa...Anthony Dahanne
Les Buildpacks existent depuis plus de 10 ans ! D’abord, ils étaient utilisés pour détecter et construire une application avant de la déployer sur certains PaaS. Ensuite, nous avons pu créer des images Docker (OCI) avec leur dernière génération, les Cloud Native Buildpacks (CNCF en incubation). Sont-ils une bonne alternative au Dockerfile ? Que sont les buildpacks Paketo ? Quelles communautés les soutiennent et comment ?
Venez le découvrir lors de cette session ignite
Code reviews are vital for ensuring good code quality. They serve as one of our last lines of defense against bugs and subpar code reaching production.
Yet, they often turn into annoying tasks riddled with frustration, hostility, unclear feedback and lack of standards. How can we improve this crucial process?
In this session we will cover:
- The Art of Effective Code Reviews
- Streamlining the Review Process
- Elevating Reviews with Automated Tools
By the end of this presentation, you'll have the knowledge on how to organize and improve your code review proces
Custom Healthcare Software for Managing Chronic Conditions and Remote Patient...Mind IT Systems
Healthcare providers often struggle with the complexities of chronic conditions and remote patient monitoring, as each patient requires personalized care and ongoing monitoring. Off-the-shelf solutions may not meet these diverse needs, leading to inefficiencies and gaps in care. It’s here, custom healthcare software offers a tailored solution, ensuring improved care and effectiveness.
Climate Science Flows: Enabling Petabyte-Scale Climate Analysis with the Eart...Globus
The Earth System Grid Federation (ESGF) is a global network of data servers that archives and distributes the planet’s largest collection of Earth system model output for thousands of climate and environmental scientists worldwide. Many of these petabyte-scale data archives are located in proximity to large high-performance computing (HPC) or cloud computing resources, but the primary workflow for data users consists of transferring data, and applying computations on a different system. As a part of the ESGF 2.0 US project (funded by the United States Department of Energy Office of Science), we developed pre-defined data workflows, which can be run on-demand, capable of applying many data reduction and data analysis to the large ESGF data archives, transferring only the resultant analysis (ex. visualizations, smaller data files). In this talk, we will showcase a few of these workflows, highlighting how Globus Flows can be used for petabyte-scale climate analysis.
Software Engineering, Software Consulting, Tech Lead.
Spring Boot, Spring Cloud, Spring Core, Spring JDBC, Spring Security,
Spring Transaction, Spring MVC,
Log4j, REST/SOAP WEB-SERVICES.
Enhancing Research Orchestration Capabilities at ORNL.pdfGlobus
Cross-facility research orchestration comes with ever-changing constraints regarding the availability and suitability of various compute and data resources. In short, a flexible data and processing fabric is needed to enable the dynamic redirection of data and compute tasks throughout the lifecycle of an experiment. In this talk, we illustrate how we easily leveraged Globus services to instrument the ACE research testbed at the Oak Ridge Leadership Computing Facility with flexible data and task orchestration capabilities.
TROUBLESHOOTING 9 TYPES OF OUTOFMEMORYERRORTier1 app
Even though at surface level ‘java.lang.OutOfMemoryError’ appears as one single error; underlyingly there are 9 types of OutOfMemoryError. Each type of OutOfMemoryError has different causes, diagnosis approaches and solutions. This session equips you with the knowledge, tools, and techniques needed to troubleshoot and conquer OutOfMemoryError in all its forms, ensuring smoother, more efficient Java applications.
4Developers 2015: Measure to fail - Tomasz Kowalczewski
1. M E A S U R E T O F A I L
D L A C Z E G O K L I E N C I S I Ę C Z E P I A J Ą J A K W Y K R E S Y M Ó W I Ą , Ż E
A P L I K A C J A J E S T S Z Y B K A ?
4. S U R V E Y
• Use graphite?
• Feed it with Coda Hale/Dropwizard metrics?
5. S U R V E Y
• Use graphite?
• Feed it with Coda Hale/Dropwizard metrics?
• Modify their source? Use nonstandard options?
6. S U R V E Y
• Use graphite?
• Feed it with Coda Hale/Dropwizard metrics?
• Modify their source? Use nonstandard options?
• Graph average? Median?
7. S U R V E Y
• Use graphite?
• Feed it with Coda Hale/Dropwizard metrics?
• Modify their source? Use nonstandard options?
• Graph average? Median?
• Percentiles?
8. S U R V E Y
• Use graphite?
• Feed it with Coda Hale/Dropwizard metrics?
• Modify their source? Use nonstandard options?
• Graph average? Median?
• Percentiles?
• Know the term “cargo cult”?
9. C A R G O C U L T
During the Middle Ages there were all kinds of
crazy ideas, such as that a piece of of
rhinoceros horn would increase potency. Then a
method was discovered for separating the
ideas- which was to try one to see if it worked,
and if it didn't work, to eliminate it. This method
became organized, of course, into science. And
it developed very well, so that we are now in the
scientific age. It is such a scientific age, in fact,
that we have difficulty in understanding how
witch doctors could ever have existed, when
nothing that they proposed ever really worked-or
very little of it did.
Richard Feynman
From a Caltech commencement address
given in 1974
10. M E A S U R I N G C O R R E C T L Y I S
I M P O R T A N T
• You get what you measure
• Predictable is better than fast
• One page display requires multiple calls (static and
dynamic resources)
• Multiple microservices are called to generate response
• Each user will do hundreds of displays of your
webpages
11. W H Y D O T H I S ?
• Every 100 ms increase in load time of Amazon.com
decreased sales by 1%1
• Increasing web search latency 100 to 400 ms reduces
the daily searches per user by 0.2% to 0.6%.
Furthermore, users do fewer searches the longer they
are exposed. For longer delays, the loss of searches
persists for a time even after latency returns to
previous levels.2
1Kohavi and Longbotham 2007
2Brutlag 2009
12. W H A T M E T R I C S C A N W E U S E ?
graphite.send(prefix(name, "max"), ...);
graphite.send(prefix(name, "mean"), ...);
graphite.send(prefix(name, "min"), ...);
graphite.send(prefix(name, "stddev"), ...);
graphite.send(prefix(name, "p50"), ...);
graphite.send(prefix(name, "p75"), ...);
graphite.send(prefix(name, "p95"), ...);
graphite.send(prefix(name, "p98"), ...);
graphite.send(prefix(name, "p99"), ...);
graphite.send(prefix(name, “p999"), ...);
13. D O N ’ T L O O K A T M E A N
• 1000 queries - 0ms latency, 100 queries 5s latency
• Average is 4,5ms
• 1000 queries - 1ms latency, 100 queries - 5s latency
• Average is 455ms
• Does not help to quantify lags users will experience
14. P L O T T I N G M E A N I S F O R
S H O W I N G O F F T O M A N A G E M E N T
15. M A Y B E M E D I A N T H E N ?
• What is the probability of end user encountering
latency worse than median?
• Remember: usually multiple requests are needed to
respond to API call (e.g. N micro services, N
resource requests per page)
16. P R O B A B I L I T Y O F E X P E R I E N C I N G
L A T E N C Y B E T T E R T H A N M E D I A N
I N F U N C T I O N O F M I C R O S E R V I C E S I N V O L V E D
17. W H I C H P E R C E N T I L E I S R E L E V A N T T O
Y O U ?
• Is 99th percentile demanding constraint?
• In application serving 1000 qps latency worse than that happens ten
times per second.
• User that needs to navigate through several web pages will most
probably experience it
• What is the probability of encountering latency better than 99th?
18. P R O B A B I L I T Y O F E X P E R I E N C I N G
L A T E N C Y B E T T E R T H A N 9 9 T H
P E R C E N T I L EI N F U N C T I O N O F M I C R O S E R V I C E S I N V O L V E D
19. D O N O T A V E R A G E P E R C E N T I L E S
Example scenario:
1. Load balancer splits traffic unevenly (ELB anyone?)
2. Server S1 has 1 qps over measured time with 95%’ile == 1ms
3. Server S2 has 100 qps over measured time with 95%’ile == 10s
4. Average is ~5s.
5. What does that tell us?
6. Did we satisfy SLA if it says “95%’ile must be below 8s”?
7. Actual 95%’ile percentile is ~10s
20. – A L I C E ' S A D V E N T U R E S I N W O N D E R L A N D
“If there's no meaning in it,' said the King, 'that
saves a world of trouble, you know, as we
needn't try to find any”
21. m e t r i c R e g i s t r y . t i m e r ( " m y a p p . r e s p o n s e T i m e " ) ;
Standard timer will over or under report actual
percentiles at will.
Green line represents actual MAX values.
22. m e t r i c R e g i s t r y . t i m e r ( " m y a p p . r e s p o n s e T i m e " ) ;
Standard timer will over or under report actual
percentiles at will.
Green line represents actual MAX values.
23. Blue line represents metric reported from Timer class
Green line represents request rate
24. T I M E R , T I M E R N E V E R
C H A N G E S …
• Timer values decay exponentially
• giving artificial smoothing of values for server behaviour that
may be long gone
• Timer that is not updated does not decay
• If Timer is not updated (e.g. subprocess failed and we
stopped sending requests to it) its values will remain constant
• Check this post for potential solutions:
taint.org/2014/01/16/145944a.html
25. T I M E R ’ S H I S T O G R A M R E S E R V O I R
• Backing storage for Timer’s data
• Contain “statistically representative reservoir of a data stream”
• Default is ExponentiallyDecayingReservoir which has many
drawbacks and is source of most inaccuracies observed
throughout this presentation
• Others include
• UniformReservoir, SlidingTimeWindowReservoir,
SlidingTimeWindowReservoir, SlidingWindowReservoir
26. E X P O N E N T I A L L Y D E C A Y I N G
R E S E R V O I R
• Assumes normal distribution of recorded values
• Stores 1024 random samples by default
• Many statistical tools applied in computer systems
monitoring will assume normal distribution
• Be suspicious of such tools
• Why is that a bad idea?
27. N O R M A L
D I S T R I B U T I O N -
W H Y S O U S E F U L ?
• Central limit theorem
• Chebyshev's inequality
28. C A L C U L A T E
9 5 % ’ I L E B A S E D O N
M E A N A N D S T D .
D E V .
• IFF latency values were
distributed normally then
we could calculate any
percentile based on mean
and standard deviation
• Lookup into standard
normal (Z) table
• 95%’ile is located 1.65 std.
dev. from mean
• Result is 11,65ms
33. Add spikes due to: lost tcp packet retransmission,
disk swapping, kernel bookkeeping etc.
34. N O R M A L
D I S T R I B U T I O N -
W H Y N O T
A P P L I C A B L E ?
• The value of the normal distribution
is practically zero when the value x
lies more than a few standard
deviations away from the mean.
• It may not be an appropriate model
when one expects a significant
fraction of outliers
• […] other statistical inference
methods that are optimal for
normally distributed variables often
become highly unreliable when
applied to such data.1
1All quotes on this slide from Wikipedia
35. H D R H I S T O G R A M
• Supports recording and analysis of sampled data across
configurable range with configurable accuracy
• Provides compact representation of data while retaining
high resolution
• Allows configurable tradeoffs between space and accuracy
• Very fast, allocation free, not thread safe for maximum
speed (thread safe versions available)
• Created by Gil Tene of Azul Sytems
36. R E C O R D E R
• Uses HdrHistogram to store values
• Supports concurrent recording of values
• Recording is lock free but also wait free on most
architectures (that support lock xadd)
• Reading is not lock free but does not stall writers (writer-
reader phaser)
• Checkout Marshall Pierce’s library for using it as a
Reservoir implementation
38. S O L U T I O N S
• Instantiate Timer with custom reservoir
• new ExponentiallyDecayingReservoir(LARGE_NUMBER)
• new SlidingTimeWindowReservoir(1, MINUTES)
• new HdrHistogramResetOnSnapshotReservoir()
• Only last one is safe and accurate and will not report stale values
if no updates were made
39. S M O K I N G B E N C H M A R K I N G I S T H E
L E A D I N G C A U S E O F S T A T I S T I C S I N
T H E W O R L D
40. C O O R D I N A T E D O M I S S I O N
• When load driver is plotting with system under test to
deceive you
• Most tools do this
• Most benchmarks do this
• Yahoo Cloud Serving Benchmark had that problem1
1Recently fixed by Nitsan Wakart, see
psy-lob-saw.blogspot.com/2015/03/fixing-ycsb-coordinated-omission.html
41.
42. – C R E A T E D W I T H G I L T E N E ' S H D R H I S T O G R A M
P L O T T I N G S C R I P T
Effects on benchmarks at high percentiles are
spectacular
43. C O O R D I N A T E D O M I S S I O N
S O L U T I O N S
1. Ignore the problem!
perfectly fine for non interactive system where only
throughput matters
44. C O O R D I N A T E D O M I S S I O N
S O L U T I O N S
2. Correct it mathematically in sampling mechanism
HdrHistogram can correct CO with these methods
(choose one!):
histogram.recordValueWithExpectedInterval(
value,
expectedIntervalBetweenSamples
);
histogram.copyCorrectedForCoordinatedOmission(
expectedIntervalBetweenSamples
);
45. C O O R D I N A T E D O M I S S I O N
S O L U T I O N S
3. Correct it on load driver side
by noticing pauses between sent requests.
newly issued request will have timer that starts
counting from time it should have been sent but wasn't
46. C O O R D I N A T E D
O M I S S I O N
S O L U T I O N S
4. Fail the test
for hard real time
systems where pause causes
human casualties (breaks,
pacemakers, Phalanx
system)
47. C O O R D I N A T E D O M I S S I O N
• Mathematical solutions can overcorrect when load driver
has pauses (e.g. GC).
• Do not account for the fact that server after pause has no
work to do instead of N more requests waiting to be
executed
• In real world it might have never recovered
• Most tools ignore the problem
• Notable exception: Twitter Iago
48. – L O A D D R I V E R M O T T O
“Do not bend to the tyranny of reality”
49. S U M M A R Y
• Measure what is meaningful not just what is measurable
• Set SLA before testing and creating dashboards
• Do not trust Timer class, use custom reservoirs, HdrHistogram,
Recorder, never trust EMWA for request rate
• Do not average percentiles unless you need a random number
generator
• Do not plot averages unless you just want to look good on dashboards
• When load testing be aware of coordinated omission
50. S O U R C E S , T H A N K Y O U S A N D
R E C O M M E N D E D F O L L O W U P S
• Coda Hale for great metrics library
• Gil Tene
• latencytipoftheday.blogspot.de
• www.infoq.com/presentations/latency-pitfalls
• github.com/HdrHistogram/HdrHistogram
• Nitsan Wakart
• psy-lob-saw.blogspot.de/2015/03/fixing-ycsb-coordinated-omission.html
• and whole blog
• Matin Thompson et. al.
• groups.google.com/forum/#!forum/mechanical-sympathy
51. R E C O M M E N D E D
Great introduction to statistics
and queueing theory.
Performance Modeling and
Design of Computer Systems:
Queueing Theory in Action
Prof. Mor Harchol-Balter