infraxstructure: Robert Mroczkowski &quot;Maszyny się uczą - admińskie rozmówki przy Kafce.&quot;

Enterprise Search Warsaw Meetup

Technology

Maszyny się uczą
Admińskie rozmówki przy kafce
Robert Mroczkowski

Scena
4petabytes
disk space
12terabytes
ram
87nodes

Bohater
Dokumenty
Kod
Dokumentacja
WebApp
Kernele

Rekwizyty
numpy
scipy
pandas
matplotlib
scikit-learn
rpy2

InfraXstructure
HUB
HTTP
PAM
AUTHENTICATOR
SSSD
AD Auth AD KDC
SPAWNER
SERVER
ENVIRONM
ENT
Conda

CONDA
Zarządzanie pakietami
Wiele środowisk
Zdalnie / lokalnie
kanały
hiera

Framework Obliczeniowy
Rozproszony
W Pamięci
Burzliwy rozwój
Działa wszędzie

InfraXstructure
HUB
HTTP
PROXY
SPARK
DRIVER
SPARK
EXECUTOR
SPARK
EXECUTOR

Work Work
PYSPARK_PYTHON="/opt/conda/bin/python3"
PYTHONPATH="
/usr/lib/spark1.5/python:
/usr/lib/spark1.5/python/lib/py4j-0.8.2.1-src.zip"
PYSPARK_SUBMIT_ARGS="
--master yarn-client
--queue users_common
--conf 'spark.yarn.jar=hdfs://apps/spark/spark-assembly-1.5.2.jar'
pyspark-shell"

Work Work
SparkSQL
Scale
registerUDF
Samples
DataFrame
2Production

Scale by spawner
Local PAM
Docer
Mesos
Custom
Remote ssh
S3Drive

Analiza w czasie rzeczywistym
Wojna Formatów

avro thrift protobuf data frame hive
avro json sequence parquet orc
In memory representation
Storage format

Hackaton
Dzień clickstreamu
Pierwsze uruchomienie
Identyczne zasoby
Minimalny tuning
Rzeczywiste zapytania
6 x 4 CPU x 16 RAM
Openstack
100GB Data

Hackaton
Hive on Tez
Drill
Presto
Impala
Hive on Spark
Orc
Parquet
Avro

Columnar formats
INDEX DATA
STRIPE FOOTER
ROW GROUP
DATA
COLUMN 1
COLUMN 2
COLUMN 3
COLUMN n

Statystyki
a b c
a1 b1 c2
a2 b2 c2
a3 b3 c3
Projection Pushdown
a b c
a1 b1 c2
a2 b2 c2
a3 b3 c3
Predicate Pushdown
a b c
a1 b1 c2
a2 b2 c2
a3 b3 c3
Read what U need

Big Data SQL
Wydajność
Jedna infrastruktura
Check Pointing
SQL + ML

Native SQL
Wydajność
Po prostu baza
Dodatkowa infrastruktura
Surowe dane
Wiele źródeł
Check Pointing

In Memory
HDFS storage
Alluxio
Ignite
HDFS cache

Prelekcja skierowana jest do osób które niedawno zaczęły swoją przygodę z Pythonem i zainteresowane są tym jak działa wewnątrz interpreter Pythona. Podczas wykłady dowiesz się jak interpreter przetwarza pliki .py, co to jest bytecode, czym się różni .pyc od .pyo oraz czy da się uruchomić program i ukryć jego kod źródłowy. Na zakończenie autor wymieni i krótko scharakteryzuje inne implementacje oraz pochodne języka Python.

Jak zostać mobile deweloperem w 1 dzień

Paweł Kondraciuk

Elasticsearch i Docker - skalowalność, wysoka dostępność i zarządzanie zasobami

Jak ugryźć cqrs w php?

Grzegorz Stawarczyk

CQRS to wzorzec projektowy, który od kilku lat zdobywa co raz większą popularność, a mimo wszystko wydaje się dość mało popularny w świecie PHP. Na przykładzie doświadczeń z projektów legacy oraz greenfield pokażę jakie problemy dzięki niemu rozwiązaliśmy oraz jakie pułapki czekały za rogiem. Postaram się również odpowiedzieć na nurtujące pytanie: Czy CQRS jest odpowiedni dla mojego projektu?

Laravel Poznań Meetup #3 - Uruchomienie i praca z Laravel w wirtualnym konten...

HighSolutions Sp. z o.o.

Uruchomienie i praca z laravel w wirtualnym kontenerze docker'a

Laravel Poland MeetUp

Red Hat Linux 8. Biblia

Bez względu czy jesteś nowym użytkownikiem systemu Linux, czy doświadczonym profesjonalistą w tej dziedzinie, jeśli wybierzesz Linuksa w dystrybucji Red Hat, nie zawiedziesz swoich oczekiwań. Red Hat to najpopularniejsza dystrybucja Linuksa i nawet jeśli nie każdy uważa ją za najlepszą, jej szerokie rozpowszechnienie da Ci dostęp do wiedzy tysięcy użytkowników, którzy pomogą Ci opanować Red Hata. Nie ze wszystkim możesz jednak zwrócić się do uczestników list dyskusyjnych i nie wszystkie informacje znajdziesz na stronach internetowych. Książka "Red Hat Linux 8. Biblia" będzie fundamentem Twojej wiedzy na temat tego systemu operacyjnego. Zawiera ona komplet informacji na temat konfiguracji i administracji Red Hat Linuksem. Od instalacji i naprawy błędów po instalację zapory sieciowej iptables, konfigurację serwerów plików i serwera WWW. Dowiesz się również, jak uczynić ten system bezpiecznym. * Wykorzystaj najnowsze procedury instalacji systemu, tworzenia dysków startowych oraz pobierania uaktualnień z Red Hat Linux Network * Dopasuj do swojego stylu pracy nowe pulpity GNOME i KDE * Poznaj sposoby posługiwania się powłoką systemową Linux, systemem plików i edytorem testów * Konfiguruj usługi systemowe, usługę Samba z poziomu graficznego interfejsu użytkownika bez konieczności wchodzenia do trybu ręcznej edycji plików konfiguracyjnych * Chroń system przy pomocy narzędzi LogSentry i iptables * Udostępniaj serwery z wykorzystaniem usługi DNS, twórz bezprzewodową sieć LAN i konfiguruj wirtualne sieci prywatne * Odkryj nowe oprogramowanie multimedialne, łącznie z narzędziem do obsługi aparatu cyfrowego gtkam oraz pakietem OpenOffice "Red Hat Linux 8 Biblia" to nie tylko kompletny opis Red Hat Linuksa, ale także wersja instalacyjna samego systemu, umieszczona na dołączonych 3 płytach CD-ROM. Zawiera ona między innymi najnowszą wersja kompilatora GNU gcc, serwera WWW Apache, środowisk GNOME i KDE i wiele innych przydatnych aplikacji.

JDBC. Leksykon kieszonkowy

Podręczny przewodnik dla programistów Javy JDBC jest jednym z najwszechstronniejszych i najszerzej stosowanych mechanizmów umożliwiających nie tylko dostęp do danych z programów napisanych w Javie, ale również wykonywanie rozmaitych operacji na bazach danych. Kosztem wszechstronności jest złożoność -- JDBC implementuje ogromną liczbę klas, interfejsów i metod, z którymi trzeba się gruntownie zapoznać. Niemożliwością jest zapamiętanie ich wszystkich. "JDBC. Leksykon kieszonkowy" jest podręcznym leksykonem ułatwiającym szybkie odnalezienie opisu każdej z klas, interfejsów czy metod tworzących JDBC API. Przydaje się zwłaszcza w sytuacjach, w których wiadomo, co się chce osiągnąć i potrzebna jest informacja na temat metod JDBC, które mogą w tym pomóc. Oprócz opisu API książka zawiera także kilka krótkich rozdziałów będących swego rodzaju instrukcją obsługi JDBC, czyli przypomnieniem, w jaki sposób łączyć ze sobą różne elementy API w celu uzyskania rozwiązań konkretnych zadań. Nie pamiętasz, jak naraz wykonać kilka operacji wstawiania lub modyfikacji lub w jaki sposób przechowywać i pobierać wielkie obiekty? Niniejsza książka na pewno odświeży Twoją pamięć. Donald Bales jest konsultantem do spraw aplikacji komputerowych specjalizującym się w analizie, projektowaniu oraz programowaniu systemów rozproszonych. Posiada ponad pięcioletnie doświadczenie w pisaniu aplikacji w Javie operujących na bazach danych za pomocą JDBC.

“Dziesięć serwerów poproszę!“, czyli co może Ci zaoferować definiowanie infra...

Niezależnie od tego, czy jesteście developerami, sysadminami, czy też DevOps Engineers – prawie na pewno mieliście doświadczenie z webowymi panelami dostawców usług infrastrukturalnych takich jak AWS, GCP czy też OVH. Z poziomu tych paneli da się “wyklikać” wszystko, czego potrzeba, ale… czy aby na pewno tędy droga? Środowiskiem bardziej naturalnym dla każdego inżyniera jest wszakże edytor tekstu (czy też IDE) oraz różnorakie polecenia wydawane komputerowi w formie skryptów. Czemu by więc z tego nie skorzystać? Jeśli od klikania bez możliwości pomyłki boli Was ręka, zainwestuj w podkładkę pod mysz… ale przede wszystkim wpadnij na prelekcję Piotra, na której to opowie o założeniach podejścia IaC, jego zaletach oraz przedstawi najpopularniejsze narzędzia.

Testowanie rozwiązań serverless z LocalStack

LocalStack to framework udostępniający łatwe w użyciu mocki usług stosu AWS. Podczas prezentacji Maciej skorzystał z serwisu zbudowanego z użyciem serverlessowego Boilerplate autorstwa The Software House oraz skorzystał z takich usług AWS jak API Gateway, DynamoDB, Lambda, StepFunctions czy SQS. Następnie omówił podejście do testowania rozwiązania. Dzięki prezentacji możecie poznać wady i zalety LocalStack. A na koniec Maciej pokazuje przepływ testowy w GitHub Actions, który zwiększy pewność przyszłych zmian.

Swoole w PHP. Czy to ma sens?

Ansible w 5 minut... Playbooki

Arkadiusz Siczek ✔

infraxstructure: Krzysztof Waszkiewicz "Usługi chmurowe dla biznesu wolne od...

The document discusses how cloud computing and virtualization technologies can help businesses consolidate infrastructure, improve operations, and deliver IT services more efficiently through abstraction of compute, storage, and networking resources. It highlights how virtualization allows infrastructure to be abstracted and pooled, enabling flexible provisioning of virtual compute, storage, and networking as needed. This helps deliver IT services in a more business-driven and demand-based manner.

infraxstructure: Robert Zdunek, "Jak zbudować innowacyjne i efektywne energet...

What's hot

Metaprogramowanie w JS

Dawid Rusnak

Monitoring sieci

Kamil Grabowski

Ansible - Automatyzacja zadań IT

Kamil Grabowski

Złam zasady i stwórz wydajny stos IP przy użyciu DPDK

Semihalf

ansible kmonticolo bezlogoKamil Monticolo

PHP-PM. Hit czy kit?

Jakub Mrowiec (Grand Parade Poland) - Monumentum Case Study

Business Link Krakow

PLNOG 6: Łukasz Jagiełło - Wdrożenie skalowalnego systemu plików GlusterFS w ...

Enterprise Search Warsaw Meetup

Jak działa CPython

Wojciech Lichota

Jak zostać mobile deweloperem w 1 dzień

Paweł Kondraciuk

Elasticsearch i Docker - skalowalność, wysoka dostępność i zarządzanie zasobami

Jak ugryźć cqrs w php?

Grzegorz Stawarczyk

Laravel Poznań Meetup #3 - Uruchomienie i praca z Laravel w wirtualnym konten...

HighSolutions Sp. z o.o.

Uruchomienie i praca z laravel w wirtualnym kontenerze docker'a

Laravel Poland MeetUp

Red Hat Linux 8. Biblia

JDBC. Leksykon kieszonkowy

“Dziesięć serwerów poproszę!“, czyli co może Ci zaoferować definiowanie infra...

Testowanie rozwiązań serverless z LocalStack

Swoole w PHP. Czy to ma sens?

Ansible w 5 minut... Playbooki

Arkadiusz Siczek ✔

What's hot (20)

Metaprogramowanie w JS

Monitoring sieci

Ansible - Automatyzacja zadań IT

Złam zasady i stwórz wydajny stos IP przy użyciu DPDK

ansible kmonticolo bezlogo

PHP-PM. Hit czy kit?

Jakub Mrowiec (Grand Parade Poland) - Monumentum Case Study

PLNOG 6: Łukasz Jagiełło - Wdrożenie skalowalnego systemu plików GlusterFS w ...

Jak działa CPython

Jak zostać mobile deweloperem w 1 dzień

Elasticsearch i Docker - skalowalność, wysoka dostępność i zarządzanie zasobami

Jak ugryźć cqrs w php?

Laravel Poznań Meetup #3 - Uruchomienie i praca z Laravel w wirtualnym konten...

Uruchomienie i praca z laravel w wirtualnym kontenerze docker'a

Red Hat Linux 8. Biblia

JDBC. Leksykon kieszonkowy

“Dziesięć serwerów poproszę!“, czyli co może Ci zaoferować definiowanie infra...

Testowanie rozwiązań serverless z LocalStack

Swoole w PHP. Czy to ma sens?

Ansible w 5 minut... Playbooki

Viewers also liked

infraxstructure: Krzysztof Waszkiewicz "Usługi chmurowe dla biznesu wolne od...

infraxstructure: Robert Zdunek, "Jak zbudować innowacyjne i efektywne energet...

infraxstructure: Krzysztof Szczygieł "Infrastruktura i wyposażenie Data Cent...

infraxstructure: Stas Levitan, "Always On" business in cloud - 2016"

The document discusses the Zerto Cloud Continuity Platform, which provides disaster recovery and business continuity capabilities through hypervisor-based virtual machine replication. It allows for replication of VMs across on-premises and cloud environments with near-zero RPO and RTO. The platform supports application-consistent protection of multi-VM applications and recovery down to specific points in time with file-level restore. Disaster recovery is automated through scripts and policies.

infraxstructure: Mateusz Chrobok "Opowieść o ucieczce przed błędami typu 0da...

infraxstructure: Mirosław Burnejko "Cloud Migration Checklist – Czyli jakie ...

infraxstructure: Emil Gągała "Ludzie, procesy, technika – czy wirtualizacja ...

InfraXstructure: Mirosław Dąbrowski "Zmiany w organizacji a gotowość na meto...

The document discusses challenges with traditional waterfall project management approaches and how agile methods can help address these challenges. It provides data showing that agile projects have higher success rates than waterfall projects. It also discusses how governments are increasingly adopting agile to help reduce project failures and waste. Finally, it promotes understanding people and effective communication/collaboration as important factors for project success.

infraxstructure: Marcin Kaczmarek "SDS - Storage jako aplikacja."

infraxstructure: Jarosław Zieliński i Sławomir Stanek "Wojna o Wirtualizację...

infraXstructure: Adam Sznajder, Optymalizacja kosztów w Amazon Web Services -...

infraxstructure: Piotr Jabłoński "SDN w praktyce. Znacząca poprawa bezpieczeń...

infraxstructure: Rafał Stańczak "Postępujący rozwój infrastruktury na potrze...

infraxstructure: Mariusz Rybusiński, Veeam "Keep Calm and Backup to the Cloud"

infraXstructure Alexis Dacquay, "How to win back visibility into your network...

infraxstructure: Piotr Wojciechowski "Secure Data Center"