The document provides an overview of rule engines and the Drools rule engine. It discusses rule formats including Drools Rule Language (DRL), domain-specific languages (DSL), and decision tables. It also covers the ReteOO algorithm, using rules with Java objects, and developing rules using the Drools Eclipse IDE and Guvnor rule management system.
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...AWS Korea 금융산업팀
이 세션에서는 AWS를 사용할 때 구성할 수 있는 다양한 재해복구를 대비한 Resiliency 구성에 대한 베스트프랙티스를 우선 살펴보고자 합니다. 그리고 실제 다른 금융사들에서는 AWS를 활용해서 어떻게 재해복구에 대한 Resilientcy를 구성해서 활용하고자 하는지에 대해서도 알려드리고자 합니다. 또한 AWS클라우드를 사용할 때, 금융사들이 준수해야 하는 DR훈련들은 어떤 식으로 방법으로 가능한지에 대해서도 아이디어를 제공해 드리고자 합니다.
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Connecting and using PostgreSQL database with psycopg2 [Python 2.7]Dinesh Neupane
This presentation covers the basic idea of connecting postgresql database with python and psycopg2 module.
Covered Topics:
1. Psycopg2 Installation
2. Connecting to PostgreSQL Database
3. Connection Parameters
4. Create and Drop Table
5. Adaptation of Python Values to SQL Types
6. SQL Transactions
7. DML
MySQL Indexing : Improving Query Performance Using Index (Covering Index)Hemant Kumar Singh
The document discusses improving query performance in databases using indexes. It explains what indexes are and the different types of indexes including column, composite, and covering indexes. It provides examples of how to create indexes on single and multiple columns and how the order of columns matters. The document also discusses factors that affect database performance and guidelines for index usage and size optimization.
이커머스 기업 쿠팡은 폭발적인 성장에 대응하기 위하여 Amazon Aurora 기반의 선택과 집중을 통해 DBA가 보다 의미 있는 일에 투자할 수 있도록 하고 있습니다. 삼성전자의 채팅플러스는 높은 수준의 가용성을 요구하는 통신 서비스의 특성에 맞게 적절한 AWS 데이터베이스를 활용하고 있습니다. 이 세션에서는 쿠팡이 Amazon Aurora를 통하여 얻은 경험 기반의 혁신 사례를 소개하며, 삼성전자에서 수 천만 명의 트래픽을 다루기 위해 Amazon DynamoDB, Amazon ElastiCache for Redis를 활용했던 경험을 공유합니다.
The document provides an overview of rule engines and the Drools rule engine. It discusses rule formats including Drools Rule Language (DRL), domain-specific languages (DSL), and decision tables. It also covers the ReteOO algorithm, using rules with Java objects, and developing rules using the Drools Eclipse IDE and Guvnor rule management system.
[금융고객을 위한 Resiliency in the Cloud] AWS를 활용한 금융사 Resiliency 구성...AWS Korea 금융산업팀
이 세션에서는 AWS를 사용할 때 구성할 수 있는 다양한 재해복구를 대비한 Resiliency 구성에 대한 베스트프랙티스를 우선 살펴보고자 합니다. 그리고 실제 다른 금융사들에서는 AWS를 활용해서 어떻게 재해복구에 대한 Resilientcy를 구성해서 활용하고자 하는지에 대해서도 알려드리고자 합니다. 또한 AWS클라우드를 사용할 때, 금융사들이 준수해야 하는 DR훈련들은 어떤 식으로 방법으로 가능한지에 대해서도 아이디어를 제공해 드리고자 합니다.
Amazon SageMaker는 머신러닝 프로젝트를 위한 통합 플랫폼입니다. SageMaker의 기능 중 Amazon SageMaker Studio는 머신러닝 통합 개발환경을 제공하여, 데이터를 준비에서부터 모델을 빌드, 교육 및 배포하는 데 필요한 모든 단계를 수행할 수 있습니다. Amazon EMR은 Apache Spark, Apache Hive 및 Presto와 같은 오픈 소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 ML 애플리케이션을 실행하기 위한 빅 데이터 플랫폼입니다. 이 세션에서는 데이터 과학자와 ML 엔지니어가 ML 워크플로우에서 분산 빅 데이터 프레임워크를 쉽게 사용할 수 있도록 상호 서비스 간의 통합에 대하여 데모를 통해 알아봅니다.
Connecting and using PostgreSQL database with psycopg2 [Python 2.7]Dinesh Neupane
This presentation covers the basic idea of connecting postgresql database with python and psycopg2 module.
Covered Topics:
1. Psycopg2 Installation
2. Connecting to PostgreSQL Database
3. Connection Parameters
4. Create and Drop Table
5. Adaptation of Python Values to SQL Types
6. SQL Transactions
7. DML
MySQL Indexing : Improving Query Performance Using Index (Covering Index)Hemant Kumar Singh
The document discusses improving query performance in databases using indexes. It explains what indexes are and the different types of indexes including column, composite, and covering indexes. It provides examples of how to create indexes on single and multiple columns and how the order of columns matters. The document also discusses factors that affect database performance and guidelines for index usage and size optimization.
이커머스 기업 쿠팡은 폭발적인 성장에 대응하기 위하여 Amazon Aurora 기반의 선택과 집중을 통해 DBA가 보다 의미 있는 일에 투자할 수 있도록 하고 있습니다. 삼성전자의 채팅플러스는 높은 수준의 가용성을 요구하는 통신 서비스의 특성에 맞게 적절한 AWS 데이터베이스를 활용하고 있습니다. 이 세션에서는 쿠팡이 Amazon Aurora를 통하여 얻은 경험 기반의 혁신 사례를 소개하며, 삼성전자에서 수 천만 명의 트래픽을 다루기 위해 Amazon DynamoDB, Amazon ElastiCache for Redis를 활용했던 경험을 공유합니다.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
This document discusses reporting for large Zabbix environments. It describes:
1. Using the Zabbix database and APIs to extract data, and using Jasper Suite for reporting.
2. Building a data warehouse to consolidate and enrich Zabbix data.
3. Examples of reports like a Zabbix configuration checker, summary reports, and yearly trends reports built with Jasper Suite.
MongoDB.local Sydney 2019: Data Modeling for MongoDBMongoDB
At this point, you may be familiar with MongoDB and its Document Model.
However, what are the methods you can use to create an efficient database schema quickly and effectively?
This presentation will explore the different phases of a methodology to create a database schema. This methodology covers the description of your workload, the identification of the relationships between the elements (one-to-one, one-to-many and many-to-many) and an introduction to design patterns. Those patterns present practical solutions to different problems observed while helping our customers over the last 10 years.
In this session, you will learn about:
The differences between modeling for MongoDB versus a relational database.
A flexible methodology to model for MongoDB, which can be applied to simple projects, agile ones or more complex ones.
Overview of some common design patterns that help improve the performance of systems.
This talk will be about managing DB scripts in our projects, from how to choose file structure to how easily manage them with large development team and run on different environments. We will look deep in the most popular tool for DB script migrations – Liquibase. How to write reliable scripts for Liquibase? How to run them everywhere? How to integrate them with Maven or Spring Boot? Answers for all these questions will be in this talk.
Amazon DynamoDB는 대표적인 완전 관리형 NoSQL 데이터베이스 서비스이지만, 많은 고객분들은 여전히 가격이 너무 비싸다는 인식을 갖고 계십니다. 이번 세션에서는 특히 운영 부담 없이 인터넷 스케일의 서비스를 가능하게 하는 DynamoDB의 장점과 사용 사례, 그리고 한국 최대 규모 DynamoDB 고객의 비용 최적화 사례를 통해 워크로드에 따라 다양한 비용 최적화 포인트가 있음을 소개합니다.
아직 많은 기업들이 상용 데이터베이스로 인해 발생하는 높은 비용으로 고통받고 있습니다. 이를 돕기 위해 AWS는 오픈 소스를 기반으로 한 다양한 워크로드의 특성에 맞는 데이터베이스 서비스를 제공하고 있습니다. 이번 세션에서는 AWS의 워크로드 특성에 따른 목적에 맞는 다양한 데이터베이스 서비스가 어떤 것이 있는지 알아보고, 기존 오라클 데이터베이스를 기반으로 구성된 서비스에 AWS의 데이터베이스를 도입하여 탈 오라클에 성공한 고객 사례를 소개합니다.
Parquet is a column-oriented data format that provides better performance than other formats like Avro for nested data through techniques like dictionary encoding and run-length encoding. The document discusses Parquet and compares it to other Hadoop data formats. It also provides an overview of Impala, a MPP SQL query engine that can be used to run queries against Parquet data faster than Hive. The use case discusses how Parquet can help deal with nested XML data when loaded into Hadoop.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
This document discusses reporting for large Zabbix environments. It describes:
1. Using the Zabbix database and APIs to extract data, and using Jasper Suite for reporting.
2. Building a data warehouse to consolidate and enrich Zabbix data.
3. Examples of reports like a Zabbix configuration checker, summary reports, and yearly trends reports built with Jasper Suite.
MongoDB.local Sydney 2019: Data Modeling for MongoDBMongoDB
At this point, you may be familiar with MongoDB and its Document Model.
However, what are the methods you can use to create an efficient database schema quickly and effectively?
This presentation will explore the different phases of a methodology to create a database schema. This methodology covers the description of your workload, the identification of the relationships between the elements (one-to-one, one-to-many and many-to-many) and an introduction to design patterns. Those patterns present practical solutions to different problems observed while helping our customers over the last 10 years.
In this session, you will learn about:
The differences between modeling for MongoDB versus a relational database.
A flexible methodology to model for MongoDB, which can be applied to simple projects, agile ones or more complex ones.
Overview of some common design patterns that help improve the performance of systems.
This talk will be about managing DB scripts in our projects, from how to choose file structure to how easily manage them with large development team and run on different environments. We will look deep in the most popular tool for DB script migrations – Liquibase. How to write reliable scripts for Liquibase? How to run them everywhere? How to integrate them with Maven or Spring Boot? Answers for all these questions will be in this talk.
Amazon DynamoDB는 대표적인 완전 관리형 NoSQL 데이터베이스 서비스이지만, 많은 고객분들은 여전히 가격이 너무 비싸다는 인식을 갖고 계십니다. 이번 세션에서는 특히 운영 부담 없이 인터넷 스케일의 서비스를 가능하게 하는 DynamoDB의 장점과 사용 사례, 그리고 한국 최대 규모 DynamoDB 고객의 비용 최적화 사례를 통해 워크로드에 따라 다양한 비용 최적화 포인트가 있음을 소개합니다.
아직 많은 기업들이 상용 데이터베이스로 인해 발생하는 높은 비용으로 고통받고 있습니다. 이를 돕기 위해 AWS는 오픈 소스를 기반으로 한 다양한 워크로드의 특성에 맞는 데이터베이스 서비스를 제공하고 있습니다. 이번 세션에서는 AWS의 워크로드 특성에 따른 목적에 맞는 다양한 데이터베이스 서비스가 어떤 것이 있는지 알아보고, 기존 오라클 데이터베이스를 기반으로 구성된 서비스에 AWS의 데이터베이스를 도입하여 탈 오라클에 성공한 고객 사례를 소개합니다.
Parquet is a column-oriented data format that provides better performance than other formats like Avro for nested data through techniques like dictionary encoding and run-length encoding. The document discusses Parquet and compares it to other Hadoop data formats. It also provides an overview of Impala, a MPP SQL query engine that can be used to run queries against Parquet data faster than Hive. The use case discusses how Parquet can help deal with nested XML data when loaded into Hadoop.
3. Struktur layihələndirmənin hansı üsulla aparılmasından asılı olmayaraq,
relasiya modeli VB-də obyektlər və ya mahiyyətlər son nəticədə nisbət
şəkilində ifadə olunur. Nəzəri baxımdan VB-nin struktur layihələndirilməsi
verilənlərin modelinin tipindən asılı olmamalıdır. Lakin praktiki nöqteyi
nəzərdən struktur layihələndirmədə relasiya modelinin xüsusiyyətlərinin nəzərə
alınması faydalıdır.
4.
5. Çox da böyük olmayan relasiya modelli verilənlər bazasının
layihələndirilməsində normal formalar metodu daha səmərəlidir.
Normal formalar metodu ilə verilənlər bazasının layihələndirilməsi aşağıdakı
mərhələrlə aparılır:
1. Əvvəlcə struktur layihələndirmənin hər hansı üsulu ilə verilənlər
bazasının ilkin nisbətləri formalaşdırılır.
6. 2.Sonra ilkin nisbətlər normallaşdırılır, yəni normallaşdırma qaydalarına
uyğun olaraq ilkin nisbətin kompazisiyası-dekompozisiyası aparılır.
3. Yeni yaradılmış nisbətlərə açarlar təyin olunur. Praktikada VB-nın 3-cü
normal formaya (3NF) və ya Boys-Kodd normal formasına (BKNF) uyğun
gələn strukturu ilə kifayətlənmək olur. Odur ki, normal formalar metodu ilə
nisbətlərin normallaşdırılması prosesi aşağıdakı ardıcıllıqla yerinə yetirilir.
7. -əgər ilkin nisbətdə tərkibli atributlar varsa, onları tərkib hissələrinə
ayırıb, atomar şəkilə salmaqla nisbəti 1-ci normal formaya (1NF)
gətirmək;
-Açar olmayan atributların açardan qismən asılılığını aradan qaldırmaqla
nisbəti 2-ci normal formaya (2NF) gətirmək;
-Açar olmayan atributların açardan tranzitiv asılılığını aradan qaldırmaqla
nisbəti 3-cü normal formaya (3NF) gətirmək;
8.
9. -Tərkibli açarın atributlarının açara daxil olmayan atributlardan asılılığını
aradan qaldırmaqla nisbəti Boys-Kodd normal formasına (BKNF) gətirmək;
Mahiyyətin nisbətlərlə ifadə edilməsində ümumi qəbul edilmiş qayda
<<hər bir mahiyyətə-ayrıca cədvəl>> qaydası hesab olunur. Açar kimi
atributdan istifadə edilməsi məsləhət görülür. Xüsusi hallarda bir neçə
atributdan ibarət tərkibli açardan istifadə etmək olar.
10. Açar təyin edilmədikdə bəzi VBİS-lərin (məsələn:
Access) özləri cədvəlin sətirlərinin nömrələrinə görə
açar (sayğac) yaradırlar.
Əgər nisbətlərdə təkrarlanan və bir-birilə
qarşılıqlı əlaqəli atributlar varsa və bu informasiya
böyük həcmə malikdirsə, həmin atributları ayrıca
nisbətlə ifadə etmək məqsədəuyğundur.
11. Bunu başqa sözlə belə ifadə etmək olar: mahiyyət haqqındakı informasiyanı
elə təsvir etmək lazımdır ki, açar olmayan atributlar bir-birindən asılı
olmasınlar və bütövlükdə açardan asılı olsunlar (3NF-in tələbi).
12. Mahiyyətlərə uyğun cədvəllərin emalı zamanı aşağıdakı amili nəzərə
almaq vacibdir: cədvəlin silinməsi zamanı ona olan bütün istinadları silmək
lazımdır, əks halda əlaqələr cədvəli düzgün olmayacaq. Müasir VBİS-lərin
əksəriyyəti belə hallarda düzgün olmayan əməliyyatlara icazə vermirlər.
15. Hər iki halda əlaqə açar vasitəsilə yaradılır və yalnız 2 cədvəl bir-birilə
əlaqələndirilir.
1-ci halda əlaqələndirilən cədvəllərin birində (valideyn cədvəldə) xarici
açar təyin olunur, digərində isə (törəmə cədvəldə) həmin xarici açar
əsas açar kimi çıxış edir.
16. 2-ci halda isə mahiyyətlər arasında əlaqə yaratmaq üçün əlavə olaraq
rabitə cədvəli adlanan cədvəl qurulur. Əlaqələndirilən iki cədvəlin hər
birində bir əsas açar olur. Həmin açarlar rabitə cədvəlində yerləşdirilir.
17.
18. Beləliklə, rabitə cədvəli 2 açara malik olur:
Onlardan biri 1-ci cədvəlin açarı, ikincisi isə 2-ci cədvəlin açarıdır.
Onlardan hər hansı birinə görə rabitə cədvəlindən digəri seçilir.