Software-defined storage is a marketing buzzword for promoting computer data storage technologies. Many storage H/W vendors are focusing on Storage Cloud in Software Defined Data Center. This document is that what is SDS and latest trend in Cloud Computing.
Software-defined storage is a marketing buzzword for promoting computer data storage technologies. Many storage H/W vendors are focusing on Storage Cloud in Software Defined Data Center. This document is that what is SDS and latest trend in Cloud Computing.
It explains virtualization technology, KVM How-To, RHEV introduction for users and engineers.
KVM (for Kernel-based Virtual Machine) is a full virtualization solution for Linux on x86 hardware containing virtualization extensions (Intel VT or AMD-V). RHEV is based on KVM and includes Red Hat Subscription program. You can understand about virtualization in this document.
Enjoy.
공유 스토리지를 이용한 H/A Cluster 뿐만 아니라
Replication을 이용한 Shared Nothing H/A Cluster 제공
내장된 Application 인지형의 고가용성 기능 제공
DB에 대하여 이중으로 Check 하는 Depth 모니터링 기능
30개의 주요한 Applications 지원
"Data classification" is an umbrella term covering things: locality-aware data placement, SSD/disk or normal/deduplicated/erasure-coded data tiering, HSM, etc. They share most of the same infrastructure, and so are proposed (for now) as a single feature.
Gluster for Geeks: Performance Tuning Tips & TricksGlusterFS
In this Gluster for Geeks technical webinar, Jacob Shucart, Senior Systems Engineer, will provide useful tips and tricks to make a Gluster cluster meet your performance requirements. He will review considerations for all different phases including planning, configuration, implementation, tuning, and benchmarking.
Topics covered will include:
• Protocols (CIFS, NFS, GlusterFS)
• Hardware configuration
• Tuning parameters
• Performance benchmarks
It explains virtualization technology, KVM How-To, RHEV introduction for users and engineers.
KVM (for Kernel-based Virtual Machine) is a full virtualization solution for Linux on x86 hardware containing virtualization extensions (Intel VT or AMD-V). RHEV is based on KVM and includes Red Hat Subscription program. You can understand about virtualization in this document.
Enjoy.
공유 스토리지를 이용한 H/A Cluster 뿐만 아니라
Replication을 이용한 Shared Nothing H/A Cluster 제공
내장된 Application 인지형의 고가용성 기능 제공
DB에 대하여 이중으로 Check 하는 Depth 모니터링 기능
30개의 주요한 Applications 지원
"Data classification" is an umbrella term covering things: locality-aware data placement, SSD/disk or normal/deduplicated/erasure-coded data tiering, HSM, etc. They share most of the same infrastructure, and so are proposed (for now) as a single feature.
Gluster for Geeks: Performance Tuning Tips & TricksGlusterFS
In this Gluster for Geeks technical webinar, Jacob Shucart, Senior Systems Engineer, will provide useful tips and tricks to make a Gluster cluster meet your performance requirements. He will review considerations for all different phases including planning, configuration, implementation, tuning, and benchmarking.
Topics covered will include:
• Protocols (CIFS, NFS, GlusterFS)
• Hardware configuration
• Tuning parameters
• Performance benchmarks
This session will cover performance-related developments in Red Hat Gluster Storage 3 and share best practices for testing, sizing, configuration, and tuning.
Join us to learn about:
Current features in Red Hat Gluster Storage, including 3-way replication, JBOD support, and thin-provisioning.
Features that are in development, including network file system (NFS) support with Ganesha, erasure coding, and cache tiering.
New performance enhancements related to the area of remote directory memory access (RDMA), small-file performance, FUSE caching, and solid state disks (SSD) readiness.
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVMvwchu
With co-presenter Maninder Singh, delivered a presentation about hypervisors and virtualization technology for an independent topic study project for the Operating System Design (EECS 4221) course at York University, Canada in October 2014.
Virtualization, briefly, is the separation of resources or requests for a service from the underlying physical delivery of that service. It is a concept in which access to a single underlying piece of hardware is coordinated so that multiple guest operating systems can share a single piece of hardware, with no guest operating system being aware that it is actually sharing anything at all.
Designed by Sanjay Ghemawat , Howard Gobioff and Shun-Tak Leung of Google in 2002-03.
Provides fault tolerance, serving large number of clients with high aggregate performance.
The field of Google is beyond the searching.
Google store the data in more than 15 thousands commodity hardware.
Handles the exceptions of Google and other Google specific challenges in their distributed file system.
In 2009, when I was working for the Region of Peel government, Canada, I successfully used patent mapping to identify 20 US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, I created a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 4000 Canadian entities, in all sector and from coast to coast in Canada, on a weekly basis. My work with Region of Peel from 2010 to 2012 showed that this database can provide the "no-older-than-7-day" intelligence for long-term strategic research/planning and short-term tactics. This is also the first attempt in Canada to use patent landscape as a regional economic strength indicator and a baseline for policy harmonization and policy performance evaluation.
This is a directory of Canadian US patents holders. It has the latest information about who has US patents in Canada, where the US patent holders are, what they patented in the US market and the trends of their US patents.
In 2009, when I was working for the Region of Peel government, Canada, I successfully used patent mapping to identify 20 US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, I created a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 5000 Canadian entities, in all sector throughout Canada, on a weekly basis. My work with Region of Peel from 2010 to 2012 showed that this database can provide the "no-older-than-7-day" intelligence for long-term strategic research/planning and short-term tactics. This is also the first attempt in Canada to use patent landscape as a regional economic strength indicator and a baseline for policy harmonization and policy performance evaluation.
This is a directory of Canadian US patents holders. It has the latest information about who has US patents in Canada, where the US patent holders are, what they patented in the US market and the trends of their US patents.
In 2009, when I was working for the Region of Peel government, Canada, I successfully used patent mapping to identify 20 US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, I created a Canadian patent competitive intelligence (CI) database to track the latest patent competence of about 5000 Canadian entities, in all sector throughout Canada, on a weekly basis. My work with Region of Peel from 2010 to 2012 showed that this database can provide the "no-older-than-7-day" intelligence for long-term strategic research/planning and short-term tactics. This is also the first attempt in Canada to use patent landscape as a regional economic strength indicator and a baseline for policy harmonization and policy performance evaluation.
KampusBG,YÖK’ün tanıdığı Bulgaristan Üniversitelerinde eğitimine devam etmek isteyen öğrencilere danışmanlık ve rehberlik etmektedir.
Şirket Profilimiz :
KampusBG Yurtdışı Eğitim Hizmetleri, 2006 yılında kurulmuş olan Bulgaristan kökenli bir akademik danışmanlık şirketidir.KAMPUSBG nin kurucusu olan ve halen yönetimini üstlenen idari yetkililer Bulgaristan'da eğitimini tamamlamış ve eğitim sektöründe yıllarca deneyim sahibi olan,Bulgaristan Eğitim sistemini ve Bulgaristan Üniversitelerini çok iyi tanıyan uzmanlardan ileri gelmektedir.
KampusBG Yurtdışı Eğitim Hizmetleri,Work and Travel,Staj & İnternship programlarını 2008 yılında Bulgaristan'da faaliyete geçirerek konusunda dünyanın önde gelen kurum ve kuruluşlarıyla işbirliği yapan, yurtdışında kültürel değişim programlardan faydalanmak isteyen katılımcılarına arzu ettiği hizmeti en uygun koşullarda sunmayı kendine ilke edinmiş kurumdur.
KAMPUSBG nin önerdiği programlar bu tecrübe ve ilkelerle belirlenmekte, öğrencinin imkan ve ihtiyaçları göz önünde bulundurularak özenle seçilmektedir.Uzman danışmanlarıyla, öğrenciler için Bulgaristanda Eğitim ve diğer sunduğumuz tüm programlarda en doğru seçenekler belirlenmekte ve okul, konaklama seçimi, vize işlemleri, transferler, okul kaydı, sağlık sigortası,konsolosluk işlemleri ve oturum işlemleri tarafımızca sağlanmaktadır.
Gerek önereceğimiz okulların eğitim kalitesi ve konularındaki etkinlikleri, gerekse konaklama yapılacak yurtların güvenilirliği yine KampusBG'nin teminatı altındadır. Öğrencinin yurtdışında kaldığı süre boyunca ihtiyacı olan her konuda yanında olmak ve düzenli aralıklarla bulunduğu programdaki gelişimini takip edip, velisi veya kendisi ile okul arasında bir köprü oluşturmak danışmanlık anlayışımızın bir parçasıdır.
Misyonumuz :
Yurtdışı Eğitim Danışmanlığı sektöründeki başarımızın en önemli sebebi ticari değil öğrenci odaklı olmamızdır.Bizler öğrencilerimizle birer aile ilişkisi kurmaya gayret gösteririz ve öğrencilerimizin her türlü problemlerinde yardımcı olabilmek en büyük misyonumuzdur.
Vizyonumuz :
Güçlü alt yapısı ve birikimi ile, ekibindeki deneyimli uzman kişilerin, bilgi ve birikimlerini organize ederek program katılımcılarına sunan, sürekli değişime ayak uyduran sürekli yüksek performans göstererek hizmet sunduğu kişilerde mutlak memnuniyet yaratan öncü bir kurum olmak vizyonumuzdur.
This is a directory of Canadian US patents holders. It has the latest information about who has US patents in Canada, where the US patent holders are, what they patented in the US market and the trends of their US patents.
In 2009, when I was working for the Region of Peel government, Canada, I successfully used patent mapping to identify 20 US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, I created a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 4500 Canadian entities, in all sector and from coast to coast in Canada, on a weekly basis. My work with Region of Peel from 2010 to 2012 showed that this database can provide the "no-older-than-7-day" intelligence for long-term strategic research/planning and short-term tactics. This is also the first attempt in Canada to use patent landscape as a regional economic strength indicator and a baseline for policy harmonization and policy performance evaluation.
In 2009, when worked for the Region of Peel government, Canada, we successfully used patent mapping to identify US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, we have created and been maintaining a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 3000 Canadian entities on a weekly basis. This database provides intelligence for long-term strategic research planning and short-term tactics.
This is a directory of Canadian US patents holders. It has the latest information about who has US patents in Canada, where the US patent holders are, what they patented in the US market and the trends of their US patents.
In 2009, when I was working for the Region of Peel government, Canada, I successfully used patent mapping to identify 20 US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, I created a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 5000 Canadian entities, in all sector throughout Canada, on a weekly basis. My work with Region of Peel from 2010 to 2012 showed that this database can provide the "no-older-than-7-day" intelligence for long-term strategic research/planning and short-term tactics. This is also the first attempt in Canada to use patent landscape as a regional economic strength indicator and a baseline for policy harmonization and policy performance evaluation.
In 2009, when worked for the Region of Peel government, Canada, we successfully used patent mapping to identify US patent intensive companies as the potential employers for highly educated immigrants. Following this initiative, we have created and been maintaining a Canadian patent competitive intelligence (CI) database to track the latest patent competence of over 2900 Canadian entities on a weekly basis. This database provides intelligence for long-term strategic research planning and short-term tactics.
[오픈소스컨설팅]Day #1 MySQL 엔진소개, 튜닝, 백업 및 복구, 업그레이드방법Ji-Woong Choi
MySQL 소개
간략한 소개
version history
MySQL 사용처
제품 군 변화
시장 변화
MySQL 구성
MySQL 클라이언트 / 서버 개념
클라이언트 프로그램
MySQL 설치
MySQL 버전
MySQL 설치
MySQL 환경 설정
환경설정, 변수 설정
MySQL 스토리지 엔진 소개
MySQL tuning 소개 및 방법
데이터 백업/복구 방법
백업
복구
MySQL Upgrade
Machine Learning Model Serving with Backend.AIJeongkyu Shin
머신러닝 모델을 서비스 단에서 서빙하는 것은 손이 많이 갑니다.
서비스 과정을 편리하게 하기 위하여 TensorFlow serving 등 서빙 과정을 돕는 다양한 도구들이 공개되고 개발되고 있습니다만, 여전히 서빙 과정은 귀찮고 불편합니다. 이 세션에서는 Backend.AI 와 TensorFlow serving을 이용하여 간단하게 TensorFlow 모델을 서빙하는 법에 대해 다루어 봅니다.
Backend.AI 서빙 모드를 소개하고, 여러 TF serving 모델 등을 Backend.AI 로 서비스하는 과정을 통해 실제로 사용하는 법을 알아봅니다.
Serving the machine learning model at the service level is a lot of work. A variety of tools are being developed and released to facilitate the process of serving. TensorFlow serving is the greatest one for serving now, but the docker image baking-based serving process is not easy, not flexible and controllable enough. In this session, I will discuss how to simplify the serving process of TensorFlow models by using Backend.AI and TensorFlow serving.
I will introduce the Backend.AI serving mode (on the trunk but will be official since 1.6). After that, I will demonstrate how to use the Backend.AI serving mode that conveniently provides various TensorFlow models with TensorFlow serving on the fly.
IBM의 퍼블릭 IaaS 클라우드 서비스, SoftLayer 사용 팁 & 가이드
SoftLayer에 대해 더 알고 싶으세요? 아래 웹사이트를 방문해 주세요!
한글 - http://ibm.co/1w43NvN
영문 - http://www.softlayer.com/
한국 IBM SoftLayer의 페이스북 페이지를 통해서 SoftLayer의 뉴스들을 전달받으세요!
https://www.facebook.com/IBMSoftlayerkorea
SoftLayer에 대해 더 배우고 싶으세요? 아래 튜토리얼 링크를 방문해 주세요!
http://www.youtube.com/channel/UCdpXbWYiWtS6iGp1lGx1RAA
InterPlanetary File System 소개 자료입니다.
풀 한글로 작성하고 싶었으나
시간관계 상 중반부 이상은 영문 번역을 손을 못댔네요.
(이후 시간이 된다면 수정해보겠습니다.
그림 및 도표의 출처는 모두 링크로 기재되어있습니다.
본자료는 흐름을 이해하는데 사용하시고
원문 링크를 한번씩 더 읽어보시길 추천드립니다.
기존에 저희 회사에서 사용하던 모니터링은 Zabbix 였습니다.
컨테이너 모니터링 부분으로 옮겨가면서 변화가 필요하였고, 이에 대해서 프로메테우스를 활용한 모니터링 방법을 자연스럽게 고민하게 되었습니다.
이에 이영주님께서 테크세션을 진행하였고, 이에 발표자료를 올립니다.
5개의 부분으로 구성되어 있으며, 세팅 방법에 대한 내용까지 포함합니다.
01. Prometheus?
02. Usage
03. Alertmanager
04. Cluster
05. Performance
2018년도 Amazon AWS re:Invent Machine Learning 부분에 대한 요약을 오픈소스컨설팅 서경빈(AWS SA)님이 해주셨습니다.
사내 발표 때 아주 쉽게 설명해주셔서 좋았는데, 해당 내용은 Tech Blog에서도 확인이 가능합니다.
https://tech.osci.kr/2018/12/06/50693623/
[오픈소스컨설팅] Docker를 활용한 Gitlab CI/CD 구성 테스트Ji-Woong Choi
Docker를 활용하여 Gitlab CI/CD 설치 구성 및 샘플 테스트를 위한 가이드 문서이며, Docker 및 Gitlab에 대한 개요 및 사용법에 대해서는 다루지 않습니다. Docker image를 이용 Gitlab 및 Gitlab CI/CD 설치 및 구성 후 Sample Spring boot web application을 이용하여 소스 변경에 따른 commit이 발생 했을 때 Gitlab CI/CD 기능을 통해 application 테스트, 빌드, 배포까지의 일련의 과정이 자동으로 진행되는지를 테스트 하는 내용입니다.
[오픈소스컨설팅]클라우드기반U2L마이그레이션 전략 및 고려사항Ji-Woong Choi
Cloud 기반으로 U2C(Unix to Cloud),U2L(Unix to Linux) 마이그레이션에 대한 가이드 라인과 사이징 관련 고려 사항에 대해 설명한 자료입니다.
많은 전환 프로젝트에서 추출된 경험치가 들어가 있으며, 전환별 난이도 및 고려사항이 들어가 있습니다.
장소 : 미국 보스턴 Hynes Convention Center
일시 : 2017년 5월 6일 ~ 11일 (미국 동부 시각)
참가 인원 : 5000명 이상
참가 업체 : 1014개
참가국 : 63개국
세션 수 : 750여 개(이전 Summit 대비 약 250여 개 증가)
[오픈소스컨설팅] Red Hat ReaR (relax and-recover) Quick GuideJi-Woong Choi
본 문서는 RHEL에 내장된 재해복구솔루션 ReaR (Relax and Recover)를 이용하여 OS 영역의 데이터를 백업하고 복구하는 방법을 다루고 있습니다. ReaR는 iso를 비롯한 다양한 백업 데이터 포맷을 지원하나, 이 문서에서는 CD/DVD 미디어 반입/보관이 보안상 대부분 허용되지 않는 기업 환경에서도 원활히 사용할 수 있는 PXE boot를 지원하는 포맷으로 ReaR 백업 데이터를 생성하고 복구하는 방법만을 자세히 설명합니다.
[오픈소스컨설팅] Open Stack Ceph, Neutron, HA, Multi-RegionJi-Woong Choi
OpenStack Ceph & Neutron에 대한 설명을 담고 있습니다.
1. OpenStack
2. How to create instance
3. Ceph
- Ceph
- OpenStack with Ceph
4. Neutron
- Neutron
- How neutron works
5. OpenStack HA- controller- l3 agent
6. OpenStack multi-region
아틀라시안 JIRA를 사용할 때 가장 핵심적으로 해야 할 내용들만 추려서 가이드 문서를 작성하였습니다.
그러한 작업들로는 프로젝트, 스킴(Scheme), 이메일 세팅, 권한 관리, 백업/복구 등이 있습니다.
관리자가 이런 일을 잘 할 수 있도록 핵심적인 내용만으로 구성한 문서를 공유합니다.
레드햇 엔터프라이즈 리눅스 7 기반에 대한 운영자 가이드 기초편을 공유합니다.
부트로더 관리, 패키지, 네트워크, 스토리지 및 크래쉬 덤프 발생에 대한 관리까지 기초 운영 지식에 대한 부분을 본 문서를 통해 얻으실 수 있습니다.
오픈소스컨설팅의 문경윤차장께서 공유해주신 내용입니다.
2. 2
- Internal Use Only -
글러스터 파일 시스템
Storage software for
Network Attached Storage (NAS)
POSIX Compliant Distributed File System
No Metadata Server
GlusterFS 사용 장점
Petabytes 단위 지원
Linearly 구조로 인한 유연한 확장 및 고성능
저렴한 비용으로 효과 적인 인프라 구축
High Availability
Apache Hadoop 파일 시스템 기반
3. 3
- Internal Use Only -
글러스터 목표
Innovation
Metadata 제거
극적인 성능 향상
Elasticity
서비스 중단 없이 Volume 추가 및 삭제
서비스 중단 없이 확장 및 축소
Simplicity
CLI Management
Kernel의 종속 되지 않음 (Software only)
5. 5
- Internal Use Only -
특징
모든 Server 와 Client에 metadata 알고리즘이 내장
파일들의 정보는, brick 이라는 Volume Disk에서 관리
파일들을 저장 할 때, GlusterFS 서버의 로컬디스크에 지정된 폴더(Gluster에서는 이를
Brick라고 한다.)들에 Client가 보낸 파일을 변경 없이 그대로 분산하여 저장
6. 6
- Internal Use Only -
장점
GlusterFS는 Metadata를 사용 하지 않음으로 인해서 SPOF 문제가 발생 하지 않음
Metadata(Master Server)를 사용 하지 않음으로 인한 이중화 불필요
GlusterFS 서버들은 모두 동일한 Metadata를 가짐
포함되는 Metadata 정보
Storage Pool에 포함되어 있는 서버 정보(IP,Hash ID, 상태 등)
Storage Pool에 포함된 서버들에 걸쳐 있는 볼륨 정보(Name,Type)
기타 GlusterFS 시스템 로그들
7. 7
- Internal Use Only -
사용 용도
Large scale file storage
File sharing
High Performance Computing (HPC) storage
Iaas storage layer
Disaster recovery
Backup & Restore
Private cloud
10. 10
- Internal Use Only -
프로토콜
FUSE(File System in User Space)
FUSE는 Kernel Module에서 동작 하고, 파일시스템이 구축 되어 있는 상태에서 작동
Native Client는 Mount Server에 파일 권한을 그대로 사용 할 수 있음
동시에 Read / Write 하는 서비스에 권장
NFS(NAS)
NFS Version 3 client 사용, Automount
모든 노드에 Mount 하여 분산 처리 할 수 있음
GlusterFS NFS 서버에서 Lock 관리
작은 파일 사이즈가 많은 서비스에 권장
SMB/CIFS
모든 노드에 CIFS Package Install
모든 노드에 먼저 Native Mount로 되어 있어야 함
모든 노드에 Native Mount Point Share Configure