http://www.ubuntu-kr.org/viewtopic.php?f=2&t=22403
진행순서
- 행사 소개 및 인사
- 첫번째 이야기 : 커맨드라인 유틸리티 소개와 eBuntu와 함께하는 임베디드 개발 이야기 - drake_kr님
- 두번째 이야기 : Proxmox, 가상머신에 대한 추억 - Readytoact님
- 세번째 이야기 : 우분투 부팅 과정에 대한 이야기 - 박진호님
- 네번째 이야기 : 여성 개발자로 살아온 인생 - 전수현님
- 다섯번째 이야기 : 웹 접근성에 대한 이야기 - 조채연님
http://www.ubuntu-kr.org/viewtopic.php?f=2&t=22403
진행순서
- 행사 소개 및 인사
- 첫번째 이야기 : 커맨드라인 유틸리티 소개와 eBuntu와 함께하는 임베디드 개발 이야기 - drake_kr님
- 두번째 이야기 : Proxmox, 가상머신에 대한 추억 - Readytoact님
- 세번째 이야기 : 우분투 부팅 과정에 대한 이야기 - 박진호님
- 네번째 이야기 : 여성 개발자로 살아온 인생 - 전수현님
- 다섯번째 이야기 : 웹 접근성에 대한 이야기 - 조채연님
HTTP/2도 잘 모르는데 벌써 HTTP/3? (2020/4/23) (Korean and English)Junho Choi
2020/4/23 IT 인프라 엔지니어그룹 밋업 발표 https://festa.io/events/973
2nd half of the slides are in English. This is a updated version from https://www.slideshare.net/InfraEngineer/meetup3rd-http2-http3
머신러닝 및 데이터 과학 연구자를 위한 python 기반 컨테이너 분산처리 플랫폼 설계 및 개발Jeongkyu Shin
머신러닝 및 데이터 과학 분야의 컴퓨팅 수요는 해가 갈수록 급증하고 있습니다. 이와 더불어 분산처리 기술, 데이터 파이프라이닝 및 개발 환경 스택 관리 등의 관련된 다양한 이슈들 또한 엄청나게 늘어나고 있습니다. 머신러닝 모델의 기하급수적인 모델 복잡도 증가 추세와 마찬가지로, 모델 학습을 위한 환경 관리 또한 갈수록 복잡도가 높아지는 추세입니다.
이 세션에서는 이러한 문제를 해결하기 위해 python 언어 기반의 분산처리 스케쥴링/오케스트레이션 미들웨어 플랫폼을 개발한 4년간의 과정에서 겪은 다양한 문제들에 대해 다룹니다. 2015년 컨테이너 기반의 고밀도 분산처리 플랫폼 설계 및 프로토타이핑 과정을 PyCon KR에서 발표한 이후, 실제 구현 및 오픈소스화, 안정화를 거치며 겪은 다양한 기술적/비기술적 문제들에 대한 경험을 공유합니다.
기술적으로는 최근 몇 년 간의 클러스터 플랫폼 관련 기술의 진보와 함께 탄생한 다양한 도구들과, 이러한 도구들을 python 기반으로 엮어내기 위해 사용하고 개발한 다양한 오픈소스들을 다룹니다. Python 기반의 컨테이너 스케쥴링 및 오케스트레이션 과정의 구현과, 다양한 프로그래밍 언어로 만든 SDK를 graphQL을 이용하여 연동하는 과정에서의 몇몇 유의점을 설명합니다. 아울러 python 기반의 SDK를 다양한 언어로 포팅했던 경험을 간단하게 안내합니다.
플랫폼을 개발하는 중 등장한 TensorFlow, PyTorch 등의 다양한 머신러닝 프레임워크들을 도입하며 겪은 문제와 해결 과정에 대해서도 나눕니다. 연구 분야에는 Python 2.7 기반의 프레임워크들이 여전히 많습니다. 이러한 프레임워크 및 라이브러리의 지원을 위하여 Python 2 기반의 프레임워크와 Python 3.7로 구현한 컨테이너 인터페이스를 단일 컨테이너 환경에 중복 빌드 및 상호 간섭 없이 공존시키기 위해 개발한 아이디어를 소개합니다.
마지막으로 Python 기반의 프레임워크를 개발, 배포 및 상용화 하는 과정에서 겪은 다양한 어려움을 소개합니다. 솔루션을 배포 및 보급할 때 겪는 다양한 런타임, 하드웨어 환경 및 개인 정보 보호를 위한 폐쇄망 대상의 디플로이 등에 대응하기 위하여 Python 응용프로그램을 단독 실행용으로 패키징하는 과정에서 겪은 팁들을 설명합니다. 또한 GUI 빌드 및 Python, Go 및 C++을 함께 사용한 드라이버 가상화 레이어 개발 등의 내용도 살짝 다룹니다.
이 슬라이드는 PyCon KR 2019의 발표 슬라이드입니다. ( https://www.pycon.kr/program/talk-detail?id=138 )
6. Server02 접속
Putty > Server01 SSH 접속
$ cd /home
Step-1
너치 설치 파일 압축 해제
$ tar -xvf apache-nutch-1.9-bin.tar.gz
Step-3
너치 설치 파일 다운로드
$ wget http://archive.apache.org/dist/nutch/1.9/apache-nutch-1.9-bin.tar.gz
Step-2
7. 너치 Http Agent 설정
$ cd /home/apache-nutch-1.9/conf
$ vi nutch-site.xml
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
Step-4
너치 URL 필터 설정
$ vi regex-urlfilter.txt
+^http://*
+^https://*
Step-5
8. 루트 URL 정보 입력
$ mkdir /home/apache-nutch-1.9/urls
$ vi /home/apache-nutch-1.9/urls/seed.txt
https://blog.naver.com/javaguy
Step-6
수집 컨텐츠 디렉토리 생성
$ mkdir /home/apache-nutch-1.9/collect
Step-7
9. 실무로 배우는 빅데이터 기술
확장하기 16편 – 너치(Nutch) 설치
[ 강의자료 ]
동 영 상: 유튜브 www.youtube.com
실습문서: 슬라이드쉐어 www.slideshare.net