[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
B2B ISV가 이끈 리테일의 혁신 - 조효원 AWS 테리토리 매니저 / 김명환 CTO, 메쉬코리아 / 이광우 CDP사업총괄, 아이지에이...Amazon Web Services Korea
한국 대표 B2B ISV인 메쉬코리아와 아이지에이웍스가 유통, 이커머스 고객의 혁신 사례를 공유합니다.메쉬코리아는 주문 채널부터 배송 완료까지, 배송 운영에 필요한 모든 부분들을 디지털화 함으로써 물류 전방위적으로 고객에게 가치를 제공합니다. 아이지에이웍스의 디파이너리(Dfinery)는 고객 데이터를 자동으로 수집, 분석하고 행동 예측과 마케팅 골든타임 사수를 위한 개인화된 커뮤니케이션까지 모든 부분을 SaaS로 구현합니다. 즉시 도입 가능한 고객 데이터 플랫폼을 통해 커머스 기업이 디지털트랜스포메이션을 빠르게 구축한 이야기를 들려 드립니다.
[Bespin Global 파트너 세션] 분산 데이터 통합 (Data Lake) 기반의 데이터 분석 환경 구축 사례 - 베스핀 글로벌 장익...Amazon Web Services Korea
기업 환경에 따라 차이는 있겠지만, 최근 대부분의 기업은 데이터 분석 환경이 구축되어 있고, 이를 기반으로 데이터를 분석하고 있습니다. 그럼에도 불구하고 현업에서는 분석하고자 하는 데이터가 없거나 변화하는 비즈니스 요건을 반영하지 못한다는 불만을 제기하고, 분석 환경을 제공하는 IT운영팀은 변화하는 비즈니스 요건에 따라 분석 환경을 적시에 제공하기 쉽지 않다는 어려움을 토로하고 있습니다. 이 해결책으로 운영시스템에 데이터베이스 형태로 존재하고 있거나, 현업의 PC에서 수작업으로 작성한 정형, 비정형 파일을 통합 관리할 수 있고, 또한 인프라 환경의 확장 및 변경을 보다 유연하게 할 수 있는 AWS Cloud 기반의 분석 환경 구축 사례를 소개하고자 합니다.
다시보기 링크: https://youtu.be/YvYfNZHMJkI
B2B ISV가 이끈 리테일의 혁신 - 조효원 AWS 테리토리 매니저 / 김명환 CTO, 메쉬코리아 / 이광우 CDP사업총괄, 아이지에이...Amazon Web Services Korea
한국 대표 B2B ISV인 메쉬코리아와 아이지에이웍스가 유통, 이커머스 고객의 혁신 사례를 공유합니다.메쉬코리아는 주문 채널부터 배송 완료까지, 배송 운영에 필요한 모든 부분들을 디지털화 함으로써 물류 전방위적으로 고객에게 가치를 제공합니다. 아이지에이웍스의 디파이너리(Dfinery)는 고객 데이터를 자동으로 수집, 분석하고 행동 예측과 마케팅 골든타임 사수를 위한 개인화된 커뮤니케이션까지 모든 부분을 SaaS로 구현합니다. 즉시 도입 가능한 고객 데이터 플랫폼을 통해 커머스 기업이 디지털트랜스포메이션을 빠르게 구축한 이야기를 들려 드립니다.
4. 기업소개
4
주식회사 바이카는 벤처기업으로 국내유일의 중고차 온라인 경매 운영 및
자동차 종합 플랫폼을 준비하는 IT기업이다.
현재 중고차 중개 관련 어플리케이션인 바이카앱을 운영 및 관리하고 있으며
자동차 종합 플랫폼 형태인 카링앱 또한 본격적인 출시를 앞두고 있다.
6. 업무
진행과정
주요담당업무
6
소속부서 : 영업부서
인터넷 검색을 통하여 지역별
주차장, 렌터카 매장, 카센터
등 데이터 수집
Admin(관리자 페이지)에
등록된 데이터의 주소를
가져와서 구글맵에 표시
엑셀파일을 토대로
Admin(관리자 페이지)에
일일이 중복확인 후 이미지
및 정보 입력
밝기, 크기, 가로세로 비율 등
이미지 편집
데이터 별로 외관 이미지,
기업명, 전화번호, 주소 등
엑셀파일에 정보 입력
Start!
실습생의 주요 업무는
인터넷에서 관련 업체 정보를 수집하고 정리하여
Carring관리자페이지에 등록하는 일을 한다
때에 따라 관리자페이지의 업체 정보를
엑셀에 정리하는 업무도 병행
정리 등록
9. *실제 업무보고 내용
하루 평균 등록 DB 개수 : 120~130개
하루 근무시간 8시간기준
125(개)
8x60(Min)
3.83(Min/개)
한 개의 업체를 찾아서 등록하는 데까지
평균적으로 4분 가량 소모
문제점 제시 – Admin(관리자 페이지)
관련
- 현 시스템 작업량 -
일일 작업량
9
10. 문제점 제시 – Admin(관리자 페이지)
관련
업무수행 시
발생하는
문제점
업무를 진행하다 보면
대부분의 작업들이
수작업으로 이루어져있고
웹 기능의 부족으로 시간과
인력의 낭비가 심하다
등록된 정보의 삭제 기능 부재
Admin데이터를 엑셀파일로 다운받을 때
엑셀데이터를 Admin에 등록할 때
1
Admin의 데이터를 엑셀문서로 다운받을 때 제한적인 정보만 가능하기
때문에 필요한 정보를 다운받지 못하는 경우가 생김.
2
3
4 이미지 편집기능 부족
엑셀파일의 데이터를 Admin에 등록할 때 하나하나
손수 옮겨 적어야 하며 데이터 중복확인기능이 없어
직접 검색해서 중복여부를 판별해야 함.
등록된 데이터를 삭제하는 기능이 없어서 불필요한
데이터를 지울 방법이 없음.
이미지 규격화 기능이 존재하지 않아 이미지 편집 파일로
손수 수정해야 함.
10
12. 1.Admin데이터를 엑셀파일로 다운받을 때
개선 전 개선 후
개선방안
Admin에 등록된 DB를 엑셀문서로
변환해주는 기능이 있지만 제한적인
데이터만 변환이 가능하고 그 외의
정보가 필요할 땐 수천 개의 업체 정보를
일일이 수작업으로 옮겨야 한다.
이름
주소
전화
번호
ID
핸드폰
번호
제휴
상태
*엑셀 변환 예시
버튼을 누르면 데이터가 정리된
엑셀파일을 다운받을 수 있다. 모든 데이터를 변환할 수 있도록 하고, 나아가 필요한
데이터만 선택적으로 추출 할 수 있도록 개선한다.
12
13. 2.엑셀데이터를 Admin에 등록할 때
개선 전 개선 후
개선방안
*Admin 등록 예시
엑셀파일의 데이터를 Admin에
등록할 때 하나하나 손수 옮겨
적어야 하며 데이터 중복 확인
기능이 없어 직접 검색해서
중복여부를 판별해야 함.
1 검색을 통해 데이터 중복여부를 판단
2 손수 데이터를 입력하여 등록
Admin의 데이터를 엑셀파일로 다운받을 때처럼
등록할 때도 엑셀파일의 데이터를 자동으로 업로드하고
또한 올리는 과정에서 중복되는 데이터를 체크하도록 개선.
자동 화
13
14. 3.등록된 정보의 삭제기능 부재
개선 전 개선 후
개선방안
데이터를 삭제하는 기능이 없어서 임시방편으로 제휴상태
를 제휴중지로 바꾸는 방법으로 지우는 법 밖에 없다.
불필요한 데이터
불필요한 데이터의 양산
등록한 데이터를 삭제하는 기능을 추가하여 불필요한
데이터의 중복을 방지.
14
15. 4.이미지 편집기능 부족
개선 전 개선 후
개선방안
규격화 기능이 존재하지 않아 이미지 편집 파일로 손수 수정
해야 하고, 그로 인해 이미지들의 크기가 제 각각인 경우가 많다.
편집 프로그램으로
직접 수정
데이터마다 사진 사이즈가 다름
이미지 업로드 시 사진의 사이즈, 가로세로 비율 등
이미지 규격화 기능 추가.
이미지
파일
자동 규격화
70
50
70
50
70
50
15