SlideShare a Scribd company logo
인공지능 소프트웨어
품질 보증을 위한 테스트 기법
인공지능소프트웨어 품질보증을위한테스트기법
한 페이지 요약
• 책 분류
• 컴퓨터 공학, 테스트, 인공지능
• 대상 독자
• 인공지능 소프트웨어에서 품질 보증을 어떻게 해야할지 궁금한 분들
• 인공지능 소프트웨어 테스트 방법론이 기존 소프트웨어 테스트 방법론과 어떤
차이가 있는지 궁금한 분들
• 특징
• 이론이나 절차로 끝나지 않고 실제 파이썬 코드를 사용한 실습 제공
• 단순 규칙 기반의 인공지능이 아니라 머신러닝(XGBoost 계열)과 딥러닝(CNN)
을 다룸
이 책의 목차
AI 관련 네 가지 테스트 기법을 실제 코드로 소개
인공지능소프트웨어 품질보증을위한테스트기법
• CHAPTER 0 AI 소프트웨어와 테스트
• CHAPTER 1 AI의 이해
• CHAPTER 2 AI 소프트웨어 테스트
• CHAPTER 3 튜토리얼 준비
• CHAPTER 4 메타모픽 테스트 기법
• CHAPTER 5 뉴런 커버리지 테스트 기법
• CHAPTER 6 최대 안전 반경 테스트 기법
• CHAPTER 7 커버리지 검증 기법
무엇이 이 책을 흥미롭게 만드는가?(1)
기존 테스트를 적용하기 어려우므로 AI 특성에 맞는 테스트 기법을 찾아라
인공지능소프트웨어 품질보증을위한테스트기법
• 기존의 테스트는 정답과 비교하지만… AI 테스트는 정답을 정의하기가 까다로운 경우가 많다
• 게다가 생성된 모델을 해석하는 과정에서 산식으로 명확하게 설명하기도 어렵다
테스트 기법 AI 소프트웨어의 과제 테스트 기법의 개요
메타모픽 입력에 대한 출력의 정답 데이터를 알 수 없
기 때문에 데이터를 만들 수 없다
입력의 변화에 대해, 예측되는 출력의 변
화를 토대로 테스트를 작성한다
뉴런 커버리지 충분한 데이터셋으로 테스트되었는지를 알
수 없다
가능한 많은 뉴런이 활성화되도록 테스트
데이터를 만든다
최대 안전 반경 입력 데이터의 미세한 변화에 대해 출력 데
이터가 크게 변하는 경향이 있다
적어도 이 정도의 범위에서는 크게 변화
되지 않는 범위를 구한다
커버리지 검증 절대적으로 엄수해야 하는 조건이 있다 절대적으로 엄수해야 하는 조건에 대해
모든 입력에 만족함을 검증한다
무엇이 이 책을 흥미롭게 만드는가?(2)
커버리지 검증, 최대 안전 반경 테스트, 뉴런 커버리지 테스트, 메타모픽 테스트
인공지능소프트웨어 품질보증을위한테스트기법
무엇이 이 책을 흥미롭게 만드는가?(3)
커버리지 검증, 최대 안전 반경 테스트, 뉴런 커버리지 테스트, 메타모픽 테스트
인공지능소프트웨어 품질보증을위한테스트기법
대상 독자
AI 소프트웨어 테스트를 다루는 몇 안 되는 책
인공지능소프트웨어 품질보증을위한테스트기법
• 특히 다음 독자에게 적합
• 인공지능 소프트웨어서 품질 보증을 어떻게 해야할지 궁금한 분들
• 인공지능 소프트웨어 테스트 방법론이 기존 소프트웨어 테스트 방법론과 어떤 차이가 있는지 궁금한 분들
• 비록 책 앞부분에 인공지능과 테스트에 대해 설명을 하고는 있지만
• 약간의 수학(미분/편미분)과 이산수학(특히 추론 이론), 인공지능 모델에 대한 기초 지식은 이해하고 있어야 한다
• 파이썬 코드를 줄 단위로 설명하지는 않지만, 실제 업무에 적용하기 위해서는 기본적인 패키지 사용법, 실행 방법 등은 이
해하고 있어야 한다
결론
**** AI 소프트웨어를 테스트하고 싶은 분들께 출발점
• 이 책에 나온 내용이 모든 형태의 AI 애플리케이션을 다루지는 못하지만, CNN 등 비정형 데이터를 처리하는 과정에서 힌트가
될 수 있음
• 머신러닝 관련해서는 부동산 가격 예측 사례를 XGBoost로 푸는 문제를 테스트하고 있긴 하지만, 시계열이나 예측 등에 대해서
는 테스트 방법을 제시하지 않으므로 이 책에 나온 내용을 출발점으로 삼아 벡테스팅 등의 기존 기법 등을 조사해야 함
• 심층 신경망의 경우 중간층이 많아질수록 이 책에 나온 사례를 적용하기가 점점 더 어려워진다는 사실을 기억할 필요가 있음 →
예) 최근 유행하고 있는 초거대 언어 모델 등에 적용할 수 없음
인공지능소프트웨어 품질보증을위한테스트기법
발표자 소개
기술 배경
전문 검색 엔진, 임베디드 시스템(리눅스 커널 디바이스 드라이버), 빅데이터/인공지능 연구 개발,
고성능 고가용성 데이터베이스
주요활동
IT 전문서 번역 (클린 코드, 피플웨어, 해커: 광기의 랩소디, 게임 엔진 블랙 북 등)
개발강의 (삼성전자, SK C&C, 삼성SDC, 현대자동차 기술 세미나와 교육)
활동채널
블로그: https://jhrogue.blogspot.com
슬라이드 셰어: https://www.slideshare.net/jrogue/presentations
유튜브: https://www.youtube.com/c/박재호dev
문의 jrogue@gmail.com
박재호

More Related Content

What's hot

SESとLambdaでメールをSlackに通知してみよう
SESとLambdaでメールをSlackに通知してみようSESとLambdaでメールをSlackに通知してみよう
SESとLambdaでメールをSlackに通知してみよう
Ken'ichirou Kimura
 
Securing ASP.NET MVC 5 Web Applications
Securing ASP.NET MVC 5 Web ApplicationsSecuring ASP.NET MVC 5 Web Applications
Securing ASP.NET MVC 5 Web Applications
Martin Åhlin
 
도메인 주도 설계 (Domain Driven Design)
도메인 주도 설계 (Domain Driven Design)도메인 주도 설계 (Domain Driven Design)
도메인 주도 설계 (Domain Driven Design)
Ashal aka JOKER
 
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
Study Group by SciencePark Corp.
 
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
TIS Inc.
 
RDRAにおける合意形成の仕組み
RDRAにおける合意形成の仕組みRDRAにおける合意形成の仕組み
RDRAにおける合意形成の仕組み
Zenji Kanzaki
 
도메인 주도 설계의 본질
도메인 주도 설계의 본질도메인 주도 설계의 본질
도메인 주도 설계의 본질
Young-Ho Cho
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
 
なぜ人は必死でjQueryを捨てようとしているのか
なぜ人は必死でjQueryを捨てようとしているのかなぜ人は必死でjQueryを捨てようとしているのか
なぜ人は必死でjQueryを捨てようとしているのか
Yoichi Toyota
 
ROS2勉強会 4章前半
ROS2勉強会 4章前半ROS2勉強会 4章前半
ROS2勉強会 4章前半
tomohiro kuwano
 
イベント・ソーシングを知る
イベント・ソーシングを知るイベント・ソーシングを知る
イベント・ソーシングを知る
Shuhei Fujita
 
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
Tsuji Yuko
 
ソニーでElectronアプリをリリースしてみた
ソニーでElectronアプリをリリースしてみたソニーでElectronアプリをリリースしてみた
ソニーでElectronアプリをリリースしてみた
Yasuharu Seki
 
ISO/IEC DIS 20246 についての(ごく簡単な)説明
ISO/IEC DIS 20246 についての(ごく簡単な)説明ISO/IEC DIS 20246 についての(ごく簡単な)説明
ISO/IEC DIS 20246 についての(ごく簡単な)説明
しょうご すずき
 
60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate
Kinji Akemine
 
Jenkins 再入門
Jenkins 再入門Jenkins 再入門
Jenkins 再入門
Jumpei Miyata
 
一人でもはじめるGitでバージョン管理
一人でもはじめるGitでバージョン管理一人でもはじめるGitでバージョン管理
一人でもはじめるGitでバージョン管理
Takafumi Yoshida
 
Agile and DevOps
Agile and DevOpsAgile and DevOps
Agile and DevOps
Yasunobu Kawaguchi
 
ASP. NET Core 汎用ホスト概要
ASP. NET Core 汎用ホスト概要ASP. NET Core 汎用ホスト概要
ASP. NET Core 汎用ホスト概要
TomomitsuKusaba
 
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ 【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
日本マイクロソフト株式会社
 

What's hot (20)

SESとLambdaでメールをSlackに通知してみよう
SESとLambdaでメールをSlackに通知してみようSESとLambdaでメールをSlackに通知してみよう
SESとLambdaでメールをSlackに通知してみよう
 
Securing ASP.NET MVC 5 Web Applications
Securing ASP.NET MVC 5 Web ApplicationsSecuring ASP.NET MVC 5 Web Applications
Securing ASP.NET MVC 5 Web Applications
 
도메인 주도 설계 (Domain Driven Design)
도메인 주도 설계 (Domain Driven Design)도메인 주도 설계 (Domain Driven Design)
도메인 주도 설계 (Domain Driven Design)
 
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
WPFの画面をWebブラウザのように拡大・縮小に追従させる方法(オートスクロールバー付き)
 
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
EventStormingワークショップ 〜かつてない図書館をモデリングしてみよう〜
 
RDRAにおける合意形成の仕組み
RDRAにおける合意形成の仕組みRDRAにおける合意形成の仕組み
RDRAにおける合意形成の仕組み
 
도메인 주도 설계의 본질
도메인 주도 설계의 본질도메인 주도 설계의 본질
도메인 주도 설계의 본질
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
なぜ人は必死でjQueryを捨てようとしているのか
なぜ人は必死でjQueryを捨てようとしているのかなぜ人は必死でjQueryを捨てようとしているのか
なぜ人は必死でjQueryを捨てようとしているのか
 
ROS2勉強会 4章前半
ROS2勉強会 4章前半ROS2勉強会 4章前半
ROS2勉強会 4章前半
 
イベント・ソーシングを知る
イベント・ソーシングを知るイベント・ソーシングを知る
イベント・ソーシングを知る
 
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
Qiita Engineer Summit 2021 LT 食べログでフロントエンドのリプレースやっていってます!
 
ソニーでElectronアプリをリリースしてみた
ソニーでElectronアプリをリリースしてみたソニーでElectronアプリをリリースしてみた
ソニーでElectronアプリをリリースしてみた
 
ISO/IEC DIS 20246 についての(ごく簡単な)説明
ISO/IEC DIS 20246 についての(ごく簡単な)説明ISO/IEC DIS 20246 についての(ごく簡単な)説明
ISO/IEC DIS 20246 についての(ごく簡単な)説明
 
60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate60分でわかった気になるISO29119 #wacate
60分でわかった気になるISO29119 #wacate
 
Jenkins 再入門
Jenkins 再入門Jenkins 再入門
Jenkins 再入門
 
一人でもはじめるGitでバージョン管理
一人でもはじめるGitでバージョン管理一人でもはじめるGitでバージョン管理
一人でもはじめるGitでバージョン管理
 
Agile and DevOps
Agile and DevOpsAgile and DevOps
Agile and DevOps
 
ASP. NET Core 汎用ホスト概要
ASP. NET Core 汎用ホスト概要ASP. NET Core 汎用ホスト概要
ASP. NET Core 汎用ホスト概要
 
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ 【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
【BS14】Blazor WebAssemblyとJavaScriptのインターオペラビリティ
 

Similar to (독서광) 인공지능 소프트웨어 품질 보증을 위한 테스트 기법

어쩌다로봇
어쩌다로봇어쩌다로봇
어쩌다로봇
민건 주
 
발표자료 1인qa로살아남는6가지방법
발표자료 1인qa로살아남는6가지방법발표자료 1인qa로살아남는6가지방법
발표자료 1인qa로살아남는6가지방법
SangIn Choung
 
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
Sungmin Kim
 
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
Jay Park
 
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
CONNECT FOUNDATION
 
[오픈소스컨설팅]소프트웨어 개발 준비 과정
[오픈소스컨설팅]소프트웨어 개발 준비 과정[오픈소스컨설팅]소프트웨어 개발 준비 과정
[오픈소스컨설팅]소프트웨어 개발 준비 과정
Ji-Woong Choi
 
엔지니어의 학습, 그리고 테스트 코드
엔지니어의 학습, 그리고 테스트 코드엔지니어의 학습, 그리고 테스트 코드
엔지니어의 학습, 그리고 테스트 코드
Mijeong Park
 
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
KTH, 케이티하이텔
 
Robot framework 을 이용한 기능 테스트 자동화
Robot framework 을 이용한 기능 테스트 자동화Robot framework 을 이용한 기능 테스트 자동화
Robot framework 을 이용한 기능 테스트 자동화
Jaehoon Oh
 
EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다
이상한모임
 
(독서광) 클린코드 이제는 파이썬이다
(독서광) 클린코드 이제는 파이썬이다(독서광) 클린코드 이제는 파이썬이다
(독서광) 클린코드 이제는 파이썬이다
Jay Park
 
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
복연 이
 
더 나은 SW프로젝트를 위해
 더 나은 SW프로젝트를 위해 더 나은 SW프로젝트를 위해
더 나은 SW프로젝트를 위해
지수 윤
 
테스트 자동화와 TDD(테스트 주도 개발방법론)
테스트 자동화와 TDD(테스트 주도 개발방법론)테스트 자동화와 TDD(테스트 주도 개발방법론)
테스트 자동화와 TDD(테스트 주도 개발방법론)
KH Park (박경훈)
 
『이펙티브 디버깅』 맛보기
『이펙티브 디버깅』 맛보기『이펙티브 디버깅』 맛보기
『이펙티브 디버깅』 맛보기
복연 이
 
소프트웨어 개발 프로세스 개선
소프트웨어 개발 프로세스 개선소프트웨어 개발 프로세스 개선
소프트웨어 개발 프로세스 개선
Jung Dohyun
 
2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence 2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence
Jong MIn Yu
 
테스트자동화와 TDD
테스트자동화와 TDD테스트자동화와 TDD
테스트자동화와 TDD
Sunghyouk Bae
 
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
NAVER D2
 
C++ 코드 품질 관리 비법
C++ 코드 품질 관리 비법C++ 코드 품질 관리 비법
C++ 코드 품질 관리 비법
선협 이
 

Similar to (독서광) 인공지능 소프트웨어 품질 보증을 위한 테스트 기법 (20)

어쩌다로봇
어쩌다로봇어쩌다로봇
어쩌다로봇
 
발표자료 1인qa로살아남는6가지방법
발표자료 1인qa로살아남는6가지방법발표자료 1인qa로살아남는6가지방법
발표자료 1인qa로살아남는6가지방법
 
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
 
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
(독서광) 책 vs 책: 코딩 테스트 합격자 되기 vs 파이썬 알고리즘 인터뷰
 
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
[부스트캠프 Tech Talk] 구건모_모델링 자동화와 실험 검증 전략
 
[오픈소스컨설팅]소프트웨어 개발 준비 과정
[오픈소스컨설팅]소프트웨어 개발 준비 과정[오픈소스컨설팅]소프트웨어 개발 준비 과정
[오픈소스컨설팅]소프트웨어 개발 준비 과정
 
엔지니어의 학습, 그리고 테스트 코드
엔지니어의 학습, 그리고 테스트 코드엔지니어의 학습, 그리고 테스트 코드
엔지니어의 학습, 그리고 테스트 코드
 
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
[H3 2012] 스마트모바일 환경에서의 App.품질관리전략
 
Robot framework 을 이용한 기능 테스트 자동화
Robot framework 을 이용한 기능 테스트 자동화Robot framework 을 이용한 기능 테스트 자동화
Robot framework 을 이용한 기능 테스트 자동화
 
EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다
 
(독서광) 클린코드 이제는 파이썬이다
(독서광) 클린코드 이제는 파이썬이다(독서광) 클린코드 이제는 파이썬이다
(독서광) 클린코드 이제는 파이썬이다
 
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
『이펙티브 디버깅』 - 디버깅 지옥에서 탈출하는 66가지 전략과 기법
 
더 나은 SW프로젝트를 위해
 더 나은 SW프로젝트를 위해 더 나은 SW프로젝트를 위해
더 나은 SW프로젝트를 위해
 
테스트 자동화와 TDD(테스트 주도 개발방법론)
테스트 자동화와 TDD(테스트 주도 개발방법론)테스트 자동화와 TDD(테스트 주도 개발방법론)
테스트 자동화와 TDD(테스트 주도 개발방법론)
 
『이펙티브 디버깅』 맛보기
『이펙티브 디버깅』 맛보기『이펙티브 디버깅』 맛보기
『이펙티브 디버깅』 맛보기
 
소프트웨어 개발 프로세스 개선
소프트웨어 개발 프로세스 개선소프트웨어 개발 프로세스 개선
소프트웨어 개발 프로세스 개선
 
2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence 2012 3 qp_hybrid algorithm optimization with artificial intelligence
2012 3 qp_hybrid algorithm optimization with artificial intelligence
 
테스트자동화와 TDD
테스트자동화와 TDD테스트자동화와 TDD
테스트자동화와 TDD
 
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
[네이버오픈소스세미나] egjs-view360 개발기 - 김희재
 
C++ 코드 품질 관리 비법
C++ 코드 품질 관리 비법C++ 코드 품질 관리 비법
C++ 코드 품질 관리 비법
 

More from Jay Park

2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
Jay Park
 
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
Jay Park
 
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
Jay Park
 
(독서광) 우연은 얼마나 내 삶을 지배하는가
(독서광) 우연은 얼마나 내 삶을 지배하는가(독서광) 우연은 얼마나 내 삶을 지배하는가
(독서광) 우연은 얼마나 내 삶을 지배하는가
Jay Park
 
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
Jay Park
 
(독서광) 대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라
(독서광) 대격변 AI 시대,   데이터로 사고하고   데이터로 리드하라(독서광) 대격변 AI 시대,   데이터로 사고하고   데이터로 리드하라
(독서광) 대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라
Jay Park
 
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
Jay Park
 
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
Jay Park
 
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
Jay Park
 
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
Jay Park
 
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
Jay Park
 
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
Jay Park
 
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
Jay Park
 
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
Jay Park
 
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
Jay Park
 
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
Jay Park
 
(독서광) 테니스 이너 게임
(독서광) 테니스 이너 게임(독서광) 테니스 이너 게임
(독서광) 테니스 이너 게임
Jay Park
 
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
Jay Park
 
(독서광) 모던 리눅스 교과서
(독서광) 모던 리눅스 교과서(독서광) 모던 리눅스 교과서
(독서광) 모던 리눅스 교과서
Jay Park
 
(독서광) 상자 밖에 있는 사람
(독서광) 상자 밖에 있는 사람(독서광) 상자 밖에 있는 사람
(독서광) 상자 밖에 있는 사람
Jay Park
 

More from Jay Park (20)

2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
2024년 7월 10일 개발 이야기 - 엔지니어링 분야에서 시니어 레벨 이상으로 성장하는 데 필요한 3가지 핵심 기술
 
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
[독서광] 창업가의 질문 - 스타트업을 준비하는 사람들이 궁금해하는 가장 보통의 질문
 
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
2024년 6월 24일 개발 이야기 - 메시지 큐 기반 아키텍처가 요즘 인기가 떨어지는 이유는 뭔가요?
 
(독서광) 우연은 얼마나 내 삶을 지배하는가
(독서광) 우연은 얼마나 내 삶을 지배하는가(독서광) 우연은 얼마나 내 삶을 지배하는가
(독서광) 우연은 얼마나 내 삶을 지배하는가
 
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
2024년 5월 27일 개발자 이야기 - 2024년 자바 생태계 정리(by 뉴 렐릭) 외
 
(독서광) 대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라
(독서광) 대격변 AI 시대,   데이터로 사고하고   데이터로 리드하라(독서광) 대격변 AI 시대,   데이터로 사고하고   데이터로 리드하라
(독서광) 대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라
 
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
2024년 5월 27일 개발자 이야기 - AWS 람다의 내부 동작 방식 외
 
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
(독서광 2024년 5월) 요즘 AI 페어 프로그래밍
 
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
(독서광) 인간이 초대한 대형 참사 - 대형 참사가 일어날 때까지 사람들은 무엇을 하고 있었는가?
 
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
(독서광) 쉽고 빠르게 익히는 실전 LLM - ChatGPT 활용부터 LLM 파인튜닝, 임베딩, 고급 프롬프트 엔지니어링까지
 
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
(독서광) LEAN HR - 당신의 스타트업은 안녕하십니까 (한빛미디어 2024)
 
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
(독서광) 구술 문화와 문자 문화: 출간 30주년 기념판 (전후 해제 포함)
 
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
(독서광) 테드 창의 숨 (아홉 가지 단편/중편 SF 과학 소설 모음집)
 
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
(독서광) 이제는 이기는 인생을 살고 싶다 - 적을 만들지 않고 단번에 갈등을 풀어내는 백전백승 변호사의 지혜지략
 
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
(독서광) 프로덕트 매니저 원칙: 10년이 가도 변하지 않을 PM/PO로 살아가는 원칙과 철학
 
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
(독서광) 개발자로 첫 출근했어요 - 사내 개발 도구, 기술, 문화 적응 가이드
 
(독서광) 테니스 이너 게임
(독서광) 테니스 이너 게임(독서광) 테니스 이너 게임
(독서광) 테니스 이너 게임
 
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
(독서광) 인간 vs. AI 정규표현식 문제 풀이 대결
 
(독서광) 모던 리눅스 교과서
(독서광) 모던 리눅스 교과서(독서광) 모던 리눅스 교과서
(독서광) 모던 리눅스 교과서
 
(독서광) 상자 밖에 있는 사람
(독서광) 상자 밖에 있는 사람(독서광) 상자 밖에 있는 사람
(독서광) 상자 밖에 있는 사람
 

(독서광) 인공지능 소프트웨어 품질 보증을 위한 테스트 기법

  • 2. 인공지능소프트웨어 품질보증을위한테스트기법 한 페이지 요약 • 책 분류 • 컴퓨터 공학, 테스트, 인공지능 • 대상 독자 • 인공지능 소프트웨어에서 품질 보증을 어떻게 해야할지 궁금한 분들 • 인공지능 소프트웨어 테스트 방법론이 기존 소프트웨어 테스트 방법론과 어떤 차이가 있는지 궁금한 분들 • 특징 • 이론이나 절차로 끝나지 않고 실제 파이썬 코드를 사용한 실습 제공 • 단순 규칙 기반의 인공지능이 아니라 머신러닝(XGBoost 계열)과 딥러닝(CNN) 을 다룸
  • 3. 이 책의 목차 AI 관련 네 가지 테스트 기법을 실제 코드로 소개 인공지능소프트웨어 품질보증을위한테스트기법 • CHAPTER 0 AI 소프트웨어와 테스트 • CHAPTER 1 AI의 이해 • CHAPTER 2 AI 소프트웨어 테스트 • CHAPTER 3 튜토리얼 준비 • CHAPTER 4 메타모픽 테스트 기법 • CHAPTER 5 뉴런 커버리지 테스트 기법 • CHAPTER 6 최대 안전 반경 테스트 기법 • CHAPTER 7 커버리지 검증 기법
  • 4. 무엇이 이 책을 흥미롭게 만드는가?(1) 기존 테스트를 적용하기 어려우므로 AI 특성에 맞는 테스트 기법을 찾아라 인공지능소프트웨어 품질보증을위한테스트기법 • 기존의 테스트는 정답과 비교하지만… AI 테스트는 정답을 정의하기가 까다로운 경우가 많다 • 게다가 생성된 모델을 해석하는 과정에서 산식으로 명확하게 설명하기도 어렵다 테스트 기법 AI 소프트웨어의 과제 테스트 기법의 개요 메타모픽 입력에 대한 출력의 정답 데이터를 알 수 없 기 때문에 데이터를 만들 수 없다 입력의 변화에 대해, 예측되는 출력의 변 화를 토대로 테스트를 작성한다 뉴런 커버리지 충분한 데이터셋으로 테스트되었는지를 알 수 없다 가능한 많은 뉴런이 활성화되도록 테스트 데이터를 만든다 최대 안전 반경 입력 데이터의 미세한 변화에 대해 출력 데 이터가 크게 변하는 경향이 있다 적어도 이 정도의 범위에서는 크게 변화 되지 않는 범위를 구한다 커버리지 검증 절대적으로 엄수해야 하는 조건이 있다 절대적으로 엄수해야 하는 조건에 대해 모든 입력에 만족함을 검증한다
  • 5. 무엇이 이 책을 흥미롭게 만드는가?(2) 커버리지 검증, 최대 안전 반경 테스트, 뉴런 커버리지 테스트, 메타모픽 테스트 인공지능소프트웨어 품질보증을위한테스트기법
  • 6. 무엇이 이 책을 흥미롭게 만드는가?(3) 커버리지 검증, 최대 안전 반경 테스트, 뉴런 커버리지 테스트, 메타모픽 테스트 인공지능소프트웨어 품질보증을위한테스트기법
  • 7. 대상 독자 AI 소프트웨어 테스트를 다루는 몇 안 되는 책 인공지능소프트웨어 품질보증을위한테스트기법 • 특히 다음 독자에게 적합 • 인공지능 소프트웨어서 품질 보증을 어떻게 해야할지 궁금한 분들 • 인공지능 소프트웨어 테스트 방법론이 기존 소프트웨어 테스트 방법론과 어떤 차이가 있는지 궁금한 분들 • 비록 책 앞부분에 인공지능과 테스트에 대해 설명을 하고는 있지만 • 약간의 수학(미분/편미분)과 이산수학(특히 추론 이론), 인공지능 모델에 대한 기초 지식은 이해하고 있어야 한다 • 파이썬 코드를 줄 단위로 설명하지는 않지만, 실제 업무에 적용하기 위해서는 기본적인 패키지 사용법, 실행 방법 등은 이 해하고 있어야 한다
  • 8. 결론 **** AI 소프트웨어를 테스트하고 싶은 분들께 출발점 • 이 책에 나온 내용이 모든 형태의 AI 애플리케이션을 다루지는 못하지만, CNN 등 비정형 데이터를 처리하는 과정에서 힌트가 될 수 있음 • 머신러닝 관련해서는 부동산 가격 예측 사례를 XGBoost로 푸는 문제를 테스트하고 있긴 하지만, 시계열이나 예측 등에 대해서 는 테스트 방법을 제시하지 않으므로 이 책에 나온 내용을 출발점으로 삼아 벡테스팅 등의 기존 기법 등을 조사해야 함 • 심층 신경망의 경우 중간층이 많아질수록 이 책에 나온 사례를 적용하기가 점점 더 어려워진다는 사실을 기억할 필요가 있음 → 예) 최근 유행하고 있는 초거대 언어 모델 등에 적용할 수 없음 인공지능소프트웨어 품질보증을위한테스트기법
  • 9. 발표자 소개 기술 배경 전문 검색 엔진, 임베디드 시스템(리눅스 커널 디바이스 드라이버), 빅데이터/인공지능 연구 개발, 고성능 고가용성 데이터베이스 주요활동 IT 전문서 번역 (클린 코드, 피플웨어, 해커: 광기의 랩소디, 게임 엔진 블랙 북 등) 개발강의 (삼성전자, SK C&C, 삼성SDC, 현대자동차 기술 세미나와 교육) 활동채널 블로그: https://jhrogue.blogspot.com 슬라이드 셰어: https://www.slideshare.net/jrogue/presentations 유튜브: https://www.youtube.com/c/박재호dev 문의 jrogue@gmail.com 박재호