Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ai ethics

269 views

Published on

최근 몇년간 딥러닝으로 대표되는 AI 기술의 눈부신 발전으로 AI가 일부 분야에서 인간의 지각, 인식, 판단 능력에 근접하거나 앞지르는 성과들을 이루면서, 큰 기대와 함께 우려의 목소리가 점점 높아져가고 있다. 이에 대해 국제사회가 연대하여 대응하는 차원에서 2017년 1월 미국의 Future of Life Institute에서 Asilomar 원칙을 발표했고, 작년 한국에서는 지능정보사회 윤리 가이드라인과 로봇윤리헌장(가이드라인)을 발표했으며, 올해 4월에는 IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems에서 Ethically Aligned Design 1판을 발표했다. 또 비슷한 시기에 EU에서는 Ethics Guidance for Trustworthy AI, UNESCO에서는 Preliminary Study on the ethics of AI, OECD에서는 Recommendation of the Council on AI를 발표하는 등 다양한 국제적 기관에서 AI를 개발하고 사용하는 데 있어 필요한 가이드라인 또는 원칙들을 경쟁적으로 발표하고 있다.
본 세미나에서는 글로벌 AI리더로 성장하고 있는 네이버에 이러한 AI Ethics 관련 원칙과 가이드라인들을 소개하고 공통점과 차별성을 비교 분석하며, 투명성과 설명가능성을 AI에 구현하는 사례를 소개함으로써, 네이버의 AI 서비스 및 제품에 윤리적 원칙들을 적용하여 개발하는 방법에 대해 제안하고 토론하는 시간을 가지고자 한다.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Ai ethics

  1. 1. AI Ethics 관련 세계적 동향 및 대응 방안 김종욱 인공지능·로보틱스 연구실 동아대학교 2019. 07. 08 Naver TechTalk 1
  2. 2. 목 차  Why must AI have Ethics?  Global AI Ethics Principles and Guidelines  Asilomar 원칙: 미국  AI 연구개발 가이드라인: 일본  지능정보사회 윤리 가이드라인: 한국  Ethically Aligned Design: IEEE  Ethics Guidelines for Trustworthy AI: European Commission  Preliminary Study on the Ethics of AI: UNESCO  Recommendation of the Council on AI: OECD  기업의 AI윤리원칙: 카카오, Google  How to Implement Trustworthy AI? 2
  3. 3. I. Why must AI have ethics? 3
  4. 4. 인공지능이란? 지각(Perception), 학습(Learning), 추론(Inference), 이해(Understanding), 기억(Memory) 등 인간 수준의 지적 능력을 갖는 소프트웨어 • Data Mining • 에이전트 • 로봇 • Fuzzy 이론 • Expert 시스템 • 신경망.기계학습 • 자연어 처리/이해 • 영상인식/합성 • 음성인식/합성 • 계획과 문제풀이 • 탐색 • 지식표현 • 불확실성 기본 지능 지각 활용 추론/ 분류 4
  5. 5. 혜성같이 나타난 딥러닝!!  ImageNet Challenge (ILSVRC)  1000개 클래스와 140만 장의 사진 파일  Amazon Mechanical Turk에서 라벨링  주제: Object localization, Object detection, Object detection from video  Convolutional Neural Networks (CNN) : AlexNet (2012), VGG (2014), GoogLeNet (2014), ResNet (2015) ... https://medium.com/@sidereal/cnns-architectures-lenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5 vs 5
  6. 6. 딥러닝의 스타, CNN 6
  7. 7. CNN의 원리  ANN의 은닉층(hidden layer)을 다층(3층 이상)으로 쌓은 구조  end-to-end learning: 내부의 표현(representation)이나 특성(feature) 을 자동으로 학습  Convolution layer와 Pooling layer로 구성 https://github.com/vdumoulin/conv_arithmetic 7
  8. 8. 딥러닝의 원리  드롭 아웃: overfitting 방지 https://www.slideshare.net/yongho/ss-79607172  활성화 함수: ReLU 8
  9. 9. Reinforcement learning Unsupervised learningSupervised learning 딥러닝의 구분 Generative Adversarial Network (GAN) Variational Autoencoder (VAE) Convolutional Neural Network (CNN) Recurrent Neural Network (RNN) Labels (O) Labels (X) Discriminative model Generative model Deep Q- Network (DQN) Actor-Critic Policy gradient 9
  10. 10. 요즘 CNN AlexNet (2012) VGG (2014) GoogLeNet (2014) ResNet (2014) 10
  11. 11. AI 적용분야  컴퓨터 비전과 패턴 인식  흑백 사진과 영상에 색 복원하기  사진, 동영상 설명하기  실시간 동작 추정 및 행동분석  번역, 텍스트 이해  새로운 이미지 만들기  음성, 영상 합성  AI 스피커  컴퓨터 게임, 로봇공학  NPC 에이전트  자율주행차의 도로, 주변상황 인식  AI 로봇 1111
  12. 12. AI 적용분야  예술  음악 작곡  셰익스피어 스타일의 글쓰기  유명화가의 화풍 따라서 그리기  초상화 화가 Obvious  금융  주식 트레이드  콜센터  산업  Smart Farm  Smart Factory 1212
  13. 13. 문제적 AI 적용분야  아마존의 직무역량 평가  COMPAS의 범죄 재범 가능성 평가  AI 면접관 13 http://m.chosun.com/svc/article.html?sname=news&contid=201805 1401786&Dep0=m.facebook.com#Redyho
  14. 14. AI의 오류들… 14
  15. 15. AI의 기만 가능 기술: 영상·음성 합성 기술 15
  16. 16. AI의 공격 가능 기술: Adversarial Attack 16
  17. 17. 세계적 우려  “AI를 사용하는 Killer 로봇은 인류의 재앙”  인류 전체, 각 분야 전문가의 협력이 필수  AI의 설계, 개발, 사용 전단계에서 공통의 원칙, 가이드라인 구축 필요 Taranis drone(영국) Sea Hunter(미국) 휴머노이드로봇 표도르(러시아) IJCAI 2017 17
  18. 18. II. Global AI Ethics Principles and Guidelines 18
  19. 19. Asilomar AI 원칙: 미국  Future of Life Institute의 아실로마(Asilomar) AI 원칙(’17.01) 인공지능이 가져올 변화와 위협, 이 기술이 인류에 혜택을 줄 수 있게 하는 23개 원칙 연구이슈 윤리와 가치 장기적 이슈 • 연구 목표 • 연구비 지원 • 과학-정책 연계 • 연구 문화 • 경쟁 회피 • 안전 • 오류 투명성 • 사법적 투명성 • 책임성 • 가치의 준수 • 인간의 가치 • 개인정보 보호 • 자유와 개인정보 • 이익 공유 • 공동 번영 • 인간의 통제 • 사회전복 방지 • AI 무기경쟁 억제 • 능력치에 대한 주의 • 계획 및 관리 • 위험성 • 재귀적 자기개선 통제 • 공공선 19
  20. 20. AI 연구개발 가이드라인: 일본  일본 총무성, AI 연구개발 가이드라인(Draft) (’17) • AI네트워크화의 건전한 촉진과 AI시스템 편익증진에 관한 원칙 1. 협력성: 개발자는 AI시스템의 상호접속성과 상호운용성에 유의한다. • AI시스템의 위험 억제에 관한 원칙 2. 투명성: 개발자는 AI시스템 입출력의 검증 가능성과 판단 결과의 설명 가능성에 유의 한다. 3. 제어 가능성: 개발자는 AI시스템의 제어 가능성에 유의한다. 4. 안전성: 개발자는 AI시스템이 액추에이터 등을 통해 이용자와 제3자의 생명·신체·재산에 위해를 미치는 것이 없게 배려한다. 5. 보안성: 개발자는 AI시스템의 보안에 유의한다. 6. 프라이버시의 원칙: 개발자는 AI시스템에 의해 이용자와 제3자의 프라이버시가 침해되지 않 도록 배려한다. 7. 윤리의 원칙: 개발자는 AI시스템 개발에 있어서 인간의 존엄과 개인의 자율을 존중한다. • 이용자 등의 수용성 향상에 관한 원칙 8. 이용자 지원성: 개발자는 AI시스템이 이용자를 지원해 이용자에게 선택의 기회를 적절히 제공하는 것이 가능하도록 배려한다. 9. 책임성(accountability): 개발자는 이용자를 포함한 이해 관계자에 대해 책임을 완수하도 록 노력한다. 20
  21. 21. 지능정보사회 윤리 가이드라인: 한국  지능정보사회 윤리 가이드라인, 정보문화포럼 윤리분과(’17.09) 1. 공공성(Publicness): 지능정보기술은 가능한 많은 사람들에게 도움을 주어야 하며, 지능정보기술에 의해 창출된 경제적 번영은 모든 인류의 혜택을 위해 광범위하게 공 유되어야 한다. 2. 책무성(Accountability): 지능정보기술 및 서비스에 의한 사고 등의 책임 분배를 명 확히 하고, 안전과 관련한 통제장치 마련 등 사회적 의무를 충실히 수행해야 한다. 3. 통제성(Controllability): 지능정보기술 및 서비스에 대한 인간의 제어 가능성 및 오 작동에 대한대비책을 미리 마련해야 한다. 4. 투명성(Transparency): 기술개발, 서비스설계, 제품기획 등 의사결정 과정에서 이용 자·소비자·시민 등의 의견을 반영하도록 노력해야 하며, 이용 단계에서 예상되는 위험 과 관련한 정보를 공개·공유해야 한다. 21
  22. 22. Ethically Aligned Design: IEEE  Ethically Aligned Design, IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, v1(’16), v2(’17), e1(’19) <General 8 Principles> The ethical and values-based design, development, and implementation of autonomous and intelligent systems should be guided by the following General Principles: 1. Human Rights A/IS shall be created and operated to respect, promote, and protect internationally recognized human rights. 2. Well-being A/IS creators shall adopt increased human well-being as a primary success criterion for development. 3. Data Agency A/IS creators shall empower individuals with the ability to access and securely share their data, to maintain people’s capacity to have control over their identity. 22
  23. 23. IEEE EAD <General 8 Principles> Cnt’d 4. Effectiveness A/IS creators and operators shall provide evidence of the effectiveness and fitness for purpose of A/IS. 5. Transparency The basis of a particular A/IS decision should always be discoverable. 6. Accountability A/IS shall be created and operated to provide an unambiguous rationale for all decisions made. 7. Awareness of Misuse A/IS creators shall guard against all potential misuses and risks of A/IS in operation. 8. Competence A/IS creators shall specify and operators shall adhere to the knowledge and skill required for safe and effective operation. 23
  24. 24. IEEE EAD  Chapters of EAD 1. From Principles to Practice 2. General Principles 3. Classical Ethics in A/IS 4. Well-being 5. Affective Computing 6. Personal Data and Individual Agency 7. Methods to Guide Ethical Research and Design 8. A/IS for Sustainable Development 9. Embedding Values into Autonomous and Intelligent Systems 10. Policy 11. Law 24
  25. 25. IEEE EAD  Chapters of EAD 1. From Principles to Practice 2. General Principles 3. Classical Ethics in A/IS 4. Well-being 5. Affective Computing 6. Personal Data and Individual Agency 7. Methods to Guide Ethical Research and Design 8. A/IS for Sustainable Development 9. Embedding Values into Autonomous and Intelligent Systems 10. Policy 11. Law 25
  26. 26. IEEE EAD  Pillars Mapped to General Principles 26
  27. 27. IEEE EAD: Embedding Values in AIS  Section 1. Identifying Norms for AIS  Issue 1: Which norms should be identified?  Issue 2: The need for norm updating  Issue 3: A/IS will face norm conflicts and need methods to resolve them.  Section 2. Implementing Norms in AIS  Issue 1: Many approaches to norm implementation are currently available, and it is not yet settled which ones are most suitable.  Issue 2: The need for transparency from implementation to deployment  Issue 3: Failures will occur.  Section 3. Evaluating the Implementation of A/IS  Issue 1: Not all norms of a target community apply equally to human and artificial agents  Issue 2: A/IS can have biases that disadvantage specific groups  Issue 3: Challenges to evaluation by third parties 27
  28. 28. Ethics Guidelines for Trustworthy AI: European Commission  Written by AI HLEG(High-Level Expert Group on AI), ’19 28
  29. 29. Trustworthy AI 29  Maximize the benefits of AI systems while at the same time preventing and minimizing their risks.  Develop, deploy, and use AI systems in a way that the 4 Ethical Principles and 7 Key Requirements <4 Ethical Principles> 1. Respect for human autonomy 2. Prevention of harm 3. Fairness 4. Explicability
  30. 30. 30 <7 Key Requirements> 1. Human agency and oversight fundamental rights, human agency and human oversight 2. Technical robustness and safety resilience to attack and security, fall back plan and general safety, accuracy, reliability and reproducibility 3. Privacy and data governance respect for privacy, quality and integrity of data, and access to data 4. Transparency traceability, explainability and communication 5. Diversity, non-discrimination and fairness avoidance of unfair bias, accessibility and universal design, and stakeholder participation 6. Environmental and societal well-being sustainability and environmental friendliness, social impact, society and democracy 7. Accountability auditability, minimisation and reporting of negative impact, trade-offs and redress
  31. 31. Trustworthy AI Assessment List (Pilot Version) 31 3. Privacy and data governance Respect for privacy and data Protection: Depending on the use case, did you establish a mechanism allowing others to flag issues related to privacy or data protection in the AI system’s processes of data collection (for training and operation) and data processing? Did you assess the type and scope of data in your data sets (for example whether they contain personal data)? Did you consider ways to develop the AI system or train the model without or with minimal use of potentially sensitive or personal data? Did you build in mechanisms for notice and control over personal data depending on the use case (such as valid consent and possibility to revoke, when applicable)? Did you take measures to enhance privacy, such as via encryption, anonymisation and aggregation? Where a Data Privacy Officer (DPO) exists, did you involve this person at an early stage in the process?
  32. 32. Trustworthy AI Assessment List (Pilot Version) 32 3. Privacy and data governance Cnt’d Quality and integrity of data: Did you align your system with relevant standards (for example ISO, IEEE) or widely adopted protocols for daily data management and governance? Did you establish oversight mechanisms for data collection, storage, processing and use? Did you assess the extent to which you are in control of the quality of the external data sources used? Did you put in place processes to ensure the quality and integrity of your data? Did you consider other processes? How are you verifying that your data sets have not been compromised or hacked? Access to data: What protocols, processes and procedures did you follow to manage and ensure proper data governance? Did you assess who can access users’ data, and under what circumstances? Did you ensure that these persons are qualified and required to access the data, and that they have the necessary competences to understand the details of data protection policy? Did you ensure an oversight mechanism to log when, where, how, by whom and for what purpose data was accessed?
  33. 33. Preliminary Study on the Ethics of AI: UNESCO  Written by COMEST (the World Commission on the Ethics of Scientific Knowledge and Technology) Extended Working Group, ’19 33 (a) Human rights (b) Inclusiveness (c) Flourishing (d) Autonomy (e) Explainability (f) Transparency (g) Awareness and literacy (h) Responsibility (i) Accountability (j) Democracy: AI should be developed, implemented and used in line with democratic principles. (k) Good governance: Governments should provide regular reports about their use of AI in policing, intelligence, and security. (l) Sustainability: environmental impact of the entire AI and IT production cycle.
  34. 34. Preliminary Study on the Ethics of AI: UNESCO  Specific focus of UNESCO 34 (a) Education (b) Science (c) Culture (d) Communication and information (e) Peace (f) Africa (g) Gender (h) Environment
  35. 35. Recommendation of the Council on AI: OECD  Written by AIGO (AI Group of experts at the OECD), ’19 35 <5 Complementary values-based principles for the responsible stewardship of trustworthy AI> 1. inclusive growth, sustainable development and well-being; 2. human-centred values and fairness; 3. transparency and explainability; 4. robustness, security and safety; 5. accountability.
  36. 36. Recommendation of the Council on AI: OECD 36 <5 recommendations to policy-makers> 1. investing in AI research and development; 2. fostering a digital ecosystem for AI; 3. shaping an enabling policy environment for AI; 4. building human capacity and preparing for labour market transformation; 5. international co-operation for trustworthy AI.
  37. 37. 기업의 AI 윤리원칙: 카카오  카카오 알고리즘 윤리 헌장(`18.01) 1. (카카오 알고리즘의 기본 원칙) 카카오는 알고리즘과 관련된 모든 노력을 우리 사 회 윤리 안에서 다하며, 이를 통해 인류의 편익과 행복을 추구한다. 2. (차별에 대한 경계) 알고리즘 결과에서 의도적인 사회적 차별이 일어나지 않도록 경계한다. 3. (학습 데이터 운영) 알고리즘에 입력되는 학습 데이터를 사회 윤리에 근거하여 수 집∙분석∙활용한다. 4. (알고리즘의 독립성) 알고리즘이 누군가에 의해 자의적으로 훼손되거나 영향받는 일이 없도록 엄정하게 관리한다. 5. (알고리즘에 대한 설명) 이용자와의 신뢰 관계를 위해 기업 경쟁력을 훼손하지 않 는 범위 내에서 알고리즘에 대해 성실하게 설명한다. 37
  38. 38. 기업의 AI 윤리원칙: Google  Google, 인공지능 기술의 향후 사용 시 중요한 7대 원칙 발표(’18. 06) 인공지능 기술이 사용되지 않아야 할 부문 1. 사회적으로 유익해야 한다. 2. 불공정한 편견을 만들거나 심화시키지 않아야 한다. 3. 안전이 우선 되어야 한다. 4. 인간의 지시와 통제를 받아야 한다. 5. 강력한 개인 정보 보호와 데이터 사용에 대한 투명성이 보장되어야 한다. 6. 높은 수준의 과학적 우수성과 기술의 공유. 7. 잠재적 위험을 막기 위해 원칙에 부합하는 용도로 사용되어야 한다. 1. 전반적인 피해를 끼치거나 그럴 가능성이 있는 기술 2. 인명 피해를 야기하거나 직접적 피해를 입히는 것이 주요 목적인 무기 또는 관련 기술 3. 국제적으로 인정된 규범을 위반하는 감시 기술 4. 국제법과 기본 인권에 위배되는 기술 38
  39. 39. III. How to Implement Trustworthy AI? 39
  40. 40. 딥러닝의 약점  구조적 문제  복잡한 구조로 인해 개발자조차 성능이 왜 잘(안) 나오는지 설명할 수 없 음  비정상 값 출력 혹은 오류 발생 시 원인 파악의 어려움  딥러닝을 사회 인프라에 적용 시 긴급 복구·정비 불가능  변화의 대처에 취약  새로운 데이터나 기능 추가  시스템의 변화 또는 적용 분야의 변화 40
  41. 41. 딥러닝의 약점  데이터 관련 문제  방대한 양의 데이터 필요  가능한 모든 경우에 대한 데이터 확보  데이터의 편향 가능성 고려  학습 상황과 다른 상황에서 적용 시 문제 41
  42. 42. 해결책: Explainability, Transparency  딥러닝은 복잡한 블랙박스!  딥러닝의 오용, 남용, 실패에 대비  설명가능성과 투명성 없이는 딥러닝을 신뢰(trust)할 수 없고, 실제 문제 에 적용하는데 한계가 있음(ex. 자율주행자동차)  해결책  Human-in-the-loop machine learning  eXplainable AI(XAI)  Transparent Machine Learning, … 42
  43. 43. 해결책: Explainability, Transparency  딥러닝의 설명성, 투명성을 위한 방안  딥러닝 프로세스의 시각화(visualization)  딥러닝 알고리즘 설명  Feature/instance contribution to DL models  Mathematical models for DL model explanation  사용자의 Cognitive Response Communication: DL 결과에 대한 사용자의 trust, 그 결과를 기반으로 판단 시 confidence(확신)가 중요 척도임  Domain knowledge 사용  태스크 흐름 일지 쓰기 43
  44. 44. 시각화: Class activation map (CAM) 44
  45. 45. 알고리즘: 수도관 고장 예측 적용 예 Domain data Interviewing with domain experts Data cleaning Overview of domain data Converting domain data to ML features ML modelling Visualization of ML resultsExplanation of ML results Domain experts Feedback - Ground truth - Significant factors - … Decision making 45
  46. 46. 감사합니다… 46

×