AI x ART 2023 - A.DAT

OAW
AI x ART
A.DAT 2023.7 Exhibit
기획부터 개발, 전시까지
ver 0.9
Authors - 김현수, 강태욱, 임진택, 양재희, 이수진, 조춘익, 최석영, 강선우
오픈아키텍쳐 후원 – 김호중

OAW
Table of Contents
머리말 1
서평 – 김호중 4
Acknowledge 6
1. MOTIVATION 7
2. 작품 제작/전시 11
2.1 LIterary Vistas Along the Journey. 김현수 11
2.1.1 주제 11
2.1.2 작품구상 11
2.1.3 제작과정 13
2.1.4 전시 및 후기 17
2.2 사고하는 기계. 강태욱 19
2.2.1 주제 19
2.2.2 메시지 디자인 19
2.2.3 제작 과정 21
2.2.4 전시 및 후기 25
2.2.5 레퍼런스 26
2.3 인공지능 시대의 예술 작품. 이수진 27
2.3.1 주제 27
2.3.2 메시지 디자인 28
2.3.3 제작 과정 32
2.3.4 전시 및 후기 34
2.4 Reflection. 임진택 36
2.4.1 주제 36
2.4.2 메시지 디자인 36
2.4.3 제작 과정 37
2.4.4 전시 및 후기 40
2.5 Duration. 양재희 41
2.5.1 주제 41
2.5.2 메시지 디자인 41

Social network-based Media Artwork P 3 of 74
2.5.3 제작 과정 42
2.5.4 전시 및 후기 44
2.6 MBTI self. 조춘익 45
2.6.1 주제 45
2.6.2 메시지 디자인 45
2.6.3 제작 과정 46
2.6.4 전시 및 후기 48
2.7 철학자의 의자. 강선우 50
2.7.1 주제 50
2.7.2 메시지 디자인 51
2.7.3 제작 과정 51
2.7.4 전시 및 후기 55
2.8 The Way and the Cat. 최석영 56
2.8.1 주제 56
2.8.2 메시지 디자인 56
2.8.3 제작 과정 57
2.8.4 전시 및 후기 60
3. 부록: 인공지능 미디어아트 작업을 위한 생성AI 워크샵 내용 61
3.1 머리말 61
3.2 Stable Diffusion 와 ControlNet 61
3.2.1 ComfyUI 62
3.2.2 ChatGPT & Dall-E 62
3.3 편리한 공짜 AI 미디어아트 개발 도구 63
3.3.1 프로세싱 63
3.3.2 아두이노 64
3.4 파이썬 개발 도구 64
3.4.1 Visual studio code 64
3.4.2 Colab 65
3.4.3 Github 65
3.5 유용한 딥러닝 도구 65
3.5.1 파이토치(PyTorch), 케라스(Keras) 65
3.5.2 NVIDIA 임베디드 보드 66
3.6 게임엔진 66
3.7 유니티 67
3.8 언리얼 67

3.9 괜찬은 유료 생성 AI 도구는? 68
3.10 마무리 69
4. 레퍼런스 69

머리말
2014 년 2 월, ‘BIM기반 건축 협업디자인’(2014.1, SpaceTime) 책의 Beyond Design
챕터의 내용을 현실에서 쇼셜네트웍 기반으로 이야기해 보자는 김호중 소장님의
의견으로, Open Architecture Workshop(OAW) 첫 세미나가 시작되었다. OAW는
김호중 소장 등을 주축으로 하여, 건축과 기술에 대한 공개적인 지식 공유와 토론을
지향하는 쇼셜네트웍 기반 모임이었다.
OAW 모임(2014.2, http://openarchitecture.kr/?p=125,
http://openarchitecture.kr/?p=192, Open Architecture)
최초에는 Beyond Design챕터에서 소개하는 우리가 할 수 있는 많은 것들에 대해
이야기를 나누는 것 정도로만 생각하였으나, 그때 모임의 열기가 뜨거워, 향후 워크샵
및 연말 전시까지 진행하기로, 즉석에서 결정되었다. 이 워크샵과 전시준비 작업은
Media Art를 만들고 싶은 건축가, 디자이너, 예술가 등을 주축으로 2014 년 10 월까지
진행되었고, 2014 년 12 월에 EURO Design Center에서 그 동안 연구한 내용을
바탕으로 Media Art 첫 전시회를 4 일간 열었다.
이후, 코로나 3 년을 제외하고 매년 오픈된 형식의 미디어아트 전시와 워크샵을 꾸준히
개최하였다.

올해 2023 년은 사회적으로 논쟁의 소재였던 생성 AI를 키워드로 한 AI x ART 로
주제를 정하고, 8 인의 작가들이 자신의 메시지를 인공지능으로 녹여내는 작품들을
만들어 전시하게 되었다. 이를 위해, 년초부터 5 개월간 워크샵을 통해, AI x ART에
관한 담론, 기술 세미나를 진행하여, 아이디어를 교환하였다. 모두 전업작가는
아니므로, 주말과 평일 저녁 시간을 통해, 기술 연구, 워크샵, 작품 제작 등을
진행하였다.
본인 경험상, 무엇에 대한 순수한 호기심, 열정을 바탕으로, 꾸준히, 지속적으로
노력하는 사람이 다른 누구보다 더 좋은 작품을 세상에 공개하고, 사람들에게 영감과
감동을 주고, 세상이 긍정적으로 변화하는 경우가 많다.
어떤이들의 실체는 없고 말만 있는 것은 참으로 공허한 것이다. 작가, 메이커라면, 직접
구상하고 만든 작품으로, 전달하고 싶은 비전과 메시지를 명확히 설명할 수 있을 때,
세상에서 좀 더 의미있는 가치를 만들 수 있다고 생각한다.

이러한 작가의 작품과 메시지는 사회에 작은 변화들을 줄 수 있다. 한국건축이 어려운
여건에서도 건축의 정체성을 탐구하는 OAW그룹을 이끌고, 후원을 해주신 김호중
소장님께 감사드리며, 이 모든 과정을 끝까지 함께 한 작가들에게도 감사한 마음을
전하고 싶다.
- 강태욱(laputa99999@gmail.com), 2023.8.20
이 저작물은 Creative Commons Lisence 를 따릅니다.
각 마다 장 글쓴이와 작품 작가명을 표시하였습니다.

서평 – 김호중
2014 년 첫걸음을 뗀 OAW(Open Architecture Workshop)가 곧 10 년을 앞두고 있다.
모든 시작이란 게 길든 짧든 생명을 갖고 한 세상을 살다 가기 마련이니 시간이
지나는 것에 그리 기념을 둘 일은 아니겠지만, 그럼에도 유난히 짧아진 수명을
살아가는 이 풍진세상에 9 년이란 시간은 쉬이 생각할 만한 것이 아니다. 한 해 한 해
무던히 행해져 지금껏 이어진 이 전시 그룹의 지속을 생각해 본다.
건축가와 예술가가 모여서 당시에는 낯설었던 Arduino, VVVV, Parametric Design
등을 함께 공부했고, 두 영역 모두로부터 떨어져 있었던 이러한 기술들은 두 영역의
한계를 넓혀주었고, 이내 두 경계 사이에 공통이 되는 장소를 만들어 주었다. 이
벌어진 틈으로 새로운 기술들이 더욱 다가와 유혹했고, 그들은 기꺼이 매혹되었다.
처음엔 무심히 만들기를 시작했던 것 같다. 그들 앞에 새로운 도구가 있었고, 그렇게
만들어진 것은 새로웠다.
만든다는 것, 짓는 것은 인간 공통의 숙명이다. 밥을 짓고, 책상을 만들고, 이야기를
만들고, 마음을 짓는다. 우리는 매 순간 무언가를 짓고 있다. 짓지 않는 순간은 없다.
손에 잡히는 것에서 눈에 보이지 않는 모든 것까지 인식이 다다를 수 있는 모든 것을
만드는 것으로서 우리는 삶을 산다.
그렇다면 우리는 지금 무엇을 짓고 있는가. 무엇을 지을 것인가. 이것을 생각하고
살고는 있나. 어차피 무언가를 만들 숙명이라면 무엇을 만들 것인가를 숙고해야지
않겠는가.
OAW는 이 질문을 하는 자들이고, 특별히 무엇을 지을지에 앞서 무엇으로 지을
것인지를 생각하는 그룹이다. 새로운 도구를 통해 새로움을 만들려 했으며, 새로운
도구는 사라짐 없이 늘 새로이 나타났으니, 늘 새로이 등장하는 앞단의 기술들을 미리
앞서 사용하고 상상하는 일은 그래서 멈춰질 리가 없다.
인간의 상상이 기술을 앞서던 시대를 지나 기술이 인간의 상상을 앞서는 시대를
앞두고 있다. 2023 년 지금, AGI(Artificial General Intelligence)의 등장을 예고한
인류는 앞이 캄캄하다. 누구도 미래를 상상하기를 자신하지 못하고 있다. 가장 앞선
기술을 좇아 서둘러 사용해 보고 꿈꾸는 것으로서 미래를 따를 뿐이다.

예술가란, 건축가란 누구인가. 언어로서 한계 지어져 있는 인간 세계의 경계 안팎을
노닐고, 그 경계의 벽을 뚫어 세계 인식의 크기를 키우는 자들이다. 우리는 우리의
인식 너머로 먼저 달려가고 있는 AI, 즉 우리의 인식이 아닌 새로운 인식의 영역을
열어내는 순간에 서 있다. 그리고 우리의 인식 아닌 인식 너머의 영역을 열어내는 것은
정확히 `새로운 판도라의 상자`를 다시 여는 행위다. 멈출 수 없고, 멈출 리 없는 이
거친 파도 위에서 스스로 몸에 밧줄을 묶고 서핑하는 이들을 보는 것은 큰 즐거움이다.
이 낭만이 더 오래 지속되기를 빌 뿐이다.
오픈아키텍쳐(http://openarchitecture.kr) 후원
김호중 (ABIM건축연구소 대표)

Acknowledge
사회 - 임진택 건축가
포스터 및 리플릿 디자인 - 양재희 교수
현장 준비 - 김현수 건축가
퍼포먼스 준비 - 최석영 작가
촬영 - 박현우 건축사 소장
기획 및 아카이브 - 강태욱 박사
추천 - 한전아트센터 민병근 학예사
후원 - 김호중 건축사 소장
AI x ART (2023)

1. MOTIVATION
예술이란 원래 인간과 동물을 구분하는 기준 중 하나였다. 예술은 인간의 고차원적인
영혼과 사고를 상징하는 키워드였다. 예술 작품은 이를 이해하고 만들 수 있는
작가들에 의해 만들어졌고, 그 중 고유의 가치를 인정받은 작품들은 경매에서 높은
몸값이 매겨졌다.
2022 년 부터 시작된 생성 AI의 흐름은 2023 년 모든 영역에 큰 영향을 미쳤다. 특히,
작가 고유의 영역이었던 예술 분야는 생성 AI로 만든 작품들이 전세계 아트대회
등에서 우승함으로써 예술의 고유성에 직격탄을 맞았다. 그 파장의 중심에는 오픈된
생성 AI 알고리즘이 있다.
2023 년 전시는 모든 작품을 AI로 개발하는 대신, AI와 인간이 충돌하는 경계를
표현하자는 의견에서 시작된 것이다.
주어진 이미지들의 특징을 대조한 학습 모델을 이용해 새로운 이미지를 생성할 수
있는 생성대립신경망(GAN. Generative Adversarial Network), 이미지에서 학습된
스타일로 이미지를 생성하는 U-Net 모델 구조, 자연어 번역 기술에서 발전한
토큰(단어) 문맥 학습 및 데이터 변환기인 트랜스포머(Transformer), 텍스트를
토큰화하고 입력된 이미지 특징을 학습할 수 있는 스테이블 디퓨전(Stable
Diffusion)가 오픈소스화되면서 사람이 직접 입력한 프롬프트만으로 현실적인 가상의
이미지와 영상을 만들어낼 수 있게 되었다.
특히, 트랜스포머는 토큰화될 수 있는 다양한 데이터셋(멀티모달. Multi-Modal)을 상호
변환할 수 있도록 범용화되면서 텍스트-이미지 영상, 텍스트-목소리, 이미지-음악,
이미지-텍스트와 같은 상호 변환 데이터 생성이 가능해졌다. 2022 년 말, 이 기술을
이용한 ChatGPT 서비스는 많은 사람들에게 큰 관심을 받았다.
이런 알고리즘을 이용해 몇초만에 생성된 이미지, 텍스트, 음악들은 호기심많은
사람들에 의해, 수많은 기존 작가들이 참여하는 대회에 출품되는 데, 그 결과는
뉴스에서 보는바와 같다. 기존 예술가들는 그 결과에 큰 충격을 받았다.

'말을 타고 있는 우주 비행사 사진' 프롬프트로 생성된 이미지(Stable Diffusion.
github.com/Stability-AI/stablediffusion)
Space 오페라 극장(미술대회 1 등 수상작. Colorado State Fair. Midjourney)
생성AI의 시험적 작품의 결과의 생산성과 품질이 너무 좋았기 때문에, 대중적인
관심은 물론이고, 현재는 기업의 관심을 받아, 영화와 같은 엔터테인먼트와 같은 산업
분야에서 큰 투자가 진행되고 있다. 이제 생성 AI와 가상 메타 휴먼 기술을 결합하면,
과거 역사속 인물을 배우없이 대역만으로 영화와 게임속에 불러낼 수 있다.

발렌시아가 스타일 헤리포터 영상(Demon Flying Fox)
가상 배우 메타 휴먼 기술(Unreal)
우리는 사람이 최소 몇일에서 몇 개월 이상 해야할 결과물을 적절한 품질로 몇초에서
몇시간 내로 만들어내는 생성 AI 기술을 보았을 때 충격을 상상하기는 어렵지 않다.
생성 AI 작품으로 미술대회 1 등 상을 받은 사람은 이 기술을 악마의 영감을 가진
프로그램이라고 말했다.
이제 우리는 머리속에 많은 궁금증이 떠 오를 것이다.
예술을 하는 인간과 인간처럼 예술을 생성하는 AI의 아이덴티티를 어떻게 구분할
수 있을까?
앞으로 예술의 정의는 어떻게 변화될까?
우리는 인공지능의 경계 확장에 어떻게 대응해야 할까?
인간 고유 영역인 예술을 AI가 손쉽게 할 수 있다면, 예술에서 인간의 역할은
어떻게 될 것인가?

예술에 대한 가치의 기준이 변화된다면, 우리는 어디에서 가치를 얻을 수 있을까?
이 전시는 예술이 인공지능으로 표현되는 경계에서 인간과 AI기계의
아이덴티티(Identity)를 묻고 있다.
인간과 기계의 구분(튜링 테스트, 브레이드런너, 1982 년)

2. 작품 제작/전시
2.1 LIterary Vistas Along the Journey. 김현수
2.1.1 주제
인공지능을 도구로 문학적 표현의 이미지화에 대한 다양한 실험을 하고자 하였다.
문학에서 각 시대 대표적인 작가의 문장들을 인공지능을 이용하여 시대별로 추출하고,
이러한 텍스트들을 인공지능을 이용하여 동시대의 미술양식으로 재현해보고자
하였다. 일련의 모든 과정엔 몇 가지의 인공지능 서비스가 이용되었으며 가급적
주관적인 개입은 배제하고 최대한 많은 과정이 인공지능을 거쳐 이루어지도록 하였다.
2.1.2 작품구상
출발점
작품구상은 금번 그룹전의 목적인 각자의 작품을 통하여 인공지능 기술에 대한 조망과
다양한 창의적 가능성에 대한 모색으로부터 출발하였다.

이미지화 도구
AI를 도구로 이루어지고 있는 다양한 시도들에 대한 리서치를 진행하였고, 그 가운데
텍스트를 이미지로 구현하는 대표적인 AI도구인 Midjourney, Dall-E, Stable-
Diffusion을 우선적으로 테스트하였다. 이번 전시에서는 Midjourney를 이미지표현의
도구로 사용하였다.
텍스트화 도구
다음으로 풀어야할 숙제는 이미지화하는 도구인 Midjourney에 입력할 텍스트를
어떻게 생성할 것인가에 관한 문제였는데, 이 부분도 AI가 해결하도록 하기위해 몇몇
AI 도구들 중에서 OpenAI의 GPT-4 를 선정하였다.
프로세스

작업프로세스는 GPT-4 에서 그림을 그리기 위한 텍스트를 만들고, Midjourney에서는
GPT-4 에서 만들어진 텍스트를 프롬프트로 사용하여 이미지화하는 일련의 과정이다.
무엇을 그릴 것인가?
마지막으로 결정해야할 중요한 부분은 GPT-4 에 던질 질문을 정하는 것이었으며,
동시에 그것은 무엇을 그릴 것인가를 결정하는 것이기도 하다.
멋진 주변 묘사를 포함한 텍스트를 뽑아내고 싶었고, 문학장르가 가장 적절하다고
판단하였다.
2.1.3 제작과정
GPT-4
고대부터 현재까지 디테일하게 풍경을 묘사하는 20 명의 문학작가와 문장을 시대별로
정리해달라고 GPT-4 에 요청하고 거기에 더해 동시대의 미술사조와 대표적인
미술가도 추출하였다. 추출한 자료는 차트로 받아서 Midjourney에 보내기 쉽도록
Excel에서 취합하였다.

Midjourney
GPT-4 에서 추출한 풍경을 묘사하는 문장을 prompt에 입력하고,
이 풍경을 동시대의 미술가의 스타일로 표현해 줄 것을 요청하였다.
작업이 더 정교해지도록 화풍, 미술사조, 시기, 펜터치, 빛, 화질 등이 추가되었고
이부분도 GPT-4 의 도움을 받았다.

Powerpoint
전체 영상의 전개는 시대별로 이미지컷들을 순차적으로 보여주는 것이 기본이었기에
파워포인트에서 배열하고 동영상으로 만들기로 하였다.

표지의 제목은 GPT-4 에게 배경이미지는 Midjourney에게 작업을 맡겼다.
GPT-4 에게는 작업 취지을 설명하고 10 개의 타이틀 제안을 부탁하였고 그 중
한가지를 선정하였다.
Midjourney에게도 같은 취지로 설명하고 그에 걸맞는 표지를 제안해달라고 하였다.
물론 마음에 드는 결과물이 절대 한번에 나오지는 않기에 수차례 시도하여 그
결과물을 얻을 수 있었다.

2.1.4 전시 및 후기
전시준비기간이 충분치 않았음에도 불구하고 짧은 시간안에 마무리할 수 있었던 것은
AI의 공이 크다고 할 수 있다. 고민하고 시간을 보내야했던 많은 부분을 AI가
대행해주었고, 평생 자료를 모으고 분류하기 어려운 부분도 가능하게 해주었다.
고민이 필요한 부분이라면 도출된 결과에 대한 검증은 감히 할 수가 없다는 점이다.
이번 전시를 준비하면서 처음에 목표했던 창의적 가능성은 일부 보았고 아직 표현이나
내용에 있어 서툰 부분이 있지만 발전해나가는 속도를 보면 과연 가능성이 어디까지
미칠지 두려우면서도 흥분된다.

2.2 사고하는 기계. 강태욱
2.2.1 주제
이번 작품을 통해 인공지능이 세계를 인식하는 과정을 시각적으로 표현한다.
인공지능으로 불리는 딥러닝 기술은 여러 층의 신경망으로 구성되고, 이를 통해,
인공지능은 세상을 추상화하여 인식한다. 이는 눈이 비치는 세계를 뇌가 인식하는
과정과 유사하다. 이를 통해, 인공지능과 인간의 사고가 다른점이 무엇지를 생각하게
한다.
작가는 작품을 표현하기 위해, 뇌의 신경망의 동작 방식을 조사하고, CNN
(Convolutional Neural Network), YOLO(You only look once), GAN(generative
adversarial network)과 같은 신경망이 이를 시뮬레이션하는 과정을 묘사했다. 이
과정은 뇌가 세상을 추상화하는 과정과 매우 유사해 보인다. 심층 신경망 기술은
인간의 창의적인 영역에 도전을 하다. Stable Diffusion, Transfomer, GPT와 같이 거대
심층 딥러닝은 인간이 세상의 언어, 영상, 소리의 패턴을 인식하고, 이를 재해석하여,
생성하는 것과 유사한 기능을 하는 것처럼 보인다. 작품은 이 과정을 담고 있다.
2.2.2 메시지 디자인
인간적인 사고의 근원인 뇌를 탐구하는 것에서 시작하기로 하였다. 뇌는 뉴런으로
구성된 거대하고 복잡한 그래프구조의 네트워크이다. 아직 뉴런의 동작 방식이 어떻게
사고와 같은 고수준 연산을 가능하게 하는 지는 확실치 않지만, 과학자들이 발견한 몇
가지 중요한 사실로 사고와 유사한 연산 능력을 가진 신경망을 발명할 수 있게 되었다.
신경망 네트워크의 구조는 뉴런 네트워크와 매우 유사하다. 예를 들면, 엄마가
아이에게 눈에 보이는 강아지의 단어를 말해주고 있다고 가정해 보자. 눈에 연결된
시각 세포에 외부 빛이 자극되면 그와 관련된 뉴런이 활성화된다. 활성화된 뉴런은
연결된 시넵스를 통해 엄마의 이야기로 활성화되는 뉴런과 연결이 강화된다. 여러 번
학습을 통해 강아지가 어떤 모습인지 알게된 아이는 앞으로는 엄마가 말해주지
않아도, 자연스럽게 강아지를 보며 강아지란 개념을 떠올릴 수 있게 된다. 신경망은
이를 수학적으로 묘사한다.

신경망의 뉴런과 시넵스
뇌의 뉴런을 흉내낸 신경망이 뇌가 동작되는 방식을 그대로 흉내낼 수는 없다고 본다.
하지만, 어떤 부분에서는 뇌와 유사한 활동을 하는 것처럼 보이는 경우가 있다.
그렇다고, 컴퓨터 메모리속에서 수많은 행렬 연산을 통해 계산되는 신경망이 지금
보다 더욱 발전한다면 인간의 사고 행위와 같은 영역까지 닮을 수 있을까? 블레이드
런너의 튜링테스트를 통과하는 인공지능이 인간의 영혼까지 흉내낼 수 있을지
궁금해지는 시점이다.
블레이드 런너의 튜링테스트 장면

2.2.3 제작 과정
신경망은 다양한 뉴런 층을 형성한다. 이 뉴런 층은 앞에서 입력된 정보를 모아,
일반화하거나, 반대로, 상세화하는 역할을 한다. 일반화하는 방향으로 정보를 계산해
출력하면 사물을 분류할 수 있다. 반대로 상세화하는 방향으로 정보를 계산하면,
학습된 그림, 영상과 같은 상세한 데이터를 만들 수 있다.
신경망의 이러한 연산을 위해서는 컴퓨터 프로그래밍을 통해, 뉴런과 시냅스 데이터를
보관할 수 있는 행렬을 만들고, 학습 데이터를 준비해야 한다. 학습 데이터는 입력
데이터와 정답이 되는 라벨 데이터로 구성되며, 이들이 신경망 모델에 입력되면
가중치를 조정해 나가는 오차 역전파 함수가 계산된다. 입력 데이터에 대한 출력
결과가 라벨값과 차이가 안나는 방향(오차가 적은 방향)으로 가중치를 조정해 가는
것을 학습이라 정의한다. 이 과정을 정의하는 모습을 보여주기 위해, 실제 딥러닝
모델링에 사용되는 PyTorch 라이브러리를 이용한 프로그래밍 과정을 시각화해
보았다.
시각화되는 딥러닝 모델링

모델링된 신경망 뉴런 층들 간의 연산을 표현하기 위해, 오픈소스를 사용해, 신경망을
시각화하였다. LeNet, CNN, GAN 과 같은 대중적인 신경망의 동작 방식을 시각화하기
위해, 입력 데이터를 준비하고, 신경망의 가중치 행렬이 표현되는 방식을 표현한다.
신경망 연산 과정의 가시화 (CNN)
마치 인간 진화의 역사를 보여주듯, 인공지능 모델의 발달을 시각화한 후, 이제 작품은
관객에게 진화된 인공지능을 보여준다. 현재 생성AI라 불리는 인공지능 모델은 사람의
눈이 사물을 보는 방식을 흉내낸다. 관심이 있는 부분만 관찰하고, 그 특징을 파악한다.
이 과정을 르네마그리드 작품을 통해 오마주한다.
인공지능에 의해 해석되는 르네마그리드

생성AI는 앞서 발전된 신경망 모델의 집합이다. 아직, 인공지능은 사람만큼 다양한
방식으로 자연스러운 말과 행동을 하며 커뮤니케이션하지 못한다. 하지만, 겉 모습은
비슷하게 흉내내기 시작한다.
AI를 설명하는 생성AI
앞으로도 AI는 사람과 비슷한 능력을 가질 때까지 다양하게 발전할 것이다. 이 진화의
끝에 무엇이 있을지는 아무도 모른다. 그것을 인간이 통제할 수 있을지도 모르는
상황에서 인간의 호기심은 그 끝을 향해 달려간다.

진화하는 인공지능
AI는 인간의 사고 메커니즘을 해체해, 이를 기계화하고, 효율적으로 작업하는
도구이기도 하지만, 다른 한편으로, 이를 통해, 인간의 사고를 분석하고 이해할 수 있는
또 하나의 눈처럼 느껴지기도 한다. 작품은 마지막으로 이런 느낌을 생성AI 기술을
통해 표현한다.

2.2.4 전시 및 후기
이 작품을 통해, AI란 기계의 내부를 드러내 보여줌으로써, 사고한다는 행위가 AI와
어떤 차이가 있는 지를 이야기하고 싶었다.
그룹 형식으로 전시된 작품들 대다수는 생성AI기술을 사용해 창의적인 작품들을
그려낸 것이다. 사고하고 창작하는 전통적인 행위에 AI가 준 영향은 크다. 앞으로
예술과 같은 창작 영역에서 AI과 구분되는 인간만의 Identity는 무엇인지 생각해 보는
시간이 되었으면 하는 바램에서 일주일간의 전시를 마무리한다.

2.2.5 레퍼런스
작품에 사용한 도구와 참조한 지료는 다음과 같다.
Stable Diffusion
MidJourney
ChatGPT
PyTorch CNN Visualizations
PyTorch Gradcam
Tensor Space
LeNet
ResNet-50
YOLO
GAN
D-ID
Erik Dent and Frank Gertler
MIT TECHTV
Neurons under microscope
Mr.Duncan's Social Studies Channel
Neuron Time Lapse Video
Dr. Gary Hatlen Hatlen
Family Chiropractic
René Magritte and Alan Turing

2.3 인공지능 시대의 예술 작품. 이수진
2.3.1 주제
세상과 이미지를 본격적으로 고민하기 시작한 건 사진기를 만나고 나서이다. 렌즈를
통해 세상을 모두 담을 수 있다고 믿었다. 그런 생각이 오판이었음을 깨닫기까지 오랜
시간이 걸리지 않았다. 직사각형 프레임 속에서, 그리고 60 분의 1 초를 잡아서 나를
온전히 표현하는 일은 쉽지 않았다. 더구나 현상과 인화의 과정은 그림
그리기만큼이나 많은 수작업을 요구했고 그사이나는 창작의고통을 머리와 가슴이
아닌 손과 피부로 겪어내야 했다. 디지털 사진기가 보편화된 지금, 조금은 사정이
나아졌을지도 모르겠다.
사진기를 뒤로 하고 컴퓨터로 이미지 시각화를 탐구하기 시작한 것이
2005 년부터이다. 컴퓨터 비전 기술은 인간의 눈을 대신해 어떻게 하면 컴퓨터가
이미지를 분석하고 생산할 수 있을까를 고민한다. 그 ‘시각’은 특정 개개인의 경험과
인식의 한계를 넘어설 수 있다. 컴퓨터 비전이 모사하는 눈은 지금까지 존재하지
않았던 ‘신인류’의 눈인 셈이다.
A.I. Atelier는 인간의 시각 처리 과정과 인간의 뇌가 생각하는 구조를 학습한 딥러닝
기술로 탄생했다. 인터넷 공간에 떠도는 수많은 이미지를 오브젝트로 선택할 수 있고,
그 오브젝트를 수많은 작가의 붓으로 재현할 수 있다. 세상의 모든 화풍을 물감처럼 쓸
수 있다는 점은 높은 자유도와 함께 깊은 고민의 시간을 덤으로 준다. 물론 사진에
문법이 있듯이 A.I. Atelier도 문법이 있다. A.I. Atelier의 툴을 이해하고 내 세계 로
영입하는데는 이해와 고통의 시간이 필요하다. 인공지능 기술이 표현 도구로
자리매김을 할 것인지 인간과 협업을 하는 객체로 자리매김을 할 것인지는 인간
우리의 선택이라고 생각한다.
발터 벤야민은 1935 년 사진과 영화 매체를 들어 ‘기술 복제 시대의 예술 작품’이라는
소논문을 썼다. 그가 남긴 주옥같은 연구의 글 중에 유독 이 글이 가슴에 남는 건
예술의 아우라를 사진술이 없앴다고 한 대목이다. 시대가 달라지고 사진은 다시 복제
기술의 미덕을 벗어 던지고 에디션이라는 한정에 갖혀 작품의 줏가를 올리고 있다.
경제 가치에 매혹되어 예술의 아우라를 다시 써 버렸다.

인공지능 기술이 100 여년 전 발터 벤야민이 언급했던 예술의 아우라를 드디어 벗어
던질 수 있지 않을까 기대한다. 내가 만드는 결과물, 작품은 연구 결과물이자 기술
변화의 산물이다.
작품, 갤러리 그리고 노인

"Oleander"는 고흐가 아를(Arles)에서 그린 작품 중 하나로, 1888 년에 그려진 것이다.
아를은 고흐에게 큰 영감을 주었으며, 그의 삶과 예술에 깊은 영향을 미친 장소이기도
하다. 올리앤더 꽃은 자연적으로 아름답지만 독성이 있다고 하는데 아름다움과 기쁨
그리고 고통이 공존하는 우리의 삶처럼 그의 작품 세계는 감정의 깊이를 드러내는
것으로 일관한다. 고흐의 작품 "Oleander"가 담고 있는 스타일을 2018 년 예술 작품을
지나치는 노인의 몸짓과 갤러리에 맵핑으로 투영한다.
갈색모자의 뒷모습
반 고흐의 Café Terrace at Night 작품 스타일을 적용한 작품이다.
반 고흐는 1888 년 9 월 프랑스 아를(Arles) 작은 카페 밤 풍경을 물감으로 표현했다.
삼삼오오 모여 앉아 일상을 즐기는 사람들과 대조적으로 갈색 모자를 쓰고 혼자서
파리의 낮 거리를 즐기는 남자를 125 년의 시간을 뛰어 넘어 컴퓨터 연산으로 시각화
한 작업의 결과이다. 125 년의 시간을 뛰어넘어 공간을 공유할 수 있는 것은 컴퓨팅
파워와 수학 그리고 인간의 감성 덕분이다. 기술과 인간의 하모니.

고흐의 앞마당&우리의 앞마당
아를 프로방스 농가, 그 곳을 그림으로 표현할 당시 고흐 나이 35 세. 아를(Arles)에
거주하면서 아를(Arles), 님(Nîmes), 아비뇽(Avignon) 지역의 들판, 농가 및 사람들과
같은 최고의 작품을 표현해 내고 있던 그와 달리 이수진은 학회 발표 준비에 여념이
없던 시간을 틈타 파리의 중심가 BNP 파리바(BNP Paribas S.A.) 은행이 눈에 들어왔다.
농가의 태양과 도시의 태양은 다르게 느껴지지만 같은 태양이라는 사실을 기억한다.

청년과 아몬드 꽃 향기

고흐의 아몬드 꽃(Almond Blossom, 1890) 작품은 죽음을 앞에 두고, 어린 조카의
탄생을 뒤로 하고 표현한 작품 중 하나이다. 만발한 꽃이 아름다운 건 꽃을
피워내기까지 최선을 다한 결정체이기때문이라고 하는데, 고흐의 정신세계에서
피어난 꽃이 길거리 가득한 꽃보다 향기롭다.
2.3.3 제작 과정
작품 제작 프로세스
첫 번째는 객체를 인터넷을 통해 검색하거나 업로드하고, 그 다음 익스트림 컷 기술로
원하는 이미지를 얻는 것.
1. Content Image의 특정 위치와 Style Image의 모든 위치간 유사도 비교하여
Attention map 생성
2. Content Image의 각 위치에 대해 Attention map 생성하고, Attention Map과
Style Image간 행렬 곱 수행
3. Content Image의 각 위치별로 유사한 스타일 이미지 생성
4. Content Image의 각 위치를 Content Image의 위치와 유사한 스타일 이미지로
교체

5. Content Image의 모든 위치를 유사한 스타일 이미지로 교체하여 Style Transfer
Image 생성
작품 제작 과정 예시

작품 제작 사용자 인터페이스
2.3.4 전시 및 후기
창작 도구로 알고리즘을 개발하는 것은 생산해 낼 작품에 대해 상상하는 것과는
무관하다. 이미지를 분석하고 수치화한 것을 가지고 창작 도구로 만들 수 있는 것은
소프트웨어에서만 가능하다. 자동 생성기가 아닌 창작 도구로 AI Generator로 작업한
작품들과 함께 전시할 수 있어서 즐거운 경험을 갖게 되었다.

나는 계속해서 최신의 기술을 이용한 이미지 생산 도구를 연구하고 개발할 것이다.
인간이 갖는 고유의 창작 세계를 만들어가는데 도와주는 역할을 하는 알고리즘을.
다양한 표현 방식으로 타자와 내 작품이 마주할 수 있는 공간을 공유하는 일은 즐겁다.
기획자께 감사드린다.

2.4 Reflection. 임진택
2.4.1 주제
지금까지 4 회의 A.DAT 미디어 작품을 진행하면서 자기자신을 고찰하는 도구로서
MiRROR(거울)를 이용한 아이디어를 구체화시켜왔다.
이번 전시는 AI X ART (I.dentity)를 주제로 스터디 하면서 AI에 의해 사고되고,
투영되는 자아에 대하여 탐구해보고자 하였다.
이전 전시가지의 탐구도구인 MIRROR(거울)은 이번 전시에서는 AI가 그 역할을 하게
되면서 거울이 지니는 특성의 하나인 반영과는 또 다른 “Reflection”을 보인다.
기존의 전시개념과 연계
기존의 거울의 정반사적인 메시지와는 다르게 AI에 의해 학습되어진 데이터의 양과
노출 빈도수 등에 의하여 결과가 본인이 생각하는 이미지와는 좀 거리가 생길 수도
있다.

이는 AI에 대한 논의에서 자주 회자되는 정보의 불균형에 따른 외곡된 결과와 연관이
있다고 생각된다.
이에 본인은 한가지 실험을 해보고자 한다.
생성이미지 AI를 활용하여 아시아인 그 중에서도 한국인과 일본인 사진 이미지를
만들어, 현재 AI가 생각(?)하는 한국인과 일본인의 차이가 어디인지 들여다보고자
했다.
우리모두 판단해 보자
2.4.3 제작 과정
첫번재로 태스트 해본 이미지생성 AI 툴은 PlaygroundAI 이다.
(https://playgroundai.com/)

PlaygroundAI에 의해 생성된 한국여성의 이미지
기본 얼굴형이 만들어지고 그에 따른 변형으로 사진 이미지를 생성함.
서로 유사한 사진이미지가 생성되어 다양한 얼굴형태를 만들어 볼수가 없었음.
Midjourney(Prompt : Korean_woman_college_student)
Midjourney에 의한 사진이미지 생성을 테스트하였다. 본인이 의도한 정교한 이미지를
만드려면 다양한 Prompt를 활용하여 작업을 진행해야 하나, 본 작업은 아지 기본적인
조건에서 AI가 생성하는 한국인과 일본인의 사진 이미지를 얻어 내야 함으로 의도적으로
Prompt를 최소한으로 사용할 필요가 있다.
그래서 정한 최소한의 Prompt는 다음과 같다.

a smiling face of a 20-something Korean female college student in summer.:: --ar 8:9 --v 5
a smiling face of a 20-something Korean male college student in summer.:: --ar 8:9 --v 5
a smiling face of a 20-something Japanese female college student in summer.:: --ar 8:9 --v 5
a smiling face of a 20-something Japanese male college student in summer.:: --ar 8:9 --v 5
내용은 나이: 20 대 / 한국인과 일본인 남자, 여자 / 대학생 / 여름(의상이 겨울옷이
생성되어 제한을 둠) / 화면비율(모니터해상도에 따른) / Midjourney 버전) 이다.
주어진 Prompt에 의해 생성된 이미지 / 업스케일링
link - youtu.be/STxxKCvlPDc

link - youtu.be/Zw8akJxXXwI
생성된 사진이미지
2.4.4 전시 및 후기
이 작품을 통해 AI에 의해 생성되는 결과에 대하여 다시 한번 생각해보는 기회가
되었으면 한다. 편협한 데이터베이스의 학습은 편향된 결과를 불러올 수도 있다.
결과물이 편향되었는지 아닌지 판단은 결국 인간이 해야 한다.
작품의 의도를 관람자들에게 자세히 설명할 수 있는 수단(자막, 리플렛 등)을 제대로
마련하지 못한점에 대하여 동료 작가 분들이 많이 지적해 주셨다. 이런 점은 향후
전시시에 보완하도록 노력해야할 사항이다.

2.5 Duration. 양재희
2.5.1 주제
인공지능의 딥러닝은 불필요한 기억은 지우고 기억해야 할 것들을 정한다. 공간을
기반으로 한 우리의 일상과 기억은 의식/무의식적으로 사라졌다가 다시 떠오르기도
한다. 즉 우리의 기억은 매우 비선형적이며, 이러한 특서을 인공지능 알고리즘을
이용하여 표현하고자 한다.
이 작품은 기억의 흐름과 사라져가는 순간을 탐구한다.
우리는 유사한 상황이 조성되었을 때, 연관된 일이 발생했을 때, 희미했던 잊고 있었던
것이 나타나고, 선명했던 것이 흐려진다.

우리는 기차역, 공항, 식당, 공원과 같은 장소에서 길을 걸어가고, 방에 머물고, 공원
벤치에서 쉰다. 관객은 이런, 평범한 장소, 행위들 속에서 한동안 머물러서
바라봄으로써, 이것의 의미와 가치를 헤아려본 적이 있을까를 생각해 보는 시간을
가진다(디지털 시대, 분절된 시간들).
2.5.3 제작 과정
스토리 디자인은 다음과 같은 순서로 묘사한다.
관객이 어떠한 대상을 머물러서 집중해서 바라보게 한다. 관객은 유사한 상황, 연관된
기억을 불러일으킬 것이다.
삶, 일상
공간, 장소
기억
풍경을
바라봄
차표
(trigger)

기억의 이미지는 인공지능 생성알고리즘을 사용을 이용해 회상(recall)된다. 당시에
대한 기억, 감성을 표현하는 추상적 단어를 포함하여 장면을 생성한다(예. 텅빈 외로운
방에 조명 하나, 살랑대는 바람에 의미없이 흔들리는 나무)
작가의 예상과는 다른 다양한 카메라 각도, 높이와 같이 기억은 언제나 가변적이다.
사실 우리는 동일한 장면을 다르게 기억한다.
관객은 실제 보는 영상이 누군가의 기억이 정확히 재현된 녹화된 영상이라
생각하겠지만, 사실 영상은 재현된 것이고, 이는 사실과 다를 수도 있다.
생성된
장면들

2.5.4 전시 및 후기
인공지능은 입력된 단어를 기반으로 관련된 이미지, 문장, 음악 등 다양한 매체로
이루어진 회상의 "스냅샷"을 생성한다. 이때 생성된 작품은 감정과 분위기를
표현하는데 중점을 두어 관람객이 더 감정적으로 공감할 수 있도록 할 수 있다.
우리가 보는 세상은 사실 우리가 바라보고 싶은 대로 묘사될 수도 있는 것이다.
마지막으로, 작품을 함께한 여러 작가분들께 감사하다는 말을 전하고 싶다.

2.6 MBTI self. 조춘익
2.6.1 주제
과학관에서 의심 많은 공학자로서 과학 소재의 전시에 대한 연구를 하고 있다.
산업공학을 전공하고 인간공학의 관점에서 기술로 소통하는 활동에 관심이 많다. 이
작품은 사람을 16 가지 성격유형으로 나누는 MBTI는 4 가지 지표를 기준으로
분류한다. 개개인을 구분하는 분류기준이 과연 자신을 대변할 수 있는지 문답해본다.
사람의 성격유형 분류 방식 중 하나인 MBTI를 동물의 성격과 매칭하면 재미있는
작품이 될 것 같았다. 관객은 사람과 유사한 성격의 동물을 보면서, 가볍게 생성AI를
즐길 수 있다.

2.6.3 제작 과정
1. 아이디어 정립 및 목표 설정
MBTI 성격 유형과 동물을 결합한 작품이 어떤 이야기를 전달하고자 하는지 목표를
설정한다.
2. 성격 유형 연구와 동물 매칭
MBTI 성격 유형 각각을 깊이 연구하고 각 유형에 어울리는 동물을 매칭시킨다. 각
성격 유형의 특징을 이해하고 해당 동물이 어떻게 그 유형을 대표하는지 고려한다.
3. 이미지 데이터 수집 및 선정
각 동물을 대표하는 이미지를 수집하고 선정한다. 해당 동물이 나타내는 특징과
성격을 잘 반영하는 이미지를 고르며, 다양한 시각적 스타일을 고려한다.
4. 생성AI 모델 선택
적절한 생성AI 모델을 선택한다. 동물 이미지를 구성하고 전처리 작업을 진행한다.

5. 시각적 스타일링 및 디자인
생성된 이미지를 각 성격 유형에 맞게 시각적으로 스타일링하고 디자인한다. 각
이미지가 해당 성격 유형을 잘 대표하며 작품의 일관된 시각적 분위기를 나타낼 수
있도록 조정한다.

6. 시연 및 피드백 수집
작품을 시연하고 관람객들의 피드백을 수집한다. 작품을 경험하면서 발생하는 반응과
감정을 관찰하여 작품의 효과와 메시지 전달력을 평가한다.
2.6.4 전시 및 후기
이 작품을 통해, 생성AI기술이 엔터테인먼트와 같은 역할을 할 수 있을 것이라
생각했었다. 이런 도구들이 작가들에게 주어짐으로서 앞으로도 관련 분야의 작품은
더욱 많아질 것이라 생각한다.

끝으로, 작품에 관심을 주신 관객분들께 감사하다는 말을 전하고 싶다.

2.7 철학자의 의자. 강선우
2.7.1 주제
작품은 관객들에게 인공지능과의 상호작용을 통해 새로운 관점과 아이디어를
제공한다. GPT와 생성AI가 일반화되고 있는 이 시대, 사람과 인공지능 간의 관계가
무엇인지에 대한 질문을 던진다.
이번 철학자의 의자는 인공지능이 사람과 같이 사고하는 기능을 대신할 때 떠오르는
우리의 생각을 담는 매개체로 사용된다.
작가는 지금까지 메이커로서 관객들에게 새로운 경험과 영감을 주는 활동을 해왔다.
작가는 꾸준히 미디어 아트 전시에 참여하고 있으며, 인터렉션, 가상현실, 프로젝션
맵핑 등을 다양하게 활용해 메시지를 전달한다.

고대 그리스에서는 고대의 경험과 지혜를 바탕으로 사람들에게 인생에 대한 컨설팅을
해 주는 사람을 철학자라 하였다. 지금도 우리는 인생에서 어려운 문제가 있을 때
철학자를 찾는다.
지금까지 이런 지혜를 자문하는 일은 인간의 영역이었다. 하지만, 인공지능이
발전하면서, 지혜를 철학자 대신 수천억개의 파라메터로 인터넷 지식을 학습한
GPT에게 물어보는 경우가 많아졌다.
AI는 어떤 면에서는 인간보다 더 정확하고 방대한 정보를 전달해 준다. AI는
효율적이고 정확하게 원하는 대답을 생성할 수 있다. 사람들은 기술의 효용성을
좋아하기 때문에, 자신의 고민거리를 AI를 통해 해결할 수 있는 지 시험하고, 기술을
발전시켜 나간다.
이런 상황이 진행되면, 어느 시점부터는 철학자가 AI를 대신하게 될 수 있다.
그래서, 철학자 대신 ChatGPT가 말하는 '철학자의 의자' 작품을 만들게 되었다.
2.7.3 제작 과정
철학자의 의자 컨셉에 맞도록 목재의자를 준비하고 조립하였다.

원래는 브라운관 TV를 구해, 여기에 ChatGPT화면을 표현하려하였다(개인적으로
백남준 작가님을 존경한다). 하지만, 의자에 넣을 만큼 적당한 크기의 TV를 구하기
어려웠다. 이런 이유로, 프로젝션 맵핑 방식으로 연출을 수정하였다.
ChatGPT에 인공지능과 인간의 관계, AI의 자유의지와 같은 철학적인 질문을 하고,
이를 녹화하였다. 그리고, 그 영상을 편집하여 프로잭션하기로 하였다.
프로젝션 맵핑은 매드매퍼를 사용하였다. 이 도구는 맵핑을 하기 편리한 소프트웨어로
많은 곳에서 사용되고 있다. 사용법은 인터넷 유튜브를 통해 공부하였다.

의자를 맵핑하기 위해, 조립된 의자 실물을 적당한 거리에 두고, 모서리를 만들어
나갔다. 프로젝션 맵핑은 맵핑될 사물의 거리와 방향이 고정되어 있어야 한다.
프로젝터 거리도 적당해야 연출된 맵핑이 좋다. 그래서, 계속 눈으로 확인하며 수정
반복하여 맵핑 작업을 해 나갔다.

소형 모형 TV를 구해, 여기에 편집된 영상을 맵핑하여, 철학자의 의자를 연출하였다.
마치, 의자위에 앉은 철학자가 사람들에게 지혜를 말해주는 듯한 느낌을 주려
노력했다.

2.7.4 전시 및 후기
많은 분들이 철학자의 의자란 작품을 즐기고 간 것 같다. 메시지를 정확히 전달해 주는
것에는 한계가 있었지만, 앞으로 기회가 된다면 이와 같은 주제를 좀 더 발전시켜
나가고 싶다.
끝으로, 작품 전시의 기회를 준 작가 분들과 관심을 주신 관객분들께 감사하다는 말을
전한다.

2.8 The Way and the Cat. 최석영
2.8.1 주제
"길과 고양이" 웹툰에서 시작하여 인터랙션 애니메이션으로 표현한
작가수요일(최석영) 2023 년 인생수요일프로젝트. 인생의 감성과 고양이와의 특별한
만남을 통해 인간의 삶에 대한 이야기를 그린 작품이다. 길거리의 고양이와 사람들이
만나며 각자의 삶을 돌아보게 되고, 서로에게 용기와 희망을 주는 이야기를 그린다.
이 작품은 모험을 떠나는 고양이가 바라보는 길과 도시의 다양한 장면 속의
아름다움을 발견한다. 고양이와 길이 보여주는 풍경은 일상의 소소한 순간을 느낀다.

2.8.3 제작 과정
스토리텔링 기법을 사용해, 핵심적인 줄거리와 키워드를 ChatGPT를 통해 추출한다.
그리고, 생성AI 도구를 이용한다. 이때, 튜닝이 잘된 이미지를 생성할 수 있도록, 학습
이미지를 준비하고, 이를 스타일에 반영할 수 있도록 한다. 전체적인 제작 과정은
다음과 같다.
단계 1: 아이디어 및 스토리 구성
작품의 핵심 아이디어는 길과 고양이를 중심으로 한 스토리를 만드는 것이다. 예를
들어, 하나의 고양이가 거리를 걷거나 모험을 떠나는 상황을 고려할 수 있다. 이
스토리는 작품의 시각적인 요소와 인공지능 생성 과정을 안내할 중요한 역할을 할
것이다.
단계 2: 데이터 수집 및 전처리
작품을 위해 관련된 이미지 데이터셋을 수집한다. 여기서는 고양이와 다양한 유형의
길과 관련된 이미지를 수집할 수 있다. 데이터를 전처리하여 크기를 조절하고 형식을
표준화한다.

단계 3: 생성AI 모델 선택
이미지 생성을 위해 Stable Diffusion, GAN(Generative Adversarial Network)이나 VQ-
VAE-2 와 같은 생성AI 모델을 사용할 수 있다. 이러한 모델은 이미지를 생성하고
조작하는 데 뛰어난 성능을 발휘한다.
단계 4: 모델 학습 및 파인 튜닝
선택한 생성AI 모델을 사용하여 이미지를 생성하기 위해 모델을 학습시킨다. 먼저
모델을 기본 이미지 데이터셋에 학습시킨 후, 추가로 사용할 커스텀 데이터셋(예: 특정
스토리에 필요한 이미지)으로 모델을 파인 튜닝한다.
단계 5: 스토리텔링과 이미지 생성의 결합
모델을 사용하여 스토리에 따라 이미지를 생성한다. 예를 들어, 고양이가 거리를 걷는
장면을 생성하거나, 고양이가 도시의 다양한 장소에서 모험을 하는 이미지를 만들 수
있다. 생성된 이미지는 스토리텔링 요소와 함께 조합된다.
단계 6: 시각적인 스타일링
생성된 이미지를 스토리의 분위기와 어울리도록 시각적으로 스타일링한다. 필터, 색조,
라이팅 등을 조절하여 작품의 감정과 분위기를 강조할 수 있다.

단계 7: 결과물 평가 및 보완
생성된 이미지를 평가하고 작품의 전체적인 품질을 평가한다. 필요에 따라 추가적인
조정과 수정을 통해 작품을 보완한다.
단계 8: 전시 및 공유
완성된 작품을 전시할 수 있는 환경을 마련하거나, 디지털 미디어를 통해 공유한다.
관람객들이 스토리와 이미지를 통해 작품의 매력을 경험하도록 돕는다

2.8.4 전시 및 후기
인공지능으로 생성한 길과 고양이의 이미지는 따스하고 모험심 넘치는 느낌으로
묘사했다. 이 작품을 통해, 생성AI 기술과 스토리텔링을 조합하여 독특하고 매력적인
작품을 만들어내는 과정을 즐기길 바란다.
관심을 주신 모든 분들께 감사드린다.

3. 부록: 인공지능 미디어아트 작업을 위한 생성AI 워크샵 내용
3.1 머리말
이 글은 인공지능 기반 미디어아트 작업에 필요한 유명한 생성AI 도구들을 소개한다.
최근 인공지능, 특히, 딥러닝 기술술을 이용한 생성AI등 유용한 프로그램이 많아지고
있다. 이미지, 텍스트, 음성, 영상 등을 프롬프트만 입력해 인공지능이 생성해준다.
시간과 노력이 있으면, 요즘 혼자서 웬만한 SF영화는 만들 수 있다. 이 중에 무료로
편리하게 사용할 수 있는 도구들을 중심으로 관련 자료를 소개한다.
How to make movie with AI (스크립트 생성 ChatGPT, 이미지 생성AI Midjourney,
입모양 맞춤 Eleven Labs, 동영상 생성AI D-ID)
3.2 Stable Diffusion 와 ControlNet
스테이블 디퓨전은 원하는 이미지를 프롬프트로 잘 조정해 원하는 이미지를 얻는
딥러닝 기술이다. 컨트롤넷은 스테이블 디퓨전에 스타일을 편리하게 조정할 수 있도록
한 기술이다. 이 도구는 생성 AI 핵심 기술로 사용된다. 실제로는 보통 ComfyUI같은
편리하게 만든 프로그램을 이용한다.
Stable Diffusion 다운로드: github.com/CompVis/stable-diffusion
ControlNet 다운로드: github.com/lllyasviel/ControlNet
Stable Diffusion Python Library: pypi.org/project/stable-diffusion-sdkit

3.2.1 ComfyUI
앞의 생성 AI 기술을 편리하게 사용할 수 있는 UI를 제공한 도구이다. 초등학생도
사용할 수 있을 만큼 간단하게 만들어져 있다.
다운로드: github.com/comfyanonymous/ComfyUI#installing
3.2.2 ChatGPT & Dall-E
전세계 광풍을 불러온 챗GPT는 입력한 프롬프트에 사람처럼 대답하고, 검색하고,
요약하고, 글을 써준다. ChatGPT4 는 멀티모달(텍스트 + 소리 + 이미지 등)을
제공하여, 더욱 막강해질 예정이다(변호사, 의사 시험 통과함). 트랜스포머란 딥러닝
기술로 만들었다(원천기술은 구글에서 만들었는 데 아이러니하다). Dall-E는 이미지
생성 AI이다. 얘네들이 제공하는 API(Application Program Interface) 사용해, 로봇을
제어하면, 영화 AI 비스므리한 로봇을 만들수도 있다. GPT 이용해 개발하려면 OpenAI
사이트 가입 후 기능 호출 API 키를 얻어야 한다.
링크: platform.openai.com/account/api-keys

로봇 + 챗GPT
3.3 편리한 공짜 AI 미디어아트 개발 도구
3.3.1 프로세싱
미디어아트에서 프로세싱을 모르면 간첩일 정도로 유명하다. 자바 언어 기반으로,
매우 다양한 라이브러리와 디버깅 가능한 편집기를 지원한다. 아두이노(arduino)
임베디드 보드와 특히 호환성이 좋아, 유저 인터렉티브 키네틱 아트에 자주 사용된다.
딥러닝 라이브러리 지원도 빠르게 이뤄지고 있다.
다운로드: processing.org/download
딥러닝 비전 라이브러리: github.com/cansik/deep-vision-processing

3.3.2 아두이노
마찬가지로, 미디어아트 분야에서 아두이노를 모르면 간첩이다. 임베디드 보드로, 센서
및 엑추에이터와 연결할 수 있는 GPIO 포트를 지원하여, 간단한 환경 모니터링
장치부터, 로봇까지 다양한 것들을 만들 수 있다. 개발은 C기반이다. 인스트럭터블 등
튜토리얼 웹사이트가 넘쳐나, 개발하기 편리하다. 현재, IoT, 딥러닝에 신경쓰고
있으며, ARDUINO NANO 33 SENSE 등에 TENSORRT와 같은 학습모델, 다양한
IoT예제를 사용할 수 있다.
다운로드: www.arduino.cc/en/software
아두이노 나노 33 센스 문서: docs.arduino.cc/tutorials/nano-33-ble-sense/get-started-with-
machine-learning
3.4 파이썬 개발 도구
딥러닝 개발 시 필수인 파이썬 언어는 PIP란 패키지 설치 프로그램을 제공해 강력한
라이브러리 확장성을 지원한다.
다운로드: www.python.org/downloads
3.4.1 Visual studio code
개발 업계 표준이 되다시피한 통합개발환경이다. 파이썬 등 대부분의 개발방법을
지원한다. 편리한 디버깅, 편집기, 수많은 애드인 등 기능이 매우 강력하다.
다운로드: code.visualstudio.com

3.4.2 Colab
구글에서 일부 무료로 제공하는 딥러닝 개발용 서버이다. 현존하는 유명한 딥러닝
모델을 오픈소스 예제로 무료 제공한다. 접속해 데이터를 업로드하여, 모델을
학습하고, 학습된 모델파일을 다운로드 할 수 있는 등 사용방법은 무궁무진하다.
링크: colab.research.google.com
3.4.3 Github
세계 모든 오픈소스 프로젝트가 모이는 곳이다. 국내에서 자체 개발되었다고 주장하는
프로그램?을 잠깐 뜯어보면, Github에서 가져온 것들이 쏟어져 나올만큼, 개발에서 큰
영향력을 가진다. 보통, 키워드 검색해, 소스를 다운로드하고, 빌드한다. 사용을
위해서는 개발에 대한 기초 개념은 있어야 한다.
링크: github.com
소스 코드의 바다 github.com
3.5 유용한 딥러닝 도구
3.5.1 파이토치(PyTorch), 케라스(Keras)
파이토치(PyTorch), 케라스(Keras)는 세계 모든 딥러닝 연구자가 제일 먼저 사용하는
딥러닝 도구이다. 설치하면, 다양한 예제, 강력한 라이브러리, 개발 도구가 함께
주어진다. 해당 도구를 사용하려면, 딥러닝과 파이썬에 대한 기본 개념은 이해하고
있어야 한다. NVIDIA CUDA와 함께 설치하는 일이 쥐약이다.
링크: pytorch.org/get-started/locally

예제 예시
3.5.2 NVIDIA 임베디드 보드
손바닥만한 컴퓨터로 딥러닝 이용한 미디어아트 연출에 유용하다.
딥러닝 분야의 최종승자라 불리는 NVIDIA는 강력한 병렬처리를 지원하는 CUDA
인프라를 바탕으로 각자 입맛에 맞는 임베디드 보드(AI EDGE) 인 NVIDIA JETSON
NANO(제일 싼), NVIDIA XAVIER NX(중간 비싼), NVIDIA TX2, NVIDIA XAVIER(비싼),
NVIDIA ORIN(열라 비싼) 등을 제공한다(2023.4 현재까지도, 딥러닝 R&D과제 폭팔로
원래 가격의 5 배 이상 가격에 구입할 수 있다. 품귀현상. 떼돈 벌고 있음).
해당 보드를 사면, 최신 딥러닝 코드, 예제와 편리한 개발 도구 등은 무료로 딸려온다.
링크: www.nvidia.com/en-us/autonomous-machines/embedded-systems
3.6 게임엔진
미디어아트에서 게임엔진이 사용된지는 오래되었다. 이젠 앞의 인공지능 도구들이
붙어 나온다.

3.7 유니티
얼마전 ChatGPT를 연결한 유니티 프로젝트가 떳다. 프롬프트 이용해, 3 차원 월드를
자동으로 만들어준다(자동 코딩해줌).
유니티+챗GPT 링크: github.com/GraesonB/ChatGPT-Wrapper-For-Unity
3.8 언리얼
언리얼 언급안하면, 섭할 사람 많을 듯.. 세계에서 가장 성능, 가성비 좋은 엔진이다.
실제 사람처럼 묘사하는 가상모델링기술을 제공하는 데, 이와 챗GPT가 연결되면,
경쟁력 없는 아이돌, 아나운서 같은 직종이 없어질 것 같기도 하다. 미래엔 가상휴먼이
연기, 노래, 방송 다 해치울 듯(엔터업계에선 이미 진행 중. 이젠 시나리오가 중요).

언리얼+메타휴먼+챗GPT 링크: www.youtube.com/watch?v=4WXST65ImEc
언리얼 메타휴먼 기술 데모(여기에 챗GPT+)
3.9 괜찬은 유료 생성 AI 도구는?
돈 주면서 사용하는 도구로는 Midjourney(https://discord.com/invite/midjourney), Runway
ML(https://runwayml.com), NightCafe, Kaiver, Stablecog(https://stablecog.com), Shutterstock
등이 있다. 이외에, 이미지 화질 개선 Upscale media(https://www.upscale.media), 목소리
생성 Prime Voice AI(https://beta.elevenlabs.io), 비디오 생성 D-ID(https://www.d-id.com),
발렌시아가 스타일 헤리포터 영상에서 사용한 일부 도구는 돈내고 사용한
것이다(서비스 호출 횟수만큼 결재하면 되는거라 비싸게 만든것 같진 않음). 유료인
만큼, 좋은 품질, 풍부한 자료 소스, 편리한 사용성이 빛난다.
비디오 생성 AI D-ID (https://www.d-id.com)
Runway ML (https://runwayml.com)

NightCafe (https://creator.nightcafe.studio)
Stablecog (https://stablecog.com)
3.10 마무리
지금은 춘추전국시대 같은 생성 AI 도구들을 정리해 보았다. 조만간 통일되어, Adobe
같은 업체들이 이 업계를 천하통일하리라 생각된다. 지금은 무료로 할 수 있는 것이
많아, 시간과 노력만 있다면, 재미있는 것 만들며 즐길 수 있다
4. 레퍼런스
• CNN Explainer (poloclub.github.io) (explain)
• Pytorch implementation of convolutional neural network visualization techniques
(github.com)

• A Simple pytorch implementation of GradCAM and GradCAM++ (github.com)
• Feature Visualization (distill.pub)
이 저작물은 Creative Commons Lisence 를 따릅니다.

AI x ART 2023 - A.DAT

Recommended

Recommended

More Related Content

Similar to AI x ART 2023 - A.DAT

Similar to AI x ART 2023 - A.DAT (20)

AI x ART 2023 - A.DAT