Download as PDF, PPTX
![クラス分類器がどの領域をもとに画像を分類するかを可視化するClass Activation Mapにて再現。
Pythonで焦点を検出する②：一部解説
焦点「見慣れたモノ」の検出（tf-keras-visにてGradCAM++を利用）
# import libraries (略)
# prepare model & input dat
a
model = Model(weights='imagenet', include_top=True
)
image = load_img(img_name, target_size=(224, 224))
X = preprocess_input(np.array(image))
# set loss & modifier to replace a softmax function
def loss(output):
return (output[0][cls_index])
def model_modifier(m):
m.layers[-1].activation = tf.keras.activations.linear
return m
# generate heatmap with GradCAM++
gradcam = GradcamPlusPlus(model, model_modifier=model_modifier, clone=False)
cam = gradcam(loss, img, penultimate_layer=-1)
cam = normalize(cam)
heatmap = np.uint8(cm.jet(cam[0])[..., :3] * 255)
keisen/tf-keras-vis ¦ Github](https://image.slidesharecdn.com/python-211015154726/85/Python-51-320.jpg)
![OpenPoseで人物の軸とイマジナリーラインを推定。イラストでの精度も意外と高い。（Colab未掲載）
Pythonで各構成要素の特徴を分析する②：一部解説
ラインを抽出する（OpenPoseを利用）【実装済み・コード準備中】
# import libraries
import cv2
from openpose import pyopenpose as o
p
# Starting OpenPose
opWrapper = op.WrapperPython()
opWrapper.configure(params)
opWrapper.start()
# Process Image
datum = op.Datum()
imageToProcess = cv2.imread(args[0].image_path)
datum.cvInputData = imageToProcess
opWrapper.emplaceAndPop(op.VectorDatum([datum])
)
…
CMU-Perceptual-Computing-Lab / openpose - OpenPose Python API Examples ¦ Github](https://image.slidesharecdn.com/python-211015154726/85/Python-74-320.jpg)
Uploaded byHirosaji
絵を読む技術 Pythonによるイラスト解析
PyCon JP 2021 (2021/10/16) @Hirosaji @Hirosaji_draw https://2021.pycon.jp/time-table/?id=273843 ※表示画面が小さいと感じる場合は、次のSpeakerDeckをご覧ください。 https://speakerdeck.com/hirosaji/the-art-of-reading-illustrations ===== Title (English): The Art of Reading Pictures: Illustration Analysis in Python
More Related Content
![[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0114-220114032933-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [OS3-02] Federated Learningの基礎と応用](https://cdn.slidesharecdn.com/ss_thumbnails/ssii2022-os3-02-220607020834-2b5f93ff-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts32022ssiiess-220607054523-e80be8dc-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning to simplify fully convolutional networks for rough sketch](https://cdn.slidesharecdn.com/ss_thumbnails/learningtosimplifyfullyconvolutionalnetworksforroughsketch-161026035230-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Freehand-Sketch to Image Synthesis 2018](https://cdn.slidesharecdn.com/ss_thumbnails/hozumi110918-181109001844-thumbnail.jpg?width=640&height=640&fit=bounds)
絵を読む技術 Pythonによるイラスト解析
- 1. PyCon JP 2021(2021/10/16) 絵を読む技術 Pythonによるイラスト解析 Hirosaji (@hirosaji) ／ ひろさじ (@hirosaji_draw)
- 2.
- 3.
- 4. イラストを観るのも描くのも好きで、悠々自適にイラストライフを楽しんでいたが… フリーイラストレーター ひろさじ（@hirosaji_draw） このプレゼンをする経緯（起承転結） 良いイラストを描くぞい！٩( 'ω' )وこのイラスト好き！(っ'-')╮ = ͟ ͟͞͞ ❤︎ 雇われWebエンジニア Hirosaji（@hirosaji）
- 5.
- 6.
- 7.
- 8. このプレゼンは 科学 ＜経験則 を重視 厳密な科学的証明はないが、イラストレーターがどの部分を大事にしているか、そのエッセンスを伝える。 前置き⚠ 🙆 巨匠たちの経験則 🙆 絵師のドメイン知識 🙆 巨人の肩の上のコード 🙅 厳密な現代科学的アプローチ 🙅 画像生成系のML技術 🙅 専門性の高いコード 説明すること 触れないこと
- 9.
- 10. 絵を読む技術を身につける 知識のベースは イラストの技法書 イラストを読むとは、すなわち 絵師の狙いを読むこと。今回はこの 絵師の狙い"を紐解く。 このプレゼンの目的 絵師の狙い = イラストレーター
- 11. ・情報伝達の時短 ・言葉にできない文脈の可視化 ○ でわかる風景作画 神技作画シリーズ- さけハラス ¦ KADOKAWA（2020） より一部要約 © ひろさじ 絵師の狙いを知るため、まずイラストの目的を確認する。イラストの目的は一言で言うと「説明の時短」。 絵師の狙いとは：イラストの目的 せ つ め い イラストレーター
- 12. Portrait of aMan - Jan Maurits Quinkhard ｜メトロポリタン美術館（Public domain） 絵画 イラスト © ひろさじ チャート © Hirosaji 多 文脈・情報量 少 文脈を少し絞って、何かを説明する役割を持つイラスト。 どこ かを強調し、 なに かを伝えたいはず。 絵師の狙いとは：イラストの位置付け イラストレーター
- 13. 2. 絵師が なにを伝えたいのか ・イラストで強調される要素を探る ・Pythonで焦点を検出する ・イラストの構成要素ごとの機能を探る ・Pythonで構成要素ごとの特徴を分析する 1. 絵師が どこ を伝えたいのか イラストレーター 今回のプレゼンの流れがこちら。絵師の狙いを紐解きながら、各章で解説に沿ったPythonを紹介する。 説明する流れ はじめに 絵を読むことは、絵師の狙いを読みとること イラストレーター アペンド 済
- 14.
- 15. 1. デッサン力／着彩力 2. 個性／センス 3.構図選び 一般に、絵師は伝えたい どこ かを強調する。その強調に最も重要な技能は、次の３つの内どれ？ 強調に一番重要な技能はどれ？ イラストに求められる技能
- 16. 1. デッサン力／着彩力 2. 個性／センス 3.構図選び デッサン／着色力は、正確な人体やオブジェクトを模すための能力。絵師の基礎能力だが、強調には無関係。 強調に一番重要な技能はどれ？ イラストに求められる技能 モノの形や色、位置関係を正確に再現する力
- 17. 1. デッサン力／着彩力 2. 個性／センス 3.構図選び 個性／センスは、絵師にとっての雑味を省き、魅力を誇張する能力。絵柄に影響し、大きく変更できない。 強調に一番重要な技能はどれ？ イラストに求められる技能 装飾やデフォルメで、雑味を省いて魅力を引き出す力
- 18. 1. デッサン力／着彩力 2. 個性／センス 3.構図選び 構図選びは、伝えたいストーリーや感情が直感的に伝わる絵を作るために必要。強調のTipsが沢山ある。 強調に一番重要な技能はどれ？ イラストに求められる技能 その絵で伝えたいストーリーや感情を伝えるための設計の力
- 19.
- 20. 伝えたいストーリーや感情を伝える画面設計 画面の形 ★ 主にキャンバスの縦横比 を決める 人や物の配置 人や物の大きさ／占有度 を考えて配置する。 光とカメラの配置 カメラの位置や向き、 レンズの種類を決める。 構図は 構図とは © Unity TechnologiesJapan/UCL 画面設計に必要なプロセスは Unityと同じ （ビュー設定、カメラ・光源・オブジェクトの配置…）
- 21. イラスト 構図 S ⼀点透視∕放射構図 あおり構図 アルファベット構図 ３分割構図 ⽇の丸構図 対⾓線構図 約xxx,xxx件（x,xx秒） 構図には王道パターンが沢山ある（ただし未整理） 構図には、イラストに必要な色んなエッセンスが凝縮した王道パターンがたくさんある。（ただし未整理）
- 22. イラスト 構図 S ⼀点透視∕放射構図 あおり構図 アルファベット構図 ３分割構図 ⽇の丸構図 対⾓線構図 約xxx,xxx件（x,xx秒） 【整理してみた】構図の王道パターン それぞれのパターンが生まれた経緯を調べると、 焦点 と カメラ の２つの目的で開発されていた。 ① 焦点（視線）をコントロールする ② カメラをコントロールする 目的別に分類すると、 (
- 23. この目的の構図を 特に発展させたのは西洋美術。 ガラテアの勝利 - ラファエロ・サンティ（模写）｜メトロポリタン美術館（Publicdomain） ・依頼は宗教画など、主役を引き立たせる題材が多かった ・今に比べて画材が高く、絵師も依頼主も少なかった 絵を見る技術 名画の構造を読み解く - 秋田麻早子 ¦ 朝日出版社（2019） 他より （おそらく中世以降） 焦点（フォーカルポイント）への視線誘導が含まれた、主役が引き立つ絵画が、西洋美術に数多く残る。 構図の歴史①：焦点（超ざっくり版） ① 焦点（視線）をコントロールする (1/2)
- 24. 絵のどこに視線が落とされても 主役が引き立つように... ガラテアの勝利 - ラファエロ・サンティ（模写）｜メトロポリタン美術館（Publicdomain） ・絵の外に視線を逃さないようにする ・焦点に視線を集める 絵を見る技術 名画の構造を読み解く - 秋田麻早子 ¦ 朝日出版社（2019） 他より 例に載せた ガラテアの勝利 のように、主役を焦点とするためのさまざまな工夫がされていた。 ① 焦点（視線）をコントロールする (2/2) 構図の歴史①：焦点（超ざっくり版）
- 25. ラファ☆エロ@個展や 新作描いたよ。 twitter.com/ra ff aello_santi... 202X/XX/XX イラスト過多のいま、焦点が無いと一瞬でスクロールされる。勝負は一瞬。分かりやすい焦点が必要。 → 焦点のコントロールは、イラスト界隈で超重要 一瞬でスクロールされてしまう… → より分かりやすい視線誘導が必要 例えばTwitter では、 １つの投稿が目に留まる時間は ほんのわずか。 構図の歴史①：焦点（超ざっくり版）
- 26. Filmmaker's Eye -グスタボ・メルカード ¦ ボーンデジタル（2013） 他より 映画は、写真より多くの情報を伝えられたが、それでもまだ説明しきれない細かな文脈があった。 構図の歴史②：カメラ（超ざっくり版） ② カメラをコントロールする (1/2) The Third Man（1949）by Carol Reed（Public domain） ダッチアングルの代表例として この目的の構図を 特に発展させたのは映画業界。 ・１つのシーンで使えるコマ数は限られている ・人の心情や場の空気など、細かな文脈は台詞で表現しづらい
- 27. Filmmaker's Eye -グスタボ・メルカード ¦ ボーンデジタル（2013） 他より そんな説明不能な文脈を表現するため、カメラアングルやレンズを使った独自の表現が開発された。 ② カメラをコントロールする (2/2) The Third Man（1949）by Carol Reed（Public domain） ダッチアングルの代表例として 焦点をコントロールすると同時に... ・レンズを通して見える画面や物理現象が利用された ・アングルを使った映画独自の表現が開発された （魚眼・広角、自撮り、セピア、レンズフレアなど） 構図の歴史②：カメラ（超ざっくり版）
- 28. そして、 カメラ の数が増える限り、そのカメラ をコントロールする構図の発展は止まらない。 → カメラ は発展し続けている 技術の進歩とともに開発される カメラ の数だけ、構図の幅は広がる。 構図の歴史②：カメラ（超ざっくり版）
- 29. ① 焦点（視線）をコントロールする ② カメラをコントロールする →イメージが容易なので、解説は省略 → 絵師が伝えたい どこ かを強調する目的なので、深堀りする 続いて、王道構図の目的の一つ、焦点のコントロールを深堀って「絵師が どこ を伝えたいか」を探る。 【整理してみた】構図の王道パターン（再掲）
- 30.
- 31. ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 ５つ（以上あるかも） 視覚情報処理の基礎過程 - 横沢一彦¦ 生産研究（1992） 他を集約 焦点となりうる要素は、いろんな文献を集約すると、この５つ（以上あるかも）に整理できる。 何が焦点となるか 焦点のコントロール ：焦点となり得る要素 深堀
- 32. 顔, および, ヒトの検出過程の研究- 遠藤光男 ¦ 基礎心理学研究（2015） 他より 顔 体の部位 が優先的に検出される （おそらく動物も同様） ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 １つ目は、顔や身体。目の前の脅威を素早く察知するため、人類が後天的に獲得した習性だと言われる。 何が焦点となるか (1/5) 焦点のコントロール ：焦点となり得る要素 深堀
- 33. 顔 体の部位 ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 特に、意思疎通に重要な表情を司る部位は誘目性が高い。文化圏による違いもある。見比べると面白いかも。 何が焦点となるか (1/5) 特に表情を構成する 目と 口 の注目度は高い （keywords: 視覚経路、顔認知、視覚的注意、ポップアウト） 顔, および, ヒトの検出過程の研究 - 遠藤光男 ¦ 基礎心理学研究（2015） 他より 焦点のコントロール ：焦点となり得る要素 深堀
- 34.
- 35.
- 36. 焦点のコントロール ：焦点となり得る要素 ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 ４つ目は、他と違う領域。古くからの研究で効果が証明されていて、イラストで最も応用しやすい焦点。 何が焦点となるか (4/5) 色（明度／彩度）が違う 情報量が違う 大きさが違う 他、方向・長さ・形など ○ でわかる風景作画神技作画シリーズ - さけハラス ¦ KADOKAWA（2020） を参考に図を作成 深堀
- 37. ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 ５つ目は、線が示す領域。この視線を誘導する線のことを、美術用語でリーディングラインという。 何が焦点となるか (5/5) ガラテアの勝利（再掲） リーディングラインによって 視線誘導される 絵を見る技術 名画の構造を読み解く- 秋田麻早子 ¦ 朝日出版社 より 焦点のコントロール ：焦点となり得る要素 深堀
- 38.
- 39. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ そこで、焦点がイラストの上でどんな方針で組み立てられていくか、王道パターンを集約して整理してみた。 焦点を操る方針は３つ 焦点のコントロール ：焦点を操る方針 深堀
- 40. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ １つ目は、焦点を強化する方針。焦点の重ねがけで、より強力な焦点を作って誘目性を高める。 焦点を操る方針は３つ (1/3) 焦点となる要素を 重ねたり組み合わせたりして、 強力な焦点を作る。 焦点のコントロール ：焦点を操る方針 深堀
- 41. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ 例えば、トンネル構図。これは、３つの焦点となる要素を組み合わせた王道パターンの一つ。 焦点を操る方針は３つ (1/3) 例えば... ・顔や身体 ・見慣れたモノ ・情動が刺激されるモノ ・他と違う領域 ・線で示された領域 トンネル構図 ⼈物に注⽬を集める。 焦点のコントロール ：焦点を操る方針 深堀
- 42. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ ２つ目は、焦点同士を繋ぐ方針。例えばジグザグ構図のように、画面全体を見せる目的で使われる。 焦点を操る方針は３つ (2/3) 焦点同士を 線で繋ぐ。 または近くに 配置する。 例えば... 画⾯全体に視線が流れる。 ジグザグ構図 焦点のコントロール ：焦点を操る方針 深堀
- 43. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ 他にも、線を繋いで図形を作ることで、その図形の印象をイラストに与えることができる。 焦点を操る方針は３つ (2/3) 焦点同士を 線で繋ぐ。 または近くに 配置する。 例えば... 物理的に安定して⾒える。 ３⾓形構図 焦点のコントロール ：焦点を操る方針 深堀
- 44. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ ３角形なら安定、逆３角形なら不安定、という印象をイラスト全体に与えることができる。 焦点を操る方針は３つ (2/3) 焦点同士を 線で繋ぐ。 または近くに 配置する。 例えば... 物理的に不安定に⾒える。 逆３⾓形構図 焦点のコントロール ：焦点を操る方針 深堀
- 45. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ ３つ目が、焦点を安定させる方針。等分割や黄金比などで有名なパターンはここに含まれる。 焦点を操る方針は３つ (3/3) 等分割などを用いて バランスが取れた位置に 焦点を配置する。 焦点のコントロール ：焦点を操る方針 深堀
- 46. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ 規則正しいと美しいが、自然界にない配置は不自然さが際立つ。そのバランスを巨匠たちは追求した。 焦点を操る方針は３つ (3/3) 伝統的に焦点が安定する。 ３分割構図 ・N分割（N 3） ・対角線 ・黄金／白銀比 ・レイルマン比 ・ラバットメント ・直交パターン … 例えば... 焦点のコントロール ：焦点を操る方針 深堀
- 47. ■■■ ■■■ ■■■ A. 焦点を強化する C.焦点を安定させる B. 焦点を繋ぐ これらの方針は、掛け合わせて使われることも。構図が上手いイラストには、これらの工夫が隠れている。 焦点を操る方針は３つ 焦点のコントロール ：焦点を操る方針 深堀
- 48. 情報伝達の時短 絵師に求められる技能 形や色が正確 個性が心地よい構図が上手い 焦点をコントロール カメラをコントロール 焦点となり得る要素 顔や身体 見慣れたモノ 情動的なモノ 焦点を制御する方針 焦点を強化 焦点を結ぶ 焦点を安定化 他と違う領域 線が指し示す領域 イラストの目的 王道構図の２大目的 and more...? 前半まとめ。焦点の要素に分解して分析することで、絵師が どこ を伝えたいかがわかるようになった。 絵師が”どこ”を伝えたいのか：まとめ イラストレーター
- 49. DEMO URL: https://colab.research.google.com/drive/1rrk_66C8XVPekrLMPpGkUUt_oHuf0PPz 前半の内容の一部を、いくつかPythonで実装した。コードはGoogle Colabに掲載。 Pythonで焦点を検出する どこを伝えるか 焦点 方針 顔や身体見慣れたモノ 情動的なモノ 他と違う領域 線が指し示す領域 焦点を強化 焦点を結ぶ 焦点を安定化
- 50. OpenCVの標準メソッドにある顕著性マップ（Saliency Map）を利用。古典理論のメソッドだが汎用的。 Pythonで焦点を検出する①：一部解説 焦点「他と違う領域」の検出（OpenCVのSaliency Mapを利用） #import library import cv2 # load the input image image = cv2.imread(img_name) # initialize OpenCV's static saliency spectral residual detector saliency = cv2.saliency.StaticSaliencySpectralResidual_create( ) # compute the saliency map _, saliencyMap = saliency.computeSaliency(image) # convert to the heatma p heatmap = cv2.applyColorMap(saliencyMap, cv2.COLORMAP_JET ) # combine the heartmap with input imag e combined = cv2.addWeighted(image, 0.5, heatmap, 0.7, 0) cv::saliency::StaticSaliencyFineGrained Class Reference ¦ OpenCV
- 51. クラス分類器がどの領域をもとに画像を分類するかを可視化するClass Activation Mapにて再現。 Pythonで焦点を検出する②：一部解説 焦点「見慣れたモノ」の検出（tf-keras-visにてGradCAM++を利用） #import libraries (略) # prepare model & input dat a model = Model(weights='imagenet', include_top=True ) image = load_img(img_name, target_size=(224, 224)) X = preprocess_input(np.array(image)) # set loss & modifier to replace a softmax function def loss(output): return (output[0][cls_index]) def model_modifier(m): m.layers[-1].activation = tf.keras.activations.linear return m # generate heatmap with GradCAM++ gradcam = GradcamPlusPlus(model, model_modifier=model_modifier, clone=False) cam = gradcam(loss, img, penultimate_layer=-1) cam = normalize(cam) heatmap = np.uint8(cm.jet(cam[0])[..., :3] * 255) keisen/tf-keras-vis ¦ Github
- 52. 続いて、絵師が なに を伝えようとしているかを、イラストの構成要素ごとに分けて解説する。 Next：絵師が”なに”を伝えたいのか 絵師がどこ を伝えたいか 絵師が なに を伝えたいか 明度 暗部の領域で インパクトを強める ハイキー & ハイバリアンス 顔 明度差がある 図形で囲む 情報量に差がある 白銀比（横方向） 焦点が隣接 ライン 安定した 主役 フレームと並行 中央の円 色 暖かで 調和の取れた 純白な印象 暖色 類似色 明清色 ここまでの説明 ここからの説明 … カラーキー カラーキー 分 解
- 53.
- 54. Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より イラストの構成要素として、講義や技法書でよく解説されるのはこれら６つの要素だが… どんな構成要素があるか ・ライン ・シェイプ ・明度 ・色 ・光 ・カメラ イラストの構成要素
- 55. ・ライン ・シェイプ ・明度 ・色 ・光 ・カメラ ・ライン（カメラを含む） ・シェイプ ・色 ・明度（光を含む） 今回は説明をシンプルにするため、４つにまとめて説明する。 Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より イラストの構成要素 どんな構成要素があるか
- 56. Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より リニアスキーム １つ目はライン。最も基本的なデザイン要素でありながら、最も初心者が使いこなすことが難しい要素。 イラストの構成要素①：ライン ラインとは 構図の骨組みとなる線で、構図線と呼ばれる。 中でも、視線や進行方向のような仮想の線のことは、想定線と呼ぶ。 imaginary line compositional line
- 57. Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より ラインを見つけるのは簡単。ラインは主に、焦点とリーディングラインで構成されている。 構図の骨組みとなる線で、構図線と呼ばれる。 中でも、視線や進行方向のような仮想の線のことは、想定線と呼ぶ。 imaginary line compositional line リニアスキーム 焦点となるのは 焦点制御の方針 顔や身体 他と違う領域 線が示す領域 見慣れたモノ 情動的なモノ 焦点を安定化 焦点を結ぶ 焦点を強化 ＋リーディングライン イラストの構成要素① ラインとは イラストの構成要素①：ライン
- 58. イラストの構成要素①：ライン Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より ラインを見つけるのは簡単。ラインは主に、焦点とリーディングラインで構成されている。 構図の骨組みとなる線で、構図線と呼ばれる。 中でも、視線や進行方向のような仮想の線のことは、想定線と呼ぶ。 imaginary line compositional line リニアスキーム 焦点となるのは 焦点制御の方針 顔や身体 他と違う領域 線が示す領域 見慣れたモノ 情動的なモノ 焦点を安定化 焦点を結ぶ 焦点を強化 ＋リーディングライン ラインとは ラインの形や組み合わせで、印象が変わる。 Landscape Architecture - John Ormsbee Simonds ¦ McGraw-Hill Professional Pub（2013） より
- 59. イラストの構成要素①：ライン Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より ラインを見つけるのは簡単。ラインは主に、焦点とリーディングラインで構成されている。 構図の骨組みとなる線で、構図線と呼ばれる。 中でも、視線や進行方向のような仮想の線のことは、想定線と呼ぶ。 imaginary line compositional line リニアスキーム 焦点となるのは 焦点制御の方針 顔や身体 他と違う領域 線が示す領域 見慣れたモノ 情動的なモノ 焦点を安定化 焦点を結ぶ 焦点を強化 ＋リーディングライン ラインとは ラインの形や組み合わせで、印象が変わる。 Landscape Architecture - John Ormsbee Simonds ¦ McGraw-Hill Professional Pub（2013） より 絵の外枠も対象
- 60. どの線を大きく見せ、どの方向に向けるか、 カメラで画面全体の線のバランスは制御。 A B A B ライン全体のバランスは、カメラで制御できる。ライン一つ一つだけでなく、全体の傾向を見るのも大事。 ライン →全体のバランスはカメラで制御 イラストの構成要素①：ライン Vision ストーリーを伝える：色、光、構図 - ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より
- 61. ２つ目はシェイプ。イラスト全体の色や明度の分布をざっくり把握するために使われる。 イラストの構成要素②：シェイプ シェイプとは ２∼５つの同系の色や明度でまとめた領域。（ カラーキー） テクスチャがシンプルであるほど読み取りやすい。 色でまとめる 明度でまとめる 平滑化 N値化 Visionストーリーを伝える：色、光、構図 - ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より
- 62. シェイプとは ２∼５つの同系の色や明度でまとめた領域。（ カラーキー） テクスチャがシンプルであるほど読み取りやすい。 イラストの構成要素②：シェイプ ２つ目はシェイプ。イラスト全体の色や明度の分布をざっくり把握するために使われる。 色でまとめる 明度でまとめる 平滑化 N値化 Visionストーリーを伝える：色、光、構図 - ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より 正しく設計しないと、意図せずオブジェクトがシェイプに飲まれます。 人物＋椅子の シェイプ
- 63. イラストの構成要素②：シェイプ シェイプとは ２∼５つの同系の色や明度でまとめた領域。（ カラーキー） テクスチャがシンプルであるほど読み取りやすい。 ２つ目はシェイプ。イラスト全体の色や明度の分布をざっくり把握するために使われる。 色でまとめる 明度でまとめる 平滑化 N値化 Visionストーリーを伝える：色、光、構図 - ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より 正しく設計しないと、意図せずオブジェクトがシェイプに飲まれます。 椅子のシェイプ 人物の シェイプ
- 64. ３つ目は色。感情面に強く作用する。補色や類似色など、定石はいくつかあるが… イラストの構成要素③：色 色とは イラストを構成する色。 光の影響を受けやすく、感情面に強く作用する。 Vision ストーリーを伝える：色、光、構図 -ハンス・P・バッハー ¦ ボーンデジタル（2019） 他より 補色 類似色 トライアド
- 65.
- 66. ・絵師は色の配列を作って、慎重に色の組み合わせを確認する ・強い印象を避けるため、彩度の強い色は避ける © ひろさじ 【プロが添削】イラストが上手く見える、色の選び方を教えます！ -焼まいる ¦ Youtube（2021） 他より CLIP STUDIO PAINT 彩度 高 そのため、絵師は色をかな∼∼り慎重に選ぶ。色配列を作ったり、強い彩度を避けたり、何かと気を遣う。 色の扱われ方 イラストの構成要素③：色
- 67. デジタルアーティストが知っておくべきアートの原則 改訂版 -3dtotal.com ¦ ボーンデジタル（2021） 他より ４つ目は明度。色の尺度の一つだが、焦点作りに便利なため、色とは分けて考えられることが多い。 イラストの構成要素④：明度 明度とは イラストを構成する色の明るさ。 色の要素の一つで、特に焦点を作る際によく使う。
- 68. 明度の分布によって、キーやバリアンスといった名前が割り当てられる。それぞれの効果は画像参照。 明度の利点 明度の分布によって、焦点の印象の制御ができる。 ハイキー & ローバリアンス ハイキー & ハイバリアンス ローキー& ハイバリアンス ローキー & ローバリアンス 印象 弱 印象 弱 印象 強 印象 強 暗部 映 暗部 映 明部 映 明部 映 イラストの構成要素④：明度 デジタルアーティストが知っておくべきアートの原則 改訂版 - 3dtotal.com ¦ ボーンデジタル（2021） 他より
- 69. 光は色と明度と関連が強く、光の当て方で印象も大きく変わる。「光」だけで一冊の本が書ける。 色、明度 → 光で人物や場の雰囲気を演出 カラー&ライトリアリズムのための色彩と光の描き方 - ジェームス・ガーニー ¦ ボーンデジタル（2012） を加味し、池上幸輝氏のツイートを再構成 ライティングによる色・明度の調整で、焦点の強さや感情を制御できる。 プレーンライト エッジライト（リムライト） スポットライト ハーフシャドウ・下 アンダーライト イラストの構成要素③④：色、明度
- 70. 絵師の狙い どこを伝えるか なにを伝えるか シェイプ ライン 色 明度 … 構図の骨組みを構成 …配色バランスを統制 … … 焦点の印象を制御 感情面を支配 エ モ み 後半まとめ。各構成要素が持つ効果を知ることで、絵師が なに を伝えたいかを探れるようになった。 絵師が”なに”を伝えたいのか：まとめ イラストレーター
- 71. 絵師の狙い どこを伝えるか なにを伝えるか シェイプ ライン 色 明度 … 構図の骨組みを構成 …配色バランスを統制 … … 焦点の印象を制御 感情面を支配 エ モ み なお、キャラクターイラストでは、人物のポーズや表情も重要。詳しくは、後述するおすすめ文献にて。 絵師が”なに”を伝えたいのか：まとめ イラストレーター キャラクターイラストの場合 人物のポーズや表情 （今回は未解説）
- 72. なにを伝えるか シェイプ ライン 色 明度 … 構図の骨組みを構成 … 配色バランスを統制 … …焦点の印象を制御 感情面を支配 エ モ み 後半の内容の一部を、いくつかPythonで実装した。前半と同じく、コードはGoogle Colabに掲載。 Pythonで構成要素ごとの特徴を分析する DEMO URL: https://colab.research.google.com/drive/1jjyHZ6J8LIJCSMifrS-tvG3VTbpejcNc
- 73. Pillowのk平均法メソッドを利用。平滑化は、膨張と収縮を数回試行するモルフォロジー変換にて再現。 シェイプを抽出する（Pillowのk-meansを利用） # import library fromPIL import Image, ImageFilte r # load image and convert to grayscale img = Image.open(img_name).convert('L') # convert to 3 group color img3groups = img.quantize(colors=3, kmeans=100) # filter erosion & dilation (6 times) img_filtered = img3groups.convert("RGB") for i in range(6): img_filtered = img_filtered.filter(ImageFilter.MaxFilter()) for i in range(6): img_filtered = img_filtered.filter(ImageFilter.MinFilter()) Image Module ¦ Pillow Pythonで各構成要素の特徴を分析する①：一部解説
- 74. OpenPoseで人物の軸とイマジナリーラインを推定。イラストでの精度も意外と高い。（Colab未掲載） Pythonで各構成要素の特徴を分析する②：一部解説 ラインを抽出する（OpenPoseを利用）【実装済み・コード準備中】 # import libraries importcv2 from openpose import pyopenpose as o p # Starting OpenPose opWrapper = op.WrapperPython() opWrapper.configure(params) opWrapper.start() # Process Image datum = op.Datum() imageToProcess = cv2.imread(args[0].image_path) datum.cvInputData = imageToProcess opWrapper.emplaceAndPop(op.VectorDatum([datum]) ) … CMU-Perceptual-Computing-Lab / openpose - OpenPose Python API Examples ¦ Github
- 75.
- 76.
- 77. Google Books APIsで本の表紙をランダムに取得し、シェイプ（色・明度）を抽出。（著作権に要配慮） Pythonでイラストを描き始める：一部解説 面シェイプを半自動生成する（GoogleBooks APIs を利用） 著作権保護のため オリジナル画像は 非公開 # import libraries import requests, urlli b # get data via Google Books APIs base_url = 'https://www.googleapis.com/books/v1/volumes' params = { 'q': query, 'country': 'JP', ‘maxResults': 40, … } r = requests.get(base_url + '?' + urllib.parse.urlencode(params)) data = r.json() # 以降、データからサムネデータを取得したら、あとはシェイプの抽出と同じ Google Books APIs ¦ Google Developers
- 78. 最後に、今回のプレゼンのまとめ。今回は、絵師の狙いを読むスキームとPythonスクリプトを紹介した。 まとめ 1. 構図の王道パターンやイラストの構成要素から、 絵師の狙いを読むスキームを示した 2.絵師が どこ を伝えたいか、 なに を伝えたいかを探り、 そのいくつかをPythonで再現した
- 79. これを機に、イラストを学びたくなった、Pythonで分析したくなった方は、ぜひ学習リソースを見て。 おすすめの学習リソース ・イラストの構成要素の効果をもっと知りたい → 書籍：Vision ストーリーを伝える：色、光、構図 ・イラストの構成要素「光」を深く知りたい →書籍：カラー&ライト リアリズムのための色彩と光の描き方 ・イラストの構成要素「色」を深く知りたい → 書籍：色塗りチュートリアル ・実践的な焦点の作り方をたくさん知りたい → 書籍：クライマックスまで誘い込む絵作りの秘訣 ・人体を正確に描けるようになりたい → 書籍：美術解剖学ノート、キム・ラッキの人体ドローイング ・ゼロからイラストを描けるようになりたい → 書籍：90日間で変わる画力向上講座 ・人物は描けないけどフォトバッシュはしてみたい → 書籍：写真加工で作る風景イラスト、フォトバッシュ入門 ・おすすめのYoutubeチャンネルを教えて → 吉田誠治、焼まいる、漫画素材工房（敬称略） ・おすすめのTwitterアカウントを教えて → 伊豆の美術解剖学者、ダテナオト（敬称略） ・おすすめの構図が上手い絵師を教えて → 黒星紅白、吉田誠治、イリヤ・クブシノブ、はしゃ（敬称略） ・人物のポーズを理論的に学びたい → 電子書籍：ポーズの定理 ・キャラ絵が上手くなる最短ルートを知りたい → 目指したい絵師の絵柄を真似て、色んな２次創作を描く 理 論 重 視 技 重 視
- 80. ひろさじ ポートフォリオサイト Twitter DM/ お題箱 or 仕事募集中です！今なら「PyConをみて」で、ラフまで無料でお試しいただけます（∼2021年内まで） にて 最後に：イラストの仕事、募集してます！
- 81. • ○×でわかる風景作画 神技作画シリーズ- さけハラス | KADOKAWA（2020） • 絵を見る技術 名画の構造を読み解く - 秋田麻早子 | 朝日出版社（2019） • Vision ストーリーを伝える：色、光、構図 - ハンス・P・バッハー | ボーンデジタル（2019） • イラスト、漫画のための構図の描画教室 - 松岡伸治 | MdN （2018） • ややこしくない絵の描き方 - 松村上久郎 | 秀和システム（2020） 以上、ご静聴ありがとうございました。 reference (1/4) Thank you! • Graph-based visual saliency.- Harel, Jonathan, Christof Koch, and Pietro Perona.（2007） • Visual search in depth - McSorley, E., and J. M. Findlay. | Vision Research 41（2001）
- 82. • 顔, および,ヒトの検出過程の研究 - 遠藤光男 | 基礎心理学研究（2015） • 視覚情報処理の基礎過程 - 横沢一彦 | 生産研究（1992） • クライマックスまで誘い込む絵作りの秘訣 ストーリーを語る人のための必須常識:明暗、構図、リズム、フレーミング - マルコス・マテウ=メストレ | ボーンデジタル（2014） • デジタルアーティストが知っておくべきアートの原則 改訂版 -色、光、構図、解剖学、遠近法、奥行き - 3dtotal.com | ボーンデジタル（2021） • Filmmaker's Eye 映画のシーンに学ぶ構図と撮影術:原則とその破り方 - グスタボ・メルカード | ボーンデジタル（2013） 以上、ご静聴ありがとうございました。 reference (2/4) Thank you! • カラー&ライト リアリズムのための色彩と光の描き方 - ジェームス・ガーニー | ボーンデジタル（2012）
- 83. • cv::saliency::StaticSaliencyFineGrained ClassReference | OpenCV • ayoolaolafenwa/PixelLib | Github • keisen/tf-keras-vis | Github • Image Module | Pillow • CMU-Perceptual-Computing-Lab / openpose - OpenPose Python API Examples | Github 以上、ご静聴ありがとうございました。 reference (3/4) Thank you! • Google Books APIs | Google Developers • Landscape Architecture - John Ormsbee Simonds | McGraw-Hill Professional Pub（2013）
- 84. • 吉田誠治 Youtubechannel - 吉田誠治 | YouTube • Yaki Mayuru drawing channel - 焼まいる | YouTube • 「Andy｜クリエイティブ・ディレクター」氏のツイート | Twitter https://twitter.com/we_creat/status/1221939759427260417 • 「池上幸輝 Koki Ikegami」氏のツイート | Twitter https://twitter.com/winter_parasol/status/1345661507682459654 以上、ご静聴ありがとうございました。 reference (4/4) Thank you! • 考え方で絵は変わる イラストスキル向上のためのダテ式思考法 - ダテナオト | マイナビ出版（2019） • ポーズと構図の法則: 使える構図パターン満載 - YANAMi／佐藤竜太郎 | 廣済堂出版（2016）