Download to read offline
![[DL輪読会]Automatic Composition of Guitar Tabs by Transformers and Groove Modeling](https://cdn.slidesharecdn.com/ss_thumbnails/dlp20201002nkmrreviced-201002021246-thumbnail.jpg?width=640&height=640&fit=bounds)
「アイロンビーズプロッター作ろうとしてみた with プロ生ちゃん」 プロ生勉強会 第44回＠熊本
- 1.
- 2.
- 3.
- 5.
- 6.
- 7. 自己紹介 • HN • きりん(@kirin_nico) • 主な活動場所 • プロ生/ニコニコ技術部/ Twitter • 言語 • C#/Lua • (お仕事：TCL/C/asm/Verilog HDL/Perl) • 電子工作・画像処理系プログラミングが好き
- 8.
- 9. 主な活動 • 「必ず6が出るサイコロ」 • 6面がLEDで構成されているサイコロ •センサにより上面を検知、上面の目を6にする
- 10. 主な活動 • 「きのこたけのこ判別器」 • きのことたけのこを画像処理で判別 •判別した2種をアームロボットで自動仕分け
- 11.
- 12.
- 13. アイロンビーズとは • 樹脂チューブを並べてドット絵を作る • アイロンで加熱することで軟化する •日本ではパーラービーズのものが有名 • 直径5mm×長さ5mm • おもちゃ屋や大型電気量販店で買える
- 14.
- 15.
- 16. 手で作ってみた • 16×16、8色で30分ちょい プロ生ちゃん ドット絵素材 16x1616色 プロ生ちゃん アイロンビーズ 16x16 8色 (制服の色がない…)
- 17.
- 18. やりたいこと • ドット絵からビーズをプレートに自動 で配置したい • 仕様 •ビーズは16色以上 (プロ生ちゃんドット色数) • プレートは正方形で29×29個置けるもの (“しろプレートL”のサイズ) • PCで画像処理、マイコンで制御、ハードで ビーズ配置
- 19.
- 20.
- 21.
- 22. ハードウェアの仕様 • 16色以上のビーズから1色を取り出し、 14.5x14.5cm以上の範囲で任意の位置に 配置する • 必要な機能 1.同色ビーズを揃える (今回は手でやる) 2. 任意色のビーズを1個”だけ”取り出す 3. 1個のビーズを任意位置に配置する
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31. ソフトウェアの仕様 • 29x29pixel以下(プレート仕様)の画像を 減色・最適化を行ってビーズの色に合わせ、 1ドットずつ色情報と座標情報を送信する • 必要な機能 1.画像のリサイズ・切り出し 2. 画像の減色・最適化 3. 各ドットの情報取得 4. マイコンボードとの情報送受信 これが面倒くさそう
- 32. 1. 画像のリサイズ・切り出し • 29x29ドットよりも大きい場合はリサイ ズもしくは切り出しを行う •どっちもできるようにする予定 • 自分でドットを打てるようにもする？
- 33. 2. 画像の減色・最適化 • 画像を16色(もしくは用意できている色 数)に減色し、ビーズの色に最適化する •減色アルゴリズムはたくさんあるが今回の ユースケースに合った最適化も含めて考えな ければならない
- 34. 2. 画像の減色・最適化 • 思いついた最適化方法 •単純に減色して一番近い色のビーズを当てる • クラスタリングをしていい感じの減色をする 使える ビーズ
- 35. 3. 各ドットの情報取得 • 各ドットの色情報と座標情報を取得する •配列を走査していくだけなので簡単 X=6, y=0 RGB=0x000000 X=7, y=0 RGB=0x000000
- 36. 4. マイコンボードとの情報送受信 • マイコンボードに色・座標情報の送信、マ イコンボードから応答などの情報を受信 •シリアルポートを使う • C#ならSerialPortクラスがあるので簡単
- 37.
- 38. マイコンまわりの仕様 • PCソフトウェアから位置情報と色情報を 受け取り、ハードウェアを制御する • 必要な機能 1.PCとの情報送受信 2. モーター制御信号の出力 3. センサ情報取得
- 39. マイコンボード • Arduinoあたりを使う予定 • 簡単なプログラムで信号の入出力が可能 •PCとUSBで接続できる • 家に互換品がたくさんある
- 40.
- 41.
- 42. 今後の予定 • 画像処理ソフト • なんとかする •マイコンボード・電気回路 • なんとかする • ハードウェア • なんとかする
- 43. 今後の予定 • 画像処理ソフト • ちゃんと作る •マイコンボード・電気回路 • 制御プログラムと回路作成 • ビーズの色をカラーセンサで自動取得 • ハードウェア • モーターなど駆動部の追加
- 44.
- 45.