表現としてのxR
VRChatとシェーダー宣伝
自己紹介
ほたて猫魔人
Twitter : @HhotateA_xR
・VRChatなどでクリエイター活動
・xR空間におけるシェーダーの利用法を研究
・最近はARとかも
・物理世界をxRで2レイヤーにしたい
VRにおける表現とは
・何度でも再現可能な一定の表現が可能
・物理法則を無視した空間的表現が可能
・機材さえあれば誰でも創作が可能
・VRには額縁(第4の壁)が存在しない
・VRChatには人が住んでいる
2019年年越しの様子(VRChat)
物理法則に反したものも作れる
エッシャーのようなシュールリアリズムも再現可能?
VR空間で多くのイベントが開かれている
・VR成人式
・音楽イベント
・夏祭り
・花火大会
・同じアバターが集まる集会
・ボードゲーム大会
etc...
VR表現の自由度
・物があったら
物理法則に即した動きをさせることもできる。
物理法則に反した動きをさせることもできる。
・プレイヤーが複数いたら
まったく同じ体験をさせることもできる。
まったく違う体験をさせることもできる。
ヨツミフレームさんの個展
ヨツミフレームさん (@y23586)
https://y23586.net/
「[あなたの名前]の見る夢」展
VR体験の非対称性を利用
VRChatでできる事できない事
・基本的に自由度は高い
・実装難易度は比較的低い
・持つ投げるとかの実装は簡単
・スイッチとかでアニメーター操作も簡単
・シェーダーをアップロード可能
・カメラが使える
なんでもできる
シェーダーで何ができるのか
見た目に関わることならなんでもできる
インプットに対してアウトプットは自由
・カメラのテクスチャのループをメモリとして利用したGPUパーティクル
・平面に奥行と立体物を表現する
・物理的に正しいもの/正しくないものどちらでも作れる
シェーダーの利用例
リアルアバターの不気味の谷を回避する
シェーダーの利用例
低精度のメッシュをごまかす
まとめ
・VRChatは面白い
・シェーダーは何でもできる

表現としてのxR

Editor's Notes

  • #2 こんにちは、ほたてさんです せっかくしゃべる機会をいただいたので、今日はVRCの話とシェーダーの宣伝をしに来ました
  • #3 ほとんどの方はわたしを知らないと思うのでまず自己紹介をいたします まぁまず私が何をしてきた人なのかというと、ほたてという名前で主にVRChatで創作活動をしています。 前回のxRTexhのこうきさんの登壇で紹介してもらったマトリックスシェーダーを書いたりなどxR空間でのシェーダーという表現なども研究しています。 xRを仕事としている人でも案外現在のVRChatについて詳しくない人も多いのではないかと思い、今回VRChatで行われている芸術活動や、いわいるシェーダー芸に関して話します。
  • #4 ここでちょっと少しだけつまらない話なのですが、まず僕が思っているVRでの芸術をの特徴とポイントを説明します VRはコンピュータ内で計算されている世界なので、観客はいつだれがやっても同じ体験をすることができます。現代芸術の概念では、作品の完成を作者ではなく観客に求める体験型の作品がありますが、それによって作品が壊されてしまうなどの恐れが現実ではありますがVRではありえません。(逆に言えば風化やものが壊れるなどのような概念を扱った作品は疑似的なものしか作れません) あとこれはメリットであり、デメリットでもあるのですが、物理法則を無視した、物が浮遊しているよな表現や、エッシャーのだまし絵のようなシュールリアリズムの世界もVRであれば再現可能かもしれません。(右目と左目で見えるものが違うような表現もすることができます。) そして、これもとても大事なことなんですが、僕の専門は実は化学なんですが、化学なんかはどこかの研究室にいない限りは研究できないですが、デジタルコンテンツの制作は、機材さえあればだれでもモノづくりをすることができるというのが面白いところかと思います。 ここまでは映画やゲームと何も変わらないように聞こえるかもしれませんが、個人的な感想としては、VRHMDを通じたコンテンツは現実との境界線に当たる額縁の存在を感じないという大きな特性があると感じます。VRVhatなどは特にそうなのですが、自分がそこの住民であるような感覚は、従来の3Dゲームと比べてもかなり強いように感じます。 右の写真は2019年の年越しの瞬間なんですが、ぼくのまわりだけでもかなりの人数が年越しの瞬間をVR内で過ごしたりしていました。
  • #5 次に若干の宣伝ですが、VRChatのコミュニティから始まっているイベントを紹介します。 1つめ、これは僕の主催なんですがVR成人式 VRChatのプレイヤーは意外と若い人が多いのと、成人式会場行くのめんどくさいよねという思いでVR空間で成人式やったらどうかなーと思って開催したところ120人くらい?参加してくださいました。 他にはボードゲームの大会や夏祭り、前々回登壇したフィオっさん主催の3Dモデルなどの即売会バーチャルマーケットや、先々月開催された音楽イベントのアルテマ音楽祭、ほかにもVRCコミュニティーでは毎日のようにイベントが開催されています。右にあるのがイベントカレンダーなんですけど、まあ全部参加するのは無理っていう感じにイベントが開催されています。
  • #6 ここでVRでの芸術表現の事例を一つ紹介したいのですが、その前にVR表現の自由度に関してまとめておきます、 クリエイターの目線で見たときにVRのコンテンツは オブジェクトに対して、物理法則を適応するかしないかはクリエイターの自由です。 同様にプレイヤー複数に対して、体験を同じにするか分けるかはクリエイターが自由にすることができます。
  • #7 ヨツミフレームさんという、VRChat内で個展を開いてる方を紹介します。 このかたはVRCでも複数の展示をしている方でそこにTwitterが載っているのでぜひぜひ調べてみてください。 今回、登壇しようと決心して一番に紹介しようと思ったのが、この方の「[あなたの名前]の見る夢」という個展の作品です。解説記事を見て鳥肌が立ったのを覚えています。 とはいえ作品のネタバレをしないことがこの展示の大事なとことも思うのですが、まあ軽く説明しますと 複数人のグループでVR空間の展示室を見て回る→1人がはぐれて突然消える→1人のほうは不思議な体験をする→最終的に合流するが謎は解けない というような、まるでゲームや小説のような体験が設計されていました。 これはただのVRコンテンツではなく、VRChat内でコミュニティが存在しているからこそ成立している展示で、既存のオンラインコンテンツにはなかったと現象だと思います。 ヨツミさんのサイトに実際の配信の様子と解説記事もあるので、ぜひぜひ調べてみてください。
  • #8 さまざまなイベントがVRChatで行われていることを説明しましたが、VRCでは何ができるのかっていう事をちょっと説明します。 基本的に自由度は高いです、ワールドのモデルはアップロードできますし、物を持つ・投げるのようなことやスイッチなどもある程度用意されています。 Unityのスクリプトを自分で書くことはできないのですが、シェーダーやカメラは自由に使えるので、まあ何でもできます。
  • #9 シェーダーとはそもそも、unityなどの3d ソフトでデータを見た目に変換する部分を担当していて、つまるところ見た目に関わることなら何でもできます。 まずGPUパーティクルはGPUで一計算をするパーティクルで制御項目は限られますが大量のパーティクルを出したときにSyurikenより不可的に軽量な場合があります、普通はコンピュートシェーダーを使うと思いますが、カメラのレンダーテクスチャをループさせることでも実装でき、右の一番上の写真はそういった方法で実装されています。 シェーダーを使えばVRの右目左目に映るものを制御できるので、平面に立体物を見せかけることもできます。右の真ん中はスパイダーマンで一時期話題になっていたインテリアマッピングをCubeにあてたものです。
  • #10 最後にちょっとだけシェーダーの利用例を紹介します。リアルアバターにつきものの問題として不気味の谷問題があります。 リアルアバターをVRで見ると、現実味のちょっとした違和感で、気持ち悪く見えることがありますが、ここでモデルに特殊なシェーダーを設定することで、ホログラム風やイラスト風のアバターを作ることが簡単にできます。 ちなみに右の写真は3つ後に登壇するリアルアバター制作の岩山さんに撮影してもらった僕の3Dモデルです
  • #11 つぎにこれは光輝さんの依頼で作ったものを個人的に応用したものなのですが、ZedMiniでリアルタイムに生成した低精度のメッシュをシェーダーによってマトリックスのようにして精度の低さをごまかしているデモです。 これは個人的にはかなり気に入っているので、今後もっとほかの見せ方もしていきたいと思います。
  • #13 まとめです、 みんなVRChatとシェーダーをやりましょう