デジタルハリウッド大学大学院［DHGS］「ACM SIGGRAPH2023」で白井暁彦客員教授と学部生によるメタバース関連研究がPostersで採択、発表

世界最大のCG・インタラクティブ技術のトップカンファレンス

21世紀からの超高度情報化社会において、デジタルコミュニケーションを駆使して、社会に対する「変革」を起こす人材を輩出するために設立された社会人のための専門職大学院であるデジタルハリウッド大学大学院（東京都千代田区、学長：杉山知之）では、白井暁彦客員教授が所属する、グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、2023年8月6日～10日にアメリカ・ロサンゼルスで開催された世界最大のCG・インタラクティブ技術のトップカンファレンス「ACM SIGGRAPH2023」において、デジタルハリウッド大学の学生・教員が実施したメタバース関連研究がPostersで採択され、発表を行いました。

題名：『メタバースUGCのためのAI支援アバターファッションショーWord-to-Clothingテクスチャ探索とモーション生成（AI-Assisted Avatar Fashion Show　Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC』
著者：Kai Kohyama, Alexandre Berthault, Takuma Kato, Akihiko Shirai
カテゴリー：Augmented & Virtual Reality
https://s2023.siggraph.org/presentation/?id=pos_165&sess=sess368

REALITY株式会社の研究チームは生成AI時代の研究開発成果としてアバターファッションショー体験VRデモプロジェクト「Metaverse Mode Maker」を発表しました。MMMとは、メタバース分野で重要度が高まり続けているUGC (User-Generated Content) に焦点を当て、生成AIを活用することでHMDを装着したまま手軽に高品質なUGCを作成することを目的としたPoC (概念実証)プロジェクトです。

ファッションショーのランウェイをモチーフとしており、ユーザーが体験の中で服テクスチャとモーションを作成することで、それらを組み合わせたランウェイシーンがYouTube LIVEを介してリアルタイムに配信されます。
この概念実証プロジェクトでは、メタバースにおけるVR体験において、新しいユーザー生成コンテンツ（UGC）手法を提案しています。
AIによるWordToClothingのテクスチャ生成と、AI-Fusionによる品質保証された振り付けシステムにより、HMDを装着した人々がオリジナリティと価値を持つことを可能にしました。評価として、フランスLaval Virtual 2023での一般公開展示を通したデータ収集と、5日間の展示で174以上の作品が生成され、YouTubeでライブ共有されています。
グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、本学からは共著者のうち、白井暁彦（大学院客員教授）と、加藤琢磨（学部3年生）がインターンとして参加しております。
研究成果のうち、キャラクターアニメーションのデータ量を最大94％圧縮する「Muscle Compressor」という手法がACM SIGGRAPH2023というCG・インタラクティブ技術のトップカンファレンスにおいてポスター発表され、8月23日～25日にパシフィコ横浜ノースで開催された、ゲーム開発者会議CEDEC2023
においてもインタラクティブ発表がおこなわれました。

成果の一部はGitHub（https://github.com/gree/MuscleCompressor）においてオープンソースで公開されています。ぜひご覧ください。

■白井暁彦客員教授