Press Release

デジタルハリウッド大学大学院[DHGS] 「ACM SIGGRAPH2023」で白井暁彦客員教授と学部生によるメタバース関連研究がPostersで採択、発表

世界最大のCG・インタラクティブ技術のトップカンファレンス

21世紀からの超高度情報化社会において、デジタルコミュニケーションを駆使して、社会に対する「変革」を起こす人材を輩出するために設立された社会人のための専門職大学院であるデジタルハリウッド大学大学院(東京都千代田区、学長:杉山知之)では、白井暁彦客員教授が所属する、グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、2023年8月6日~10日にアメリカ・ロサンゼルスで開催された世界最大のCG・インタラクティブ技術のトップカンファレンス「ACM SIGGRAPH2023」において、デジタルハリウッド大学の学生・教員が実施したメタバース関連研究がPostersで採択され、発表を行いました。

題名:『メタバースUGCのためのAI支援アバターファッションショーWord-to-Clothingテクスチャ探索とモーション生成(AI-Assisted Avatar Fashion Show Word-to-Clothing Texture Exploration and Motion Synthesis for Metaverse UGC』
著者:Kai Kohyama, Alexandre Berthault, Takuma Kato, Akihiko Shirai
カテゴリー:Augmented & Virtual Reality
https://s2023.siggraph.org/presentation/?id=pos_165&sess=sess368

REALITY株式会社の研究チームは生成AI時代の研究開発成果としてアバターファッションショー体験VRデモプロジェクト 「Metaverse Mode Maker」を発表しました。MMMとは、メタバース分野で重要度が高まり続けているUGC (User-Generated Content) に焦点を当て、生成AIを活用することでHMDを装着したまま手軽に高品質なUGCを作成することを目的としたPoC (概念実証)プロジェクトです。

ファッションショーのランウェイをモチーフとしており、ユーザーが体験の中で服テクスチャとモーションを作成することで、それらを組み合わせたランウェイシーンがYouTube LIVEを介してリアルタイムに配信されます。
この概念実証プロジェクトでは、メタバースにおけるVR体験において、新しいユーザー生成コンテンツ(UGC)手法を提案しています。
AIによるWordToClothingのテクスチャ生成と、AI-Fusionによる品質保証された振り付けシステムにより、HMDを装着した人々がオリジナリティと価値を持つことを可能にしました。評価として、フランスLaval Virtual 2023での一般公開展示を通したデータ収集と、5日間の展示で174以上の作品が生成され、YouTubeでライブ共有されています。
グリーグループでメタバース事業を推進するREALITY株式会社が中心となり、本学からは共著者のうち、白井暁彦(大学院 客員教授)と、加藤琢磨(学部3年生)がインターンとして参加しております。
研究成果のうち、キャラクターアニメーションのデータ量を最大94%圧縮する「Muscle Compressor」という手法がACM SIGGRAPH2023というCG・インタラクティブ技術のトップカンファレンスにおいてポスター発表され、8月23日~25日にパシフィコ横浜ノースで開催された、ゲーム開発者会議CEDEC2023
においてもインタラクティブ発表がおこなわれました。

成果の一部はGitHub(https://github.com/gree/MuscleCompressor)においてオープンソースで公開されています。ぜひご覧ください。

関連情報:
https://vr.gree.net/lab/uxdev/mmm
https://cedec.cesa.or.jp/2023/session/detail/s6429e7879ec39
https://note.com/reality_eng/n/nbcd91e5cf543
https://note.com/o_ob/n/n3f3341628858

■白井 暁彦 客員教授

デジタルハリウッド大学大学院担当科目:テクノロジー特論D(人工現実)、研究実践科目(ラボプロジェクト)「超メタバース・エンターテイメント・ラボ」
REALITY株式会社でメタバース時代のUXを研究開発する「GREE VR Studio Laboratory」ディレクター。VRエンタメの研究者・クリエイターとして長い経験を持つ博士(工学・東京工業大学)。日本バーチャルリアリティ学会評議員。芸術科学会副会長。
書籍「白井博士の未来のゲームデザイン」(2013年・オーム社刊)、「白井博士の未来のゲームデザイン – エンターテインメントシステムの科学」(2013年・ワークスコーポレーション刊)で未来予測を書き綴り、「創る人を創る」をモットーに活動する。ゲーム開発者・放送技術・フランスでのVR地域振興・日本科学未来館科学コミュニケーター・デジタルハリウッド大学大学院客員教授などVRエンタメの研究開発・産業・体験・SNSなど多様な活動を行う。
2018年よりグリーグループのライブエンターテイメント分野への事業拡大からWright Flyers Live Entertainmentの立ち上げ、および「REALITY」を開発運営するメタバース企業 REALITY株式会社の立ち上げに参加する。国際レベルで重要となる知財開発や学術的挑戦、PoC/UX開発と発信、オープンソースソフトウェアや日本語コミュニティへの貢献、人材発掘/開発を担当。またB2B向けメタバースソリューション「REALITY XR cloud」を通して企業・公共向けのコンサルテーションなどを行っている。