のどぼとけの動きまでリアル　3Dアバターの首の動きを忠実に再現　中国の研究者らが開発【研究紹介】

上海科技大学、Deemos Technology、華中科技大学に所属する研究者らが発表した論文「HACK: Learning a Parametric Head and Neck Model for High-fidelity Animation」は、デジタルヒューマンの首の動きをリアルに再構築する技術を提案した研究報告である。首をねじることで生じる皮膚の動き、その際の喉仏の動き、表情によっても詳細に変わる首の表面を忠実に再現する。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 研究過程

デジタルヒューマンの顔をリアルに構築する際、目や鼻、口などのパーツの動き、詳細な皮膚の表現、細かな髪の毛、照明の当たり具合などが重要視され、これまでも多数研究されてきた。

一方で人間の首は、顎、頭、肩をつなぎ、頭や顔がより自然な形で動くことを可能にする重要な箇所である。首は様々なポーズや角度で見えることが多く、デジタルヒューマンの全体的な見た目に大きく影響する。また、首の動きを工夫することで、顔の演技に繊細さとリアルさを与え、非言語的なコミュニケーションを付加できる。

しかしながら、首のモデリングはやや置き去りなのが現状だ。なぜなら、首のアニメーションは、首の動きと連動した豊かな表情や、喉仏が皮膚の下で滑ることによって生じる首の形状の微妙な変形など、複雑な編成を必要とするため、頭部と一致する関節を正確にモデル化することが困難だからである。

さらに、顔と首の形状を同時に捉えることができるデータセットは非常に限られており、学習データが不足しているというのも要因の一つである。

今回の研究では、デジタルヒューマンの首を構築するための新しいパラメトリックモデルである「HACK」（Head-And-neCK）を提案する。HACKは、物理ベースの外見と内部の解剖学的構造（7つの椎骨で構成される頸椎など）を組み合わせることで、首と喉頭の動きの全領域に取り組み、新しいレベルのリアリズムでより個人的で解剖学的に一致したコントロールを提供する。

HACKを構築するための最初のステップは、効果的なモデルトレーニングのためのデータ収集である。まずリアルな頸椎を抽出するために、ポータブル3D超音波画像ステムを用いて、実際に人の頸部領域を超音波スキャンする。スキャンした頸椎の画像に対して、放射線技師に頸椎の7つの椎骨に3Dランドマークをラベル付けしてもらい、その後、頭蓋骨と首の外部形状に関して解剖学的に一致した3次元の回転情報を抽出する。

次に、全方位に大量のカメラやセンサーを配置した球形ドーム型キャプチャーシステム「Light Stage」を用い、頭部をキャプチャーする。撮影した画像を基に、頭部と首のジオメトリとテクスチャを再構築する。また、高解像度の2D RGB画像と法線マップを使用して微妙な変動（例：喉頭の動き）をモデル化する。

HACKモデルを学習するために、人間の顔と体のモデリングと同様の手法を使用する。具体的には、頭部と首を形状、ポーズ、表情、喉頭のブレンドシェイプに分けて扱い、個別の特性を学習する。

また、喉頭のブレンドシェイプを使用して喉頭の変形を制御し、より解剖学的にリアルな動きを再現する。例えば、声帯が動いた際の喉仏の大きさの変化や微妙な動きを表現している。

これにより、頭部と首を一体として扱った、より正確で表現力豊かな動きを生み出す。詳細な��の動きは表情や頭部の動きと連動しているため、これまでよりも高い臨場感を見る者に知覚させる。

一旦学習させたHACKモデルは微分可能で、標準的なCGソフトウェアと互換性があるため、様々なアプリケーションに適応できる。今回は、Facial Action Coding System（FACS）のアクションユニットを活用し、ユーザーの頭部や表情の動きに応じて動作する制御システムを構築した。

今回は人間の首に焦点を合わせたが、他の哺乳類（例えば、キリン）においても同様の頚椎の骨格構造なため、HACKモデルが適用可能である。

Source and Image Credits: Zhang, Longwen, et al. “HACK: Learning a Parametric Head and Neck Model for High-fidelity Animation.” arXiv preprint arXiv:2305.04469 (2023).