This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

“Digital Mark” Character

ベータ版

Omniverse Audio2Face

ジェネレイティブ AI を利用し、音声ソースだけで表情豊かな顔のアニメーションを瞬時に作成します。

今すぐ始める

システム要件 - セットアップガイド

オーディオからアニメーションを作成する作業がジェネレイティブ AI で簡単に

Omniverse^™ Audio2Face ベータ版は、ゲーム、映画、リアルタイムデジタルアシスタント用にキャラクターを動かすかに、あるいは単純に楽しみだけのためにキャラクターを動かすかに関わらず、あらゆるボイスオーバートラックに合わせた 3D キャラクターのアニメーション化を簡単に実現できるリファレンスアプリケーションです。このアプリは、インタラクティブなリアルタイムアプリケーションや、従来のフェースアニメーションオーサリングツールとしても使用できます。結果をライブで実行するか、ベイクするかはお好みで選択できます。

Audio2Face なら、ナレーショントラックに合わせた 3D キャラクターのアニメーション化を簡単に実現します。

仕組み

Audio2Face には、音声トラックに合わせてアニメーション化できる 3D キャラクターモデル「Digital Mark」がすでに入っているので、音声を選択してアップロードするだけで簡単にアニメーション制作が始められます。入力された音声はトレーニング済みのディープニューラルネットワークに送られ、その出力によってキャラクターメッシュの 3D 頂点が動き、顔のアニメーションがリアルタイムで生成されます。さまざまな後処理パラメーターを編集し、キャラクターのパフォーマンスを変えることもできます。このページでご覧の映像は、Audio2Face から出力されたものをほとんど加工しておらず、後処理パラメーターはほとんど編集されていません。

音声入力

録音を使用するか、ライブでアニメーションを作成

声の音声トラックを録音し、アプリに入力するだけで、3D の顔が生き生きと動き出します。マイクを使用してライブで顔のアニメーションを生成することも可能です。

Audio2Face はどのような言語でも簡単に処理できます。さらに、より多くの言語に対応するため、継続的にアップデートを行っています。

キャラクタートランスファー

一瞬で顔を変える

Audio2Face では、3D 化の対象をあらゆる人間の顔 (または人間に近い顔) に変更できます。リアルにすることも、特定の様式で表現することもできます。これにより人間か動物かを問わず、キャラクターをその場で数回のクリックで入れ替えられます。

出力を拡大する

自分を表現する、あるいは全員をいっぺんに表現する

Audio2Face では、複数のインスタンスを容易に実行でき、1 つのシーン内で好きな数だけキャラクターを実行するのも簡単です。アニメーション化にはすべて同じ音源を使用することも、別の音源を使用することもできます。デュオの会話やトリオのコーラス、息の合ったカルテットもそれ以上の人数でも、命と声を吹き込みます。さらに、顔の表情レベルを顔ごとに上げ下げすること、複数のオーディオソースからの複数のアニメーションファイルを一括出力することができます。

感情コントロール

ドラマを表現する

Audio2Face では、キャラクターの感情を一瞬で選択し、アニメーション化できます。選択した感情範囲とカスタマイズした強度に合わせて顔、目、舌、頭の動きが自動的に AI ネットワークによって操作されます。あるいは、オーディオクリップから感情を自動的に推論します

アセットクレジット: Blender Studio

データ変換

接続と変換

Omniverse Audio2Face の最新アップデートにより、ブレンドシェイプ変換とブレンドウェイトエクスポートオプションが使えるようになりました。このアプリではさらに、Blendshapes for Blender と Epic Games Unreal Engine のエクスポート/インポートをサポートし、それぞれの Omniverse コネクタでキャラクターの動きを生成できるようになりました。

Audio2Face の実際の動作をご覧ください

詳細を見る

クリーチャーとエイリアン

空想上の生き物や異星人の顔アニメーションを動かします。ここでは、Digital Mark がエイリアンのパフォーマンスを動かしています。

アニメーションチャットボット Misty

GTC Spring 2020 で発表された Misty は実行時に Audio2Face で動作するインタラクティブ天候ボットです。インタラクティブサービスエージェントとして使用するために、リアルな人間メッシュから様式化されたキャラクターメッシュに対象を変更し、デモしました。

Omniverse Machinima

GeForce 30 シリーズの発売時に公開された Audio2Face は、Omniverse Machinima デモに登場します。顔のアニメーションは複雑で、コストがかかることで知られています。Audio2Face は顔の細かなアニメーション化を自動化し、3D コンテンツを誰でも制作できるようにします。

NVIDIA Omniverse のおかげで、デジタルヒューマンの自然度が上がりました。また、ワークフローがスピードアップしたため、創作活動に費やせる時間が増えました。

— 3D アーティスト Anderson Rohr氏

NVIDIA Omniverse を今すぐ体験する

お客様の 3D ワークフローに最適なライセンスを見つけ、Omniverse を今すぐご利用ください。

今すぐ始める

クリエイター

無料でダウンロードして作成する

Omniverse は中心的ハブとして機能し、3D クリエイティブアプリケーションをシームレスに接続し、機能強化します。アセット、ライブラリ、ツールを統合し、まったく途切れのないワークフローを実現します。アーティストは自由な創作の新たな高みを達成できます。

詳細を見る

開発者

開発と配布は無料

Omniverse は開発者向けとして開発されており、あらゆるレイヤーで 3D ワークフローをカスタマイズし、新しい Omniverse Connector、拡張機能、アプリケーション、マイクロサービスを簡単に開発できます。

詳細を見る

エンタープライズ

無料試用版 | 年間ライセンス

Omniverse Enterprise は、あらゆる規模の組織の複雑なデザインワークフローを変えます。複数のアプリケーションと一元化されたプロジェクトデータを利用し、複数のユーザーと場所でリアルタイムのコラボレーションを可能にします。

詳細を見る