VRChat

顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)

顔トラッキング(FT)に対応していないアバターを、顔トラッキングで動かしたい人へ。足りない表情キー(ウインク・目を見開く・目を細める・眉・口角・あごの左右)を、アバター自身の表情のシェイプキーから作れる分だけ作り、VRChat の顔トラッキングの欄(Avatar Descriptor の Face Tracking)を埋める Unity エディタ拡張です。 作りの違う6体のアバターでは、22個の欄のうち16〜22個が埋まりました(作れる数はアバターで変わります)。アバターの一番上に付けて、いつもどおりアップロードすると入ります。Blender は使わず、元のアバターのファイルは書き換えません(NDMF・非破壊)。 ※ 専用の機器が無くても始められます。VRChat 標準の顔トラッキングは、PC の Web カメラや Android のスマホ・タブレットのカメラでも動きます(VRChat の設定「Tracking & IK」の Camera Tracking)。顔の動きを OSC で送るアプリ・機器からも使えます。この道具が用意するのはアバターの側(キーと欄)です。 無料お試し版あり:自分のアバターで、どの欄が埋まるかの表を先に見られます(製品版 2,500円)。 English / 简体中文 / 한국어:下の段落に説明があります(descriptions below) ■ まずは無料お試し版で、自分のアバターの表を見る ・お試し版(無料):どのキーが「元からある・作る・作れない」かの表と、シーンでの仮表示まで。アップロードしたアバターには入りません ・製品版(2,500円):上に加えて、作ったキーと顔トラッキングの欄をアップロードしたアバターに入れます。お試し版を入れている時は、その上から製品版を入れるだけです 作れるキーの数はアバターによって変わります。買う前に、お試し版の表で自分のアバターの分を確かめてください。 ■ できること ・顔トラッキングの欄 22個を1つずつ見て、「元からある・作る・作れない・もう入っている」を表に出す(作れない時は理由も出ます) ・足りないキーは、元の表情のキー(両目を閉じる・びっくり・笑い・困る・口角上げ・口を開ける など)を左右に分ける・向きを逆にする・横へずらすなどして作る ・あごの左右は、口を開けるキーで下がる所を横へずらして作る。唇の端が引きつれないよう、口の周りはなめらかにつなぐ ・舌を出すキーは、元のアバターにある時にその欄へ入れる ・欄に入っているキーはそのまま残し、空いている所だけ埋める。左右の名前が逆の作りは、動く側で合わせる ・リップシンクのメッシュが顔と同じ時は、リップシンクを顔トラッキングと一緒に使う形(Viseme Blend Shape Face Tracking)にし、あいうえおの割り当てはそのまま引き継ぐ ・行ごとにオン・オフと「強さ」を変えられる ・キーの名前が変わっていて自動で見つからない時は、行ごとの「材料にする表情」で顔のシェイプキーから元の表情を選んで作れる(「使わない」も選べる) ・「シーンで確かめる」で前・後を切り替え、試すキーと動かし具合で、作ったキーの動きをアップロード前に見られる(保存されず、選択を外すと戻る) ・まぶたも顔トラッキングで動かすか選べる(「まぶたも顔トラッキングで動かす」) ・VRChat のメニューから顔トラッキングをオン・オフできる(Modular Avatar を入れている時) ・表情の付いたハンドサインを出している間は、顔トラッキングを自動で止めて、表情が重なって崩れるのを防ぐ(メニューから切れます。止めるハンドサインは自動で探し、手でも選べます) ・設定をファイルに書き出して、別のプロジェクトや同じ顔のアバターで読み込める(行ごとのオン・オフ、強さ、材料にする表情、切り替えの設定) ・顔トラッキングの動きは VRChat 標準の仕組みで他の人に届くので、アバターの同期パラメータの枠を使わない(メニューの切り替えを入れる時だけ 1〜2 ビット) ・日本語/English 切り替え ■ 確かめた結果(作者の Unity の中での試験) 作りの違う6体のアバターで、アップロードした時と同じ組み立てを流して数えました。 ・顔トラッキングの欄 22個のうち、元からある 3〜14・作る 8〜16・作れない 0〜6(埋まった欄は 16〜22)。作る数は、元のアバターにある表情のキーで変わります ・作ったキーは1本ずつ顔に当てて撮り、6体とも見た目が動く(あごの左右は口を開けた形で) ・作れなかった欄は、6体とも空のまま(0 で埋めない) ・6体とも、組み立ての後で元のアバター・Prefab・FBX は変わらない ・4体は、まばたきが Eye Look のまぶたの設定(Blendshapes / Bones)になっていて、知らせ(まばたきは Eye Look のまぶたの設定が使われます)が出ました ・ゆめか:Unity の再生中に、欄の4つのキー(うち3つは作ったキー)の値を 0→0.5→1 と上げると、値に合わせて顔が動く ■ 使う前に ・アバターの規約で、シェイプキーを足す改変が許されているか確かめてください ■ 使い方 1. NDMF 1.14 以上(Modular Avatar を VCC / ALCOM から入れると一緒に入ります)を入れてから、unitypackage をプロジェクトに入れる 2. ヒエラルキーでアバターの一番上(VRC Avatar Descriptor の付いた物)を右クリック → GRAMSHIFT → KaoTraPon(Add Component → GRAMSHIFT → KaoTraPon でも付きます) 3. 表で、どのキーを作るかを確かめ、「シーンで確かめる」で動きを見る 4. 「まばたきは Eye Look のまぶたの設定が使われます」と出たら、目を閉じる・ウインクも顔トラッキングで動かす時は「まぶたも顔トラッキングで動かす」をオンにする 5. VRChat の中で切り替えたい時は、「VRChat の中で切り替える」の2つをオンのままにする(この2つは Modular Avatar 1.18 以上で使えます。同期パラメータを 1〜2 ビット使います) 6. いつもどおりアップロードする ■ 動作環境 ・Unity 2022.3 / VRChat SDK3 Avatars(顔トラッキングの欄がある版)/ NDMF 1.14 以上(Modular Avatar に含まれます) ・作者が試した版:Unity 2022.3.22f1 / SDK Avatars 3.10.6 / MA 1.18.7 / NDMF 1.14.8 ・メニューからのオン・オフと、ハンドサインの間の止めは、Modular Avatar 1.18 以上を入れている時に使えます ・確認したアバター:ゆめか(Arka_X 様)・フェリス(リュクらぼ 様)・HAOLAN(かなリぁ 様)・RadDollV3(三丁目の魔界 様)ほか2体の6体 ・ほかに、組み立てを流して埋まった欄を数えたアバター(22個のうち):Julius ユリウス(brochiManac 様)20・Lumelana ルメラナ(Murixir workshop 様)18・つみれ(てぐらるしょっぷ 様)15・アルバイ子のヌタチさん(inotushop 様)15・Lapine ラピーヌ(WARPSTORE 様)12・MINIUS ミニウス(brochiManac 様)20・Maromage まろまげ(zuchicorn 様)18・ゆがちゃん(vrcreative-pr 様)11 ■ よくある質問 Q. 顔トラッキング用のキーが無いアバターでも使えますか? A. 使えます。元の表情のキー(まばたき・びっくり・笑い・口角上げ・あいうえお など)から作ります。作れる数はアバターによって変わり、お試し版の表で先に見られます。 Q. 顔トラッキングの機器は要りますか? A. 専用の機器が無くても、VRChat の Camera Tracking(PC の Web カメラ・Android のスマホやタブレットのカメラ)で顔の動きを映せます。顔の動きを OSC で送るアプリ・機器からも使えます。この道具はアバター側の準備をします。 Q. Blender でシェイプキーを作る必要はありますか? A. ありません。Unity の中だけで、アップロードの時に顔のメッシュの写しへ足します。元の FBX・アバター・Prefab は書き換えません。 Q. もう一部のキーを欄に入れています。上書きされますか? A. されません。入っているキーはそのまま残し、空いている欄だけ埋めます。 Q. ハンドサインの表情と顔トラッキングは重なりませんか? A. 表情の付いたハンドサインを出している間は、顔トラッキングの動きを自動で止めます(Modular Avatar を入れている時)。止めるハンドサインは自動で探し、見つからない時は KaoTraPon の「ハンドサイン」の欄を「手で選ぶ」にして選べます。VRChat のメニューから切ることもできます。 Q. 設定を別のプロジェクトや別のアバターに移せますか? A. 移せます。KaoTraPon の「設定を書き出す」でファイルに保存し、移す先で「設定を読み込む」を押します。その顔に無い表情が選ばれていた行は「自動」に戻り、どの行かをお知らせします。 Q. お試し版で何ができますか? A. どのキーが作れるかの表と、シーンでの仮表示までです。アップロードしたアバターには入りません。製品版を入れると入ります(お試し版を入れている時は、その上から入れるだけです)。 ■ 制限 ・元になる表情のキーが無いキーは作れません。その欄は空のままです ・頬をふくらますキーは、元に両頬をふくらますキーがある時だけ左右に分けて作ります ・舌を出すキーは作りません。元のアバターにある時だけ欄に入れます ・目を閉じるキーが片目しか動かさない作りの時は、反対の目のキーは作れません(表に理由が出ます) ・目だけで笑う(口が動かない)笑顔のキーからは、口角のキーを作りません(表に理由が出ます) ・作ったキーの動きは元の表情から作るので、顔トラッキング専用に作られたアバターの動きと同じにはなりません ・Eye Look のまぶたの設定(Blendshapes / Bones)を使っている間は、VRChat はまばたきにそちらを使います。まぶたも顔トラッキングで動かす時は「まぶたも顔トラッキングで動かす」をオンにしてください ・顔トラッキングの欄が無い古い VRChat SDK では、アップロードしたアバターには何も足しません(表と仮表示は使えます)。SDK を更新してください ・お試し版は表とシーンの見た目だけで、アップロードしたアバターには入りません ■ 顔の道具(GRAMSHIFT) ・まばたき LidFit https://booth.pm/ja/items/9014545 ・瞳 IrisFit https://booth.pm/ja/items/9016322 ・口のリップシンク MouthFit https://booth.pm/ja/items/9049948 ・舌を動かす TongueFit https://booth.pm/ja/items/9061168 ■ 困った時は うまく動かない時は、このページの「ショップへのお問い合わせ」から気軽にどうぞ(アバターの名前と、表示された文があると早く調べられます)。 要望の多いものから次の版に入れます。

利用規約

更新履歴

English

简体中文

한국어

顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラポン!|顔トラッキング(FT)非対応のアバターに、足りない表情キーを元の表情から作って入れる|フェイストラッキング・表情【VRChat・NDMF・非破壊】(KaoTraPon)
顔トラッキング(FT)に対応していないアバターを、顔トラッキングで動かしたい人へ。足りない表情キー(ウインク・目を見開く・目を細める・眉・口角・あごの左右)を、アバター自身の表情のシェイプキーから作れる分だけ作り、VRChat の顔トラッキングの欄(Avatar Descriptor の Face Tracking)を埋める Unity エディタ拡張です。 作りの違う6体のアバターでは、22個の欄のうち16〜22個が埋まりました(作れる数はアバターで変わります)。アバターの一番上に付けて、いつもどおりアップロードすると入ります。Blender は使わず、元のアバターのファイルは書き換えません(NDMF・非破壊)。 ※ 専用の機器が無くても始められます。VRChat 標準の顔トラッキングは、PC の Web カメラや Android のスマホ・タブレットのカメラでも動きます(VRChat の設定「Tracking & IK」の Camera Tracking)。顔の動きを OSC で送るアプリ・機器からも使えます。この道具が用意するのはアバターの側(キーと欄)です。 無料お試し版あり:自分のアバターで、どの欄が埋まるかの表を先に見られます(製品版 2,500円)。 English / 简体中文 / 한국어:下の段落に説明があります(descriptions below) ■ まずは無料お試し版で、自分のアバターの表を見る ・お試し版(無料):どのキーが「元からある・作る・作れない」かの表と、シーンでの仮表示まで。アップロードしたアバターには入りません ・製品版(2,500円):上に加えて、作ったキーと顔トラッキングの欄をアップロードしたアバターに入れます。お試し版を入れている時は、その上から製品版を入れるだけです 作れるキーの数はアバターによって変わります。買う前に、お試し版の表で自分のアバターの分を確かめてください。 ■ できること ・顔トラッキングの欄 22個を1つずつ見て、「元からある・作る・作れない・もう入っている」を表に出す(作れない時は理由も出ます) ・足りないキーは、元の表情のキー(両目を閉じる・びっくり・笑い・困る・口角上げ・口を開ける など)を左右に分ける・向きを逆にする・横へずらすなどして作る ・あごの左右は、口を開けるキーで下がる所を横へずらして作る。唇の端が引きつれないよう、口の周りはなめらかにつなぐ ・舌を出すキーは、元のアバターにある時にその欄へ入れる ・欄に入っているキーはそのまま残し、空いている所だけ埋める。左右の名前が逆の作りは、動く側で合わせる ・リップシンクのメッシュが顔と同じ時は、リップシンクを顔トラッキングと一緒に使う形(Viseme Blend Shape Face Tracking)にし、あいうえおの割り当てはそのまま引き継ぐ ・行ごとにオン・オフと「強さ」を変えられる ・キーの名前が変わっていて自動で見つからない時は、行ごとの「材料にする表情」で顔のシェイプキーから元の表情を選んで作れる(「使わない」も選べる) ・「シーンで確かめる」で前・後を切り替え、試すキーと動かし具合で、作ったキーの動きをアップロード前に見られる(保存されず、選択を外すと戻る) ・まぶたも顔トラッキングで動かすか選べる(「まぶたも顔トラッキングで動かす」) ・VRChat のメニューから顔トラッキングをオン・オフできる(Modular Avatar を入れている時) ・表情の付いたハンドサインを出している間は、顔トラッキングを自動で止めて、表情が重なって崩れるのを防ぐ(メニューから切れます。止めるハンドサインは自動で探し、手でも選べます) ・設定をファイルに書き出して、別のプロジェクトや同じ顔のアバターで読み込める(行ごとのオン・オフ、強さ、材料にする表情、切り替えの設定) ・顔トラッキングの動きは VRChat 標準の仕組みで他の人に届くので、アバターの同期パラメータの枠を使わない(メニューの切り替えを入れる時だけ 1〜2 ビット) ・日本語/English 切り替え ■ 確かめた結果(作者の Unity の中での試験) 作りの違う6体のアバターで、アップロードした時と同じ組み立てを流して数えました。 ・顔トラッキングの欄 22個のうち、元からある 3〜14・作る 8〜16・作れない 0〜6(埋まった欄は 16〜22)。作る数は、元のアバターにある表情のキーで変わります ・作ったキーは1本ずつ顔に当てて撮り、6体とも見た目が動く(あごの左右は口を開けた形で) ・作れなかった欄は、6体とも空のまま(0 で埋めない) ・6体とも、組み立ての後で元のアバター・Prefab・FBX は変わらない ・4体は、まばたきが Eye Look のまぶたの設定(Blendshapes / Bones)になっていて、知らせ(まばたきは Eye Look のまぶたの設定が使われます)が出ました ・ゆめか:Unity の再生中に、欄の4つのキー(うち3つは作ったキー)の値を 0→0.5→1 と上げると、値に合わせて顔が動く ■ 使う前に ・アバターの規約で、シェイプキーを足す改変が許されているか確かめてください ■ 使い方 1. NDMF 1.14 以上(Modular Avatar を VCC / ALCOM から入れると一緒に入ります)を入れてから、unitypackage をプロジェクトに入れる 2. ヒエラルキーでアバターの一番上(VRC Avatar Descriptor の付いた物)を右クリック → GRAMSHIFT → KaoTraPon(Add Component → GRAMSHIFT → KaoTraPon でも付きます) 3. 表で、どのキーを作るかを確かめ、「シーンで確かめる」で動きを見る 4. 「まばたきは Eye Look のまぶたの設定が使われます」と出たら、目を閉じる・ウインクも顔トラッキングで動かす時は「まぶたも顔トラッキングで動かす」をオンにする 5. VRChat の中で切り替えたい時は、「VRChat の中で切り替える」の2つをオンのままにする(この2つは Modular Avatar 1.18 以上で使えます。同期パラメータを 1〜2 ビット使います) 6. いつもどおりアップロードする ■ 動作環境 ・Unity 2022.3 / VRChat SDK3 Avatars(顔トラッキングの欄がある版)/ NDMF 1.14 以上(Modular Avatar に含まれます) ・作者が試した版:Unity 2022.3.22f1 / SDK Avatars 3.10.6 / MA 1.18.7 / NDMF 1.14.8 ・メニューからのオン・オフと、ハンドサインの間の止めは、Modular Avatar 1.18 以上を入れている時に使えます ・確認したアバター:ゆめか(Arka_X 様)・フェリス(リュクらぼ 様)・HAOLAN(かなリぁ 様)・RadDollV3(三丁目の魔界 様)ほか2体の6体 ・ほかに、組み立てを流して埋まった欄を数えたアバター(22個のうち):Julius ユリウス(brochiManac 様)20・Lumelana ルメラナ(Murixir workshop 様)18・つみれ(てぐらるしょっぷ 様)15・アルバイ子のヌタチさん(inotushop 様)15・Lapine ラピーヌ(WARPSTORE 様)12・MINIUS ミニウス(brochiManac 様)20・Maromage まろまげ(zuchicorn 様)18・ゆがちゃん(vrcreative-pr 様)11 ■ よくある質問 Q. 顔トラッキング用のキーが無いアバターでも使えますか? A. 使えます。元の表情のキー(まばたき・びっくり・笑い・口角上げ・あいうえお など)から作ります。作れる数はアバターによって変わり、お試し版の表で先に見られます。 Q. 顔トラッキングの機器は要りますか? A. 専用の機器が無くても、VRChat の Camera Tracking(PC の Web カメラ・Android のスマホやタブレットのカメラ)で顔の動きを映せます。顔の動きを OSC で送るアプリ・機器からも使えます。この道具はアバター側の準備をします。 Q. Blender でシェイプキーを作る必要はありますか? A. ありません。Unity の中だけで、アップロードの時に顔のメッシュの写しへ足します。元の FBX・アバター・Prefab は書き換えません。 Q. もう一部のキーを欄に入れています。上書きされますか? A. されません。入っているキーはそのまま残し、空いている欄だけ埋めます。 Q. ハンドサインの表情と顔トラッキングは重なりませんか? A. 表情の付いたハンドサインを出している間は、顔トラッキングの動きを自動で止めます(Modular Avatar を入れている時)。止めるハンドサインは自動で探し、見つからない時は KaoTraPon の「ハンドサイン」の欄を「手で選ぶ」にして選べます。VRChat のメニューから切ることもできます。 Q. 設定を別のプロジェクトや別のアバターに移せますか? A. 移せます。KaoTraPon の「設定を書き出す」でファイルに保存し、移す先で「設定を読み込む」を押します。その顔に無い表情が選ばれていた行は「自動」に戻り、どの行かをお知らせします。 Q. お試し版で何ができますか? A. どのキーが作れるかの表と、シーンでの仮表示までです。アップロードしたアバターには入りません。製品版を入れると入ります(お試し版を入れている時は、その上から入れるだけです)。 ■ 制限 ・元になる表情のキーが無いキーは作れません。その欄は空のままです ・頬をふくらますキーは、元に両頬をふくらますキーがある時だけ左右に分けて作ります ・舌を出すキーは作りません。元のアバターにある時だけ欄に入れます ・目を閉じるキーが片目しか動かさない作りの時は、反対の目のキーは作れません(表に理由が出ます) ・目だけで笑う(口が動かない)笑顔のキーからは、口角のキーを作りません(表に理由が出ます) ・作ったキーの動きは元の表情から作るので、顔トラッキング専用に作られたアバターの動きと同じにはなりません ・Eye Look のまぶたの設定(Blendshapes / Bones)を使っている間は、VRChat はまばたきにそちらを使います。まぶたも顔トラッキングで動かす時は「まぶたも顔トラッキングで動かす」をオンにしてください ・顔トラッキングの欄が無い古い VRChat SDK では、アップロードしたアバターには何も足しません(表と仮表示は使えます)。SDK を更新してください ・お試し版は表とシーンの見た目だけで、アップロードしたアバターには入りません ■ 顔の道具(GRAMSHIFT) ・まばたき LidFit https://booth.pm/ja/items/9014545 ・瞳 IrisFit https://booth.pm/ja/items/9016322 ・口のリップシンク MouthFit https://booth.pm/ja/items/9049948 ・舌を動かす TongueFit https://booth.pm/ja/items/9061168 ■ 困った時は うまく動かない時は、このページの「ショップへのお問い合わせ」から気軽にどうぞ(アバターの名前と、表示された文があると早く調べられます)。 要望の多いものから次の版に入れます。