Live2Dモデルを使ったフェイストラッキングソフト開発
Live2Dモデルをフェイストラッキングによって動かし、VTuberとして配信できるアプリを開発中です。また、ただトラッキングするだけでなく、複数ユーザーでコラボレーションできるようにすることも計画しています。 現在は顔の方向推定までが完了している段階で、2023年8月末までに目パチ口パチのパラメータの計算を実装しVTuberとして見れるレベルまでモデルを動かせるようにする予定です。 その後、コラボレーションのためのネットワークの実装を予定しています。現在の設計では通信にはTCP及びUDPのSocket通信を使い、アプリケーション層で独自のプロトコルを用いて通信量ができる限り少なくなるように工夫しています。 使用技術:Unity, DlibDotNet, OpenCVSharp, Firebase, Live2D Cubism SDK for Unity