SSM

概要

このリポジリは、顔の動作単位（AU）と顔の表情（FE）の双方向学習を可能にするStructured Semantic Mapping（SSM）フレームワークの公式実装です。

SSMは、異なるデータセットにおけるアノテーションの粒度やドメインの不整合を克服し、AUとFE間の知識転移を相互に促進します。

主な特徴として、テキスト記述から構造化された意味的アンカーを構築するTextual Semantic Prototypes (TSP)と、FACS（Facial Action Coding System）の事前知識に基づいてタスク間アラインメントを行うDynamic Prior Mapping (DPM)を活用します。

これにより、単方向の学習と比較して、AU検出と表情認識の両方で最先端の性能を達成し、データセット間の優れた汎化能力とゼロショット転送能力を示します。

本ツールは、顔の表情認識、感情分析、コンピュータビジョン、機械学習分野の研究者や開発者、特に多様なデータセットを統合して顔分析を行う必要のあるユーザーを想定しています。

互換性・特徴

• GPU必須
• Python
• 機械学習
• 画像処理

基本情報

GitHub: https://github.com/MSA-LMC/SSM