法政大学 / 情報科学研究科情報科学専攻
Emotion Recognition based on Multimodal Physiological Signals using a CNN-Transformer Model
近年、メンタルヘルス支援技術として感情認識への関心が高まっています。本研究では、Attention機構を基盤とするCNN-Transformerモデルを用い、どの生理信号(EEG・ECG・GSR)が感情分類に適しているかを比較検証しました。 AMIGOSデータセット(40名分の生理信号データ)を用いて、arousalおよびvalenceの二値分類を実施しました。各信号ごとにモデルを構築し性能を比較した結果、ECGが最も高い分類精度を示しました。また、ECGとEEGを組み合わせることで、さらに精度が向上することを確認しました。 本研究を通じて、CNN-Transformerモデルにおける最適な信号選択およびマルチモーダル統合の有効性を示しました。