详情

基于多模态行为分析的情绪识别技术研究

申报人:孙锬锋 申报日期:2024-03-05

基本情况

第二十九期上海交通大学大学生创新实践计划
基于多模态行为分析的情绪识别技术研究
创新训练项目
工学
计算机类
创新类
电子信息与电气工程学院
孙锬锋
指导教师
登录状态下查看

孙锬锋,电院-网络空间安全,教授,主要从事数字视频篡改取证分析技术、视频内容理解算法研究、视频对抗样本攻防算法研究等信息安全领域的理论研究及其成果转化实现。申请人多年致力于该领域的持续研究,并与国家重大战略与安全应用需求密切结合,曾连续主持3NSFCGF科技创新特区163计划重点项目、国家重点研发计划等。已发表学术论文140余篇包括IEEE T. on Information Forensics & SecurityIEEE T. on MultimediaIEEE T. on Circuits & Systems for Video TechnologyIEEE Transactions on Dependable and Secure ComputingIEEE Journal of Selected Topics in Signal Processing等权威顶级国际学术期刊和ICASSPICME等著名国际学术会议。获授权中国发明专利35、登记软著8项。

1. 所在团队具有计算机视觉研究基础,包括视频篡改检测,视频隐写,视频对抗攻防方向等,多名研究生研究相关方向并已有论文成果,形成良好团队学习及讨论氛围。

2. 团队购置多台GPU服务器,配有其他监控摄像头,深度传感器,DVS等传感器,实验设备与实验场地充足。

3. 指导参赛同学学习相关技术。支持将成果形成论文、专利或者参加创业大赛等。

情绪识别是指从静态照片或视频序列中识别出微表情、微动作状态,从而确定对人物的情绪与心理变化。情绪变化的分析有助于心理问题的分析和预警。传统的情绪识别模型根据应用场景不同,仅对单一模态进行情绪分析,很多公司有相关的服务产品,如科大讯飞对单张图片进行情绪识别[https://www.faceplusplus.com.cn/emotion-recognition],百度提出在网络对话场景中对文字进行情绪分析等[https://ai.baidu.com/tech/nlp_apply/emotion_detection]。然而仅从单一角度的情绪识别是片面的,容易出现误判。

本课题旨在研究通过视频、语音、文字等信息实现基于多模态行为分析的情绪识别技术,对视频中人物的情绪进行分类,实现基于多模态的情绪识别系统。

选题成员

1

指导教师

序号 教师姓名 电子邮箱 所属学院
1 孙锬锋 登录状态下查看 电子信息与电气工程学院 第一指导教师

选题附件

结束