【专家简介】:吕凤毛现担任西南交通大学计算机与人工智能学院副教授,国际期刊IEEE Transactions on Circuits and Systems for Video Technology副主编,国际期刊Neural Networks执行主编,教育部学位中心评审专家,四川省人工智能学会理事,成都悟空张量数智科技有限公司首席科学家兼技术总监。于2013年和2018年在电子科技大学计算机科学与工程学院分别获得学士和博士学位,2018年前往新加坡南洋理工大学公派留学一年,2022年入选西南交通大学“青苗计划”,并先后承担了国家自然科学基金通讯评议专家、省部级自然科学基金通讯评议专家、中国工程物理研究院“596云网”核心攻关组专家等工作。其长期从事人工智能领域的研究,研究方向涉及多模态学习、开放世界学习、多媒体内容分析、人工智能安全等领域,在CVPR、ICCV、ECCV、ACM MM、CIKM、WWW、KDD、EMNLP、AAAI、IJCAI、TPAMI、TIP、TKDE、TMM、TNNLS等国际顶级学术会议和期刊发表学术论文六十余篇,谷歌学术引用1700余次,主持及参与国家自然科学基金、四川省自然科学基金、横向课题等项目十余项,担任CCF A类顶级学术会议ACM MM 2025领域主席,并长期在TPAMI、TIP、TKDE、TNNLS、TCSVT、TGRS、TIM、TOMM、PR、CVPR、ICCV、ECCV、EMNLP、AAAI、CIKM等顶级期刊和会议担任评审专家。近年来,其和新加坡南洋理工大学、谷歌、腾讯、字节跳动、TikTok等行业顶尖大学和企业长期保持着密切的合作关系,围绕开放世界视觉任务、社交媒体内容理解、多模态视频分析等前沿课题,提出了渐进式模态增强(PMR@CVPR 2021)、模态一致性注意力机制(MICA@ICCV 2021)、多模态信息注入扩展插件(MI2P@CVPR 2022)、多尺度域迁移(PyCDA@ICCV 2019)、枢纽交互关系迁移(PIT@CVPR 2020)等一系列有效的解决方案,受到了业内的广泛关注和认可。
【报告摘要】:随着社交媒体平台的快速发展,用户生成内容(UGC)呈现出多模态特性(如文本、图像、视频、音频及元数据等),传统单模态分析方法难以充分挖掘跨模态关联与语义互补性。本报告聚焦面向社交媒体内容分析的多模态学习技术,探讨其在复杂场景下的理论创新与应用价值。首先,针对社交媒体数据的异构性、噪声干扰及模态缺失等问题,报告系统梳理了多模态表征学习、跨模态对齐与融合的核心技术,包括多模态信息注入插件机制、模态一致性注意力方法、与渐进式模态融合策略。其次,结合社交媒体场景特点,分析模态语义不一致数据对多模态学习所构成的鲁棒性挑战,并在此基础上提出渐进多模态枢纽学习机制,可有效降低模态语义冲突对模态语义不一致数据内容理解造成的干扰。最后,报告深入讨论了多模态学习在隐私保护、低资源环境下的挑战,并展望了联邦多模态学习与轻量化模型部署的未来方向。本研究为社交媒体内容理解提供了可扩展的技术路径,同时为多模态人工智能的理论与实践发展提供了新思路。
【报告时间】:2025年04月19日 9:00-10:00
【报告地点】:崇真楼110