大学生创新创业训练计划管理系统
第三十一期“上海交通大学大学生创新实践计划”
面向大模型的加速技术研究
创新训练项目
工学
计算机类
创新类
计算机学院
刘方鑫
指导教师
登录状态下查看
刘方鑫，上海交通大学计算机科学与工程系助理教授，硕士生导师。研究方向包括计算机体系架构与设计自动化、高效神经网络加速、AI编译优化等。以第一/通讯作者身份在IEEE TC、IEEE TCAD、HPCA、ISCA、MICRO、DAC、ICCAD、ICCV 等领域顶级期刊及会议上发表论文 40 余篇。曾入选上海交大（首届）吴文俊人工智能博士项目，并担任上海交大“国智班”项目导师。获得华为火花奖以及 DATE 2022 最佳论文奖/最佳论文提名、上海市计算机学会优博奖、ACM 上海优博奖、上海市优秀毕业生、CCF 体系结构优秀博士论文提名等荣誉。主持国家级与华为、蚂蚁等横向课题。
1. 指导教师在本领域有丰富的经验和积累，可以给予学生指导；
2. 指导教师有丰富的计算资源；
一、选题介绍
本选题聚焦于大模型（如GPT-3、BERT等）的加速技术研究，旨在探索高效、低成本的训练和推理方法，以解决大模型在实际应用中面临的计算资源消耗大、推理速度慢等瓶颈问题。研究内容涵盖模型压缩、算法优化、硬件加速、软件优化等多个方面，具体包括：
- 模型压缩： 研究剪枝、量化、知识蒸馏等技术，探索在保证模型性能的前提下，减少模型参数量和计算量的方法。
- 软硬件协同优化： 研究如何利用GPU、TPU、ASIC、FPGA等硬件加速器，实现压缩后模型的进一步性能优化提升，加速推理和微调阶段。
二、对学生的要求
- 具备一定的数学基础。
- 熟悉深度学习理论： 了解常见的深度学习模型、算法和优化方法。
- 掌握编程技能： 熟练使用Python、C++等编程语言，熟悉至少一种深度学习框架（如TensorFlow、PyTorch等）。
- 具备良好的英语阅读能力： 能够阅读和理解相关领域的英文文献。
- 具备较强的学习能力和科研能力： 能够独立思考和解决问题，具备良好的团队合作精神。
三、预期成果
- 在相关领域发表高水平学术论文。
- 开发高效的模型压缩、算法优化、硬件加速或软件优化工具。
四、研究资源
- 提供高性能计算平台，包括GPU等。
- 提供与国内外知名高校和科研机构合作交流的机会。