大学生创新创业训练计划管理系统
第三期校企专项大学生创新实践计划
英特尔大模型项目：IPEX-LLM 开源项目社区应用适配
校企专项
工学
计算机类
创新类
学生创新中心
楚朋志
指导教师
登录状态下查看
课题：
1. CANN模型框架迁移及部署（深度估计模型，车道线预测模型，GradNet,TCN等）
2. 基于全系列国产软硬件平台的研发
3. 基于计算棒和OpenVINO的边缘AI处理
4. 面向冷轧薄板大数据的统计过程控制软件包设计与开发
5. 基于MindSpore的深度学习框架探究
6. 模型压缩及端侧部署
7. 谷歌开源社区技术探究
获奖：
2019-2023连续三届中国ICT大赛一等奖指导教师（A类赛事）
2021全国大学生工创大赛金牌指导教师（A类赛事）
2021全球人工智能技术创新大赛一等奖指导教师
2017、2019、2022年全国大学生物联网竞赛特等奖指导教师
2022年互联网+全国铜奖、上海市金奖
企业导师介绍：
黄晟盛是英特尔AISE部门的高级软件架构师。她有超过十年的大数据领域经验，精通大规模分布式数据处理和机器学习技术，且是 Apache Spark 项目的 Committer。近十年中，她主要专注于人工智能领域，涉猎图像/自然语言/时序预测/AutoML等多个子领域。目前，她的研究重点是扩散模型、大型语言模型的推理优化及其应用。她是BigDL和IPEX-LLM的核心贡献者之一。
黄凯是英特尔AISE部门的高级工程师，2017年加入英特尔，在大语言模型、大数据和分布式深度学习框架等领域有多年的开发和工程经验。他是BigDL和IPEX-LLM的核心贡献者之一。
指导教师将提供专业的理论及工程实践指导
指导教师将提供项目所需的硬件包括机器狗、GPU计算资源、实验场地以及配套软件。
IPEX-LLM 是一个PyTorch library，用于在Intel CPU和GPU上运行 LLM，适用的平台包括搭载集成显卡的个人电脑，配有 Arc/Flex/Max 等独立显卡的台式机等。这意味着用户可以在价格更亲民的笔记本或台式机上实现极低延迟的 LLM 本地运行，无需投资昂贵的硬件就可以进行LLM应用创新，从而令更多人从开源大语言模型的快速发展中受益。本项目希望学生将社区第三方开源应用项目和IPEX-LLM进行适配，使得该应用项目可以在Intel的平台上部署和高效使用。成果包括：项目适配IPEX-LLM的代码修改，部署教程文档，在Intel平台上演示Demo。可选第三方应用包括：
- LlocalSearch: https://github.com/nilsherzig/LLocalSearch
- QAnything: https://github.com/netease-youdao/QAnything
-
AnythingLLM: https://github.com/Mintplex-Labs/anything-llm
- gpt-academic: https://github.com/binary-husky/gpt_academic/
- AIOS: https://github.com/agiresearch/AIOS
- Quivr: https://github.com/QuivrHQ/quivr
- FauxPilot: https://github.com/fauxpilot/fauxpilot