详情

大模型驱动的行业定制三维资源库构建

申报人:赵伟明 申报日期:2024-05-14

基本情况

第三期校企专项大学生创新实践计划
大模型驱动的行业定制三维资源库构建
校企专项
工学
计算机类
创新类
学生创新中心
赵伟明
指导教师
登录状态下查看

晏轶超老师自2021年5月起担任上海交通大学终身轨助理教授。晏老师于2019年6月至2021年4月在人工智能启蒙研究院(IIAI)担任研究科学家。他的研究兴趣包括计算机视觉和机器学习问题,主要研究方向包括数字人生成/编辑/渲染、人物重识别以及视频分析。

赵伟明老师目前在上海交通大学学生创新中心担任实验师,负责开发全新课程、授课、与企业合作以及指导学生参与竞赛。在加入上海交通大学之前,赵老师在新加坡南洋理工大学能源研究所担任研究员从事3D激光雷达点云数据可视化和GUI设计工作。他的研究主要集中在计算机与人交互(HCI)、人工智能生成内容(AIGC)、虚拟现实(VR)/增强现实(AR)和课程设计方面。

自2023年12月起,赵老师与晏老师担任上海交通大学AIGC班级的管理工作,负责管理和指导班级的学习与发展。

本项目建立在计算机图形学和计算机视觉领域的已有成果基础上,包括扩散模型、三维渲染等。团队成员拥有相关的计算机视觉、图形学以及数学等背景,具有丰富的研究和开发经验。项目所需的软硬件设备已经具备,包括计算机、图形处理器、数据存储设备以及数据采集设备等。此外,本项目得到了相关领域的专家和教授的支持和指导,具备充足的人员和场地支持。因此,本项目具备了充足的技术基础和支持条件,可以高效地进行研究和开发工作。

硬件设备高性能计算资源、图像采集设备等。

本项目旨在利用先进的大模型技术进行三维模型的生成研究,构建特定领域或具有特色的三维资产库。通过深度学习和计算机视觉技术,研究并开发新的算法和方法,以自动化生成高质量的三维模型。项目的核心目标包括:

1. 三维生成-公开数据集:利用公开的三维模型数据集作为训练基础,研究和改进现有的三维模型生成技术;

2. 特定领域的3D资产库:根据项目需求,针对特定行业(如建筑、游戏或医疗)构建专用的三维资产库;

3. 生成训练样本3D模型:开发能够从二维图像或现有的简化模型自动生成详细三维模型的技术。


预期成果:


成功开发出一套能够高效生成三维模型的算法和工具。构建至少一个行业特定的三维资产库,提供给研究者和开发者使用,以推动相关领域的技术发展和应用。发布至少一个三维模型生成的公开数据集,供学术界和工业界共同使用和进一步研究


时间安排:

l  20244月至20247完成技术预研和基础算法开发,包括对现有数据集的分析和初步的模型训练。

l  20248月至202411算法优化和特定领域三维资产库的初步构建。

l  202412月至20253完成特定领域资产库的详细开发和整合,进行系统测试和优化。

l 20254项目总结,准备成果报告和资产库的公开发布。

选题成员

1

指导教师

序号 教师姓名 电子邮箱 所属学院
1 赵伟明 登录状态下查看 学生创新中心 第一指导教师
2 晏轶超 登录状态下查看 电子信息与电气工程学院 指导教师

选题附件

  • 大模型驱动的行业定制三维资源库构建.pdf
    下载附件需要您先登录系统
结束