详情

基于视频流的餐盘检测

申报人:楚朋志 申报日期:2022-04-11

基本情况

第一期校企专项大学生创新实践计划
基于视频流的餐盘检测
校企专项
工学
计算机类
创新类
学生创新中心
楚朋志
指导教师
登录状态下查看
课题:

1. CANN模型框架迁移及部署(深度估计模型,车道线预测模型,GradNet,TCN等)

2. 基于全系列国产软硬件平台的研发

3. 基于计算棒和OpenVINO的边缘AI处理

4. 面向冷轧薄板大数据的统计过程控制软件包设计与开发

5. 基于MindSpore的深度学习框架探究

6. 模型压缩及端侧部署

7. 谷歌开源社区技术探究


获奖:

2019-2021连续三届中国ICT大赛特等奖冠军指导教师(A类赛事)

2021全国大学生工创大赛金牌指导教师(A类赛事)

2017、2019全国大学生物联网竞赛特等奖指导教师

2019华为云无人车大赛特等奖指导教师

指导教师支持:

1. 专业的理论及工程实践指导

2. GPU计算资源及软硬件支持

企业支持:

1. 本项目研究的软、硬件条件已经具备,已经有成熟的机器人平台支撑项目试验。企业为项目研究人员配备了高水平的企业导师,在前期研究中初步形成了技术方向和实验方案。已经在餐厅环境中采集了数千张真实场景图片,能够有效支撑项目的研究。

2. 上海擎朗智能科技有限公司是一家致力于为全球企业提供智慧无人配送解决方案的人工智能企业,在全球餐饮配送机器人市场占有率高达60%,占据市场领先地位。公司拥有核心知识产权300余项,发布参编国家标准3项,团体标准2项。公司通过应用先进的智能服务机器人和人工智能技术,打造高效、稳定、可靠、实用的解决方案,帮助全球各行业的企业提升服务效率,实现智能化升级

经费支持:

10000-15000元的经费支持

基本情况:

本课题属校企大创专项,由企业导师同校内导师联合指导,将推选优秀项目和团队参与国创项目。

企业导师简介:

蔡龙生,高级算法专家,2018年博士毕业于上海交通大学数学科学学院。现任上海擎朗智能科技有限公司高级算法专家,主要负责移动机器人规划、感知、决策的算法研究与落地应用。

项目简介

餐厅服务机器人送餐的过程中,及时准确地送达与离开是体现机器人智能化水平的关键功能。机器人判断是否主动离开餐台,需要由机器人根据视觉系统采集的餐盘状态实现自主判别。本项目的研发内容主要是利用机载摄像头识别机器人托盘内部是否有餐盘或者菜品,并根据判别策略给出是否离开餐台的判定结果。检测流程包括出发检测、行进检测、到达检测和离开检测,判别策略根据检测结果给出机器人是否可以离开餐台的判别结论。项目的难点在于图像数据受光线、阴影、蒸汽等影响显著;餐盘、菜品形态复杂度很高;对判别准确度要求高;机载设备计算能力有限等。项目的研究内容在行业领域中还没有成熟落地技术,研究成果将填补该领域的空白,进一步提升服务机器人智能化水平。


时间安排:

2022年4月至6月:相关资料搜索与方案确定

2022年7月至8月:算法设计与分析

2022年9月至11月:设计测试实验,进行算法验证

2022年12月至2023年1月:机器人算法部署测试与算法完善

2023年2月至4月:整理项目资料,撰写论文与项目结题报告

选题成员

0

指导教师

序号 教师姓名 电子邮箱 所属学院
1 楚朋志 登录状态下查看 学生创新中心 第一指导教师
2 黄宏成 登录状态下查看 机械与动力工程学院 指导教师

选题附件

结束