本项目指导老师及所在课题组针对计算机视觉、深度学习、知识图谱、大模型、检索增强生成等技术在工程领域的应用开展了大量的研究，相关成果已发表在多个国际顶级SCI期刊上，如《Journal of Industrial Information Integration》《Journal of Construction Engineering and Management》《Automation in Construction》等。

本项目指导教师承担的相关科研课题有：

（1）上海市“科技创新行动计划”社会发展科技攻关项目“基于人工智能的物业风险管理处置及预测关键技术与系统”（项目编号：20dz1201300）——以计算机视觉、自行研发的低功耗无线传感器为主要工具和基础，对历史保护建筑物业管理中安全风险开展实时监测、自动识别、智慧管理进行相关研究。

（2）上海市住房和城乡建设管理委员会2021年科研项目计划“基于计算机视觉的施工工程安全风险智能管控关键技术研究”（项目编号：沪建科2021-002-049）——采用计算机视觉、深度学习等技术，对重大基础设施建设施工项目上的不安全行为进行识别、分析评估和预警。

（3）中国中冶集团“181计划”重大研发项目“设备智能维修知识专业大模型研发”——依托Langchain开发框架，研发设备维修领域的专业大模型，据此开展设备智能维修决策。

一、研究背景

交通基础设施是社会经济发展的重要支撑，包括公路、铁路、桥梁、隧道等关键结构。随着我国交通网络的持续扩张，交通基础设施的老化和运维需求日益增长。交通基础设施长期暴露在复杂环境下，受自然因素（如雨雪、腐蚀、温湿度变化）以及交通负荷的影响，容易发生结构损伤、变形、裂缝等问题。传统的巡检方式主要依赖人工巡检和固定监控设备，这种方式不仅成本高、效率低，而且在恶劣环境和复杂结构（如高架桥梁、长隧道等）下难以实施全面巡检，存在检测盲区和安全隐患。低空经济的快速发展为交通基础设施运维提供了新的解决方案。无人机因其灵活机动、视角广、成本低等特点，已逐渐被应用于道路巡检、桥梁检测、高速公路监测等场景。然而，现有无人机巡检技术仍存在以下问题：

  1.   单一传感器局限性：传统无人机巡检主要依赖光学摄像头获取可见光图像，难以应对低光照、恶劣天气或结构内部隐患的检测需求。

  2.   多传感器数据融合挑战：激光雷达、红外成像、超声波等传感器各有优劣，但如何高效融合多模态数据，实现信息互补，提升检测精度仍是关键技术瓶颈。

  基于上述背景，本项目旨在研发一款基于多模态数据融合的智能巡检无人机，结合光学摄像、激光雷达、红外热成像等多种传感器，实现交通基础设施巡检的智能化、精准化和高效化。

 二、研究内容

交通基础设施巡检工作具有高度复杂性，巡检环境不仅受气象条件（如风速、降雨、雾霾）和光照强度的影响，还涉及高架桥梁、隧道、路基等复杂结构环境，这些因素均对无人机巡检的稳定性、数据采集质量及多模态数据融合提出挑战。因此，本项目拟研发一款无人机，用于基于多模态数据融合的交通基础设施智能巡检，需要开展以下研究工作。

1. 无人机模块化传感器挂载系统设计

本项目首先设计一套可拆卸、模块化的传感器挂载系统，使无人机可以根据不同的巡检任务灵活更换摄像头、激光雷达、红外传感器等设备。研究内容包括设计传感器的标准化接口，确保不同传感器能够方便地安装和拆卸；优化无人机挂载的结构，保证传感器稳定性并尽量减少对飞行性能的影响；合理安排传感器位置，确保采集数据的质量和完整性。

2. 多模态数据无线传输与融合

在无人机挂载多个传感器后，需要研究数据的采集、传输和融合方法，以保证巡检信息的准确性和可靠性。本项目将研究如何同步采集不同传感器的数据，使其在时间和空间上能够对齐；探索数据无线传输方式，确保无人机巡检过程中数据能够稳定地传输到地面站或存储设备；研究如何融合不同类型的传感数据，使巡检系统能够结合不同传感器的信息给出综合评判，提高检测精度。

3. 无人机巡检系统优化与测试

在完成上述基础研究后，本项目将对巡检系统进行优化和测试，以确保研究成果的可行性。研究内容包括对系统整体性能的优化，使无人机巡检过程更加稳定、高效；在实验环境下测试系统功能，检验模块化传感器挂载、多模态数据无线传输与融合等功能是否达到预期；对无人机巡检过程中遇到的问题进行调整和改进，确保最终的巡检系统能够正常运行并具有一定的实际应用价值。

三、学生需求：

学生专业要求：拟招募土木工程、电子工程、计算机科学、自动化、机械工程等相关专业的学生参与本项目。以上专业背景的同学对工程管理、无人机硬件、传感器技术和算法开发各有所长，有助于组成互补的研发团队。

学生人数：计划招募3-4名本科生共同参与。团队规模适中，以确保每名学生都有明确的任务分工，并能紧密协作完成系统集成。

技能要求：希望学生具备以下技能或经验：

• 较好的编程能力（Python和C++），能够编写和调试无人机控制、数据处理相关的软件。
• 熟悉计算机视觉或机器学习基础，了解常用深度学习框架（如PyTorch/TensorFlow），在图像识别、目标检测等方面有实践经验更佳。
• 有嵌入式系统或机器人开发经历者优先，例如使用单片机、树莓派或NVIDIA Jetson平台进行过项目开发，了解硬件接口和传感器驱动。
• 良好的团队协作和沟通能力，乐于学习新知识，对无人机和人工智能技术充满热情。