教育经历
-
2018.09-2022.06 浙江大学 信息与电子工程学院 信息工程专业 学士
GPA:3.91/4.00,保研至浙江大学信息与通信网络工程研究所
-
2022.09 至今 浙江大学 信息与电子工程学院 电子信息专业 硕士
GPA:92.29/100,班级综素排名 2/33,机器视觉与导航实验室
论文专利
-
"LVIC: Multi-modality segmentation by Lifting Visual Info as Cue"
论文简介:本工作观察到多模态点云语义分割任务中,之前的point painting方法由于投影误差往往效果不佳。针对这样的问题,本工作提出了一种基于深度的point painting方法, 使点云获取到来自图像的丰富且准确的语义信息。通过将视觉信息提升到3d空间,我们的方法在nuScenes数据集上取得了第一的成绩。
-
"一种基于语义边缘对齐的激光雷达-相机自标定方法" (ZL-2024-1-03101)
专利简介:本发明针对车辆使用过程中传感器标定参数偏差的问题,通过图像和点云的语义边缘对齐,实现旋转误差小于4度时的自标定,大于4度时的报警。 在kitti数据集上的定量结果显示,随机加入5度旋转误差,本方法可将标定误差修正至0.5度以内。
实习经历
-
2023.09-2024.03 浙江有鹿机器人科技有限公司-算法工程师
实习简介:主要从事点云语义分割等精细感知任务。参与设计完成SRCNet,耗时减少70%的同时,路沿和锁链miou效果提升明显。使用多个图像语义分割大模型辅助工作,如OpenSeeD、FC_CLIP、DINOv2、Depth Anything等。 实习期间,完成UdeerLVIC工作,该工作在nuScenes lidar segmentation任务上达到第一名。
-
2024.06-至今 杭州菜鸟自动驾驶中心-算法工程师
实习简介:主要从事Open-vocabulary Occupancy预研工作。设计了一套3d open vocabulary occupancy gt生产的pipeline, 仅使用原始激光雷达点云和图像,利用大模型,构建3d occ的语义文本数据集。我们使用这套gt训练出的模型,在OCC3D数据集上达到了远超其他方法的新SOTA。本工作即将投稿CVPR。
主要项目
-
2022.06-2022.10 中国研究生电子设计竞赛 华东赛区一等奖&全国二等奖
作品名:基于3D语义地图的地库自主泊车系统
作品简介:在地下车库场景下面临找位难、停车难、取车难问题,自主泊车功能需求量大、应用前景广阔。 本工作通过构建地下车库的轻量化 3D 语义地图,在保证可靠定位结果的同时大大减小了地图的储存量。 在用户端只需要消费级的相机和 IMU 传感器,即可实现车辆定位和泊车路径规划的功能。
关键技术:语义分割,3D 目标检测,路径规划
-
2021.10-2022.04 华为项目-地下车库环境语义SLAM
项目简介:在项志宇教授指导下,学习与研究地下车库环境下的语义实时定位与建图方法。 主要思想为AVP-SLAM+Scan Context回环检测,取得了较好的建图和定位精度。 成功完成数据采集、数据集制作、代码撰写等系列工作,获“浙江大学优秀毕业设计”荣誉。
关键技术:语义分割,语义SLAM
-
2022.09-2023.03 省级重点研发项目-多模态车道线检测算法研究
项目简介: 参与省级重点研发项目,主要负责其中“Image+LIDAR”多模态车道检测任务。 完成数据采集、数据集制作、多模态网络设计与训练等任务。利用LIDAR反射强度特性,生成补全后的反射强度图(RI)。 网络主要使用laneatt+RI方式,明显提升车道线检测F1值。
关键技术:车道线检测,多模态融合
-
2023.11 至今 科研-多模态3D车道线检测
研究简介:准确的 3D 车道估计对于自动驾驶安全至关重要。然而,流行的单目 3D 车道线检测技术存在深度损失和光照变化的问题,阻碍了准确的 3D 车道检测。 相反,LiDAR点能够提供几何线索并实现精确定位。因此如何利用两种模态的信息特性,更好地融合多模态信息是目前主要的研究方向。
关键技术:车道线检测,多模态融合