Automatic Road Markings Extraction Classification And Vectorization Mobile From Laser Scanning Data

0. 摘要

        为了满足无人驾驶车辆高精导航地图制作和道路重建、扩建工程等应用场景的需求，本文提出了一种高效的从移动激光扫描(MLS)点云中进行道路标线的自动化提取、分类和矢量化实现的方法。首先，将移动激光扫描点云划分为地面点和非地面点。其次，在图像处理方法下，生成多个地理参考图像，并进一步用于道路标线像素的检测。第三，从图像中检索（匹配）道路标线的点云，并进一步分割为连接的对象。采用OSTU最大类间方差—阈值分割法和统计离群点去除法对道路标线目标进行细化。接下来，根据边界框信息将每个道路标线对象分为几类，如边界线、矩形道路标线等。其它不规则的道路标线则通过模型匹配方法进行分类。最后，在重新连接断裂边界线后，将所有分类的道路标线矢量化为封闭或非封闭多段线。在城市和高速公路场景的各种移动激光扫描点云上进行了综合实验，实验结果表明，该方法的道路标线提取准确率和召回率均超过95%，公路场景的准确率和召回率高达93%。其中城市场景的比例分别为92%和85%。

1. 引言 

       近年以来，光探测与测距（激光雷达LiDAR）和移动建图技术(MMT)的发展，使得高效实现精确的三维感知成为可能。各种新的应用，如高精导航地图及高速公路重建和扩展工程，都期待更为详实的包含语义信息的三维数据可以参与进来。高精度、道路信息丰富的高精地图可以帮助无人车辆实现高精定位，感知车辆前方驾驶环境，实现准确的决策和控制。道路路面标线是最重要的详细道路要素之一，是交通控制和车辆导航的重要参考。基于此，迫切需要提出一些方法能够对点云数据自动检测、分类和建模，以达到高精度、鲁棒性佳和高效率的效果。 

1.1 相关工作

      基于移动激光扫描(MLS)数据对道路标线进行处理的相关研究可大致分为检测（提取）、分类和建模（矢量化）三类。最近，机器学习或深度学习也被应用于这些主题上。对于每个主题，相关的有代表性的工作汇总如下。

提取 Extraction

       最近，已有多种方法被提出应用于移动激光扫描点云中提取道路标线。大多数研究首先基于轮廓图像或路边缘特征提取路面。然后针对三维点云或二维地理参考特征图像，基于激光反射强度的阈值分割算法用于提取由高反射材料制成的道路标线。与三维算法相比，这些二维算法通常效率更高，但不是太精细。

      （Yang等人，2012）提出了一种将反射强度与距离成反比的反射强度校正方案。然后将点云分割成块，将块的地理参考图像二值化，得到道路标线像素。(Guan等人，2014)提出了一种多阈值反射强度分割方法来提取标线，这对具有复杂强度阶段的场景更具有鲁棒性。该方法中，路面被分割成小条纹，阈值分割在每条条纹内完成。（Yu等人，2017）遵循了（Guan等人，2014）提出的阈值分割方法，但通过进行空间密度滤波来提高其效果。（Kumar等人，2014）利用二元形态学运算和先验知识来完成和完善阈值分割法检测到的道路标线。（Soilan等人，2017）使用高斯混合模型(GMM)首先粗略分离道路标线点和其他路面点。然后采用基于Otsu最大类间距的自适应阈值分割法，鲁棒地提取强度图像中的路标像素。（Wen等人，2019）采用改进的U-net网络，从正则化的强度图中准确提取道路标线。其他一些研究则是直接基于扫描线或点。（Yan等人，2016）提出了一种基于扫描线的强度分析来提取道路标线，而（Ma等人，2018）则采用了伪道路轮廓。（Yang等人，2017）基于点云邻域的强度及强度梯度设计了局部二元描述符，然后利用随机森林对路面点进行分类。

      目前道路标线检测的挑战在于效率与准确性的同步提升。此外，还应考虑如何在不提取路面的情况下直接提取道路标线。

分类  Classification

     （Yu等人，2017）利用轨迹和道路布局对大型标线进行分类，并利用深度波尔兹曼机对小尺寸不规则标线进行分类。（Soilan等人，2017）将基于道路标线图像的几何特征或者方向梯度直方图作为输入，采用双层前馈神经网络来实现分类。对于箭头标线，通过目标与模型箭头图像的相关计算进行分类。（Cheng等人，2017）通过使用一种手动定义的决策树基于标线的几何特征来解决分类问题。（Wen等人，2019）利用卷积神经网络(CNN)实现了分类。更详细、准确和有效的用于保留标线位置信息和方向信息的道路标线语义分割方法将是当今研究的主要焦点。

补充与建模 Complement and Modeling

        （Yang等人，2012）使用霍夫变换来拟合边界线和虚中心线。根据（Soilan等人，2017年）的工作，他们可以有效地创建和更新针对道路清单的GIS层。然而，该清单是基于图像的，因此其精度有限。（Wen等人，2019）利用生成对抗性网络(GAN)和上下文信息来完善道路标线。然而到目前为止，基本上还没有关于分类道路标线情况下进行准确和有效的建模与矢量化的研究。

1.2 本文贡献

        为了解决上述问题，本文提出了一种新的道路标线自动提取、分类和矢量化的方法。通过图像和点云阈值分割来实现提取和细化。利用几何特征和点云模型匹配方案实现分类。矢量化是基于上一步的分类和定位结果来进行。

本文提出方法的主要贡献如下：

• 提出的方法根据其强度、高程和点密度从点云生成几个地理参考图像。采用中值滤波器、Sobel算子和最大熵阈值分割法等图像处理方法，以保证在不事先提取路面的情况下可以检测到道路标线像素。
• 提出的方法建立了一种道路标线分类的层次化方案。首先根据外形规则的道路标线的边界框信息进行分类。然后采用一种新型配准方法辅助下的模型匹配策略对不规则的道路标线进行分类，因此对一些不完整的标线甚至也能被正确分类。

                

2. 方法 Method

2.1 地面过滤 Ground Filter

       输入点云数据后，采用（Yang等人，2016）提出的地面滤除算法将点云分割为地面点和非地面点，如图2(b)所示。这一步对于自动提取道路标线非常必要，点云数据中来自汽车、树木和交通标志上的非地面点会干扰地面元素的检测。

2.2 地理参考图像处理 Geo-referenced Image Processing

       在这一步，移动激光扫描点云沿着激光扫描仪的运动轨迹被划分成若干块。非地面点和地面点都被投影到水平面上，然后根据平均点间距计算出的分辨率进行光栅化。对于每个点云块，生成三个灰度地理参考图像（高程图、强度图以及点密度图像）。对于每个网格，这三幅图像的灰度值分别计算为非地面点的平均Z值、地面点的平均反射强度值和地面点的数目。中值滤波用于去噪，利用Sobel算子从高程图得到斜率（高程的梯度）图像，从反射强度图像得到强度梯度图像。然后，应用最大熵阈值分割（Pun，1980）生成斜率二值图像和点密度二值图像。斜率和点密度高于阈值的像素被分配值为1，否则为0。接下来，在强度梯度图像中仅保留那些像素值为0以及对应点密度二值图像中为1的像素。通过这个操作，粗略提取出道路像素，而具有更大斜率和更小点密度视为道路之外的像素会被排除。然后通过最大熵阈值分割对道路强度梯度图像进行二值化，并将值为1的像素大致视为道路标线边界像素。地理参考图像处理过程如图3所示。

       虽然道路标线的反射强度随范围大小、入射角和道路材质的变化很大，但是单独一块点云的强度梯度与道路标线边界大致相同，因此一个阈值足以检测标线边界。最大熵阈值分割方法无监督地选择了实现图像直方图后验已知熵的先验最大化的阈值。结果发现，在Otsu大津法和GMM高斯混合模型等常用的阈值分割算法中，最大熵阈值分割对该任务的效果最好。

        之后，通过区域增长填充封闭的道路标线边界，进而检测到候选道路标线像素如图2(c)所示。

2.3道路标线点云分割和提取

      在此步骤中，从所有点云块的地理参考图像的候选道路标线像素中检索候选道路标线点云，如图2(d)所示。采用条件欧式聚类法通过连接成分分析(CCA)将融合的点云进一步分割为各个孤立对象。那些点数少于从平均点间距计算出的阈值的连接成分会被滤除掉。

     针对每个孤立的道路标线点云，首先根据点强度应用Otsu大津阈值法(Otsu，2007)，并保持点具有较高的强度值，以提炼出道路标线并消除地理参考图像的锯齿效应。该阈值计算如等式1所示，其中假设为阈值， 和  分别为道路标线和路面点的概率，而和分别为其对应的平均值。

                                

     为了尽量减少噪声点的影响，采用统计离群点滤波器(SOR)（Radu，Steve，2011）去除几何离群点。

2.4 道路标线点云分类 

       在这个步骤中，根据每个道路标线对象的边界框信息，将每个道路标线对象分为多个类别，如边界线、矩形道路标线和菱形行人警告标线。计算了边长、对角线、对边长度比值等几种边框几何特征后，这些特征可作为粗略分类的判断准则。

       其他不规则的道路标线则通过模型匹配方案进行了进一步的分类。首先，利用阿尔法形状(alpha-shape)算法提取了每个未分类道路标线的边界点。对于每种典型的数据集，如高速公路、城市高速公路和城市辅助道路，一些典型的清晰和完整的道路标线（如图4所示)轮廓点云被保存为要匹配的模型。接下来，用预定义的点间隔对边界点进行子采样。然后，根据相邻点的空间排列，为每个点生成二值形状上下文描述子(BSC，Binary Shape Context)（Dong等人，2017）。之后，我们应用迭代全局相似点算法Iterative Global Similarity（Pan等人，2018）分别对目标和模型化的道路标线轮廓点云进行由粗到细的配准。利用该算法，在迭代对齐过程中都涉及到了特征距离和几何距离。对每个模型点云进行配准，估计目标的重叠比和模型。如果最高重叠率小于60%，则将从候选道路标线列表中剔除掉目标，或者重叠率最高的配准模型将被视为目标的类别。有一个例子如图5所示。其中最左边的道路标线在配准后的重叠比最高，从而产生了正确的分类和准确的定位。 

                        

                                

2.5 道路标线序列化与矢量化 Road markings serialization and vectorization

       在此过程中，中断的边界线在预定义的端点之间距离和两条中断边界线的向量之间的角度下序列化并重新连接在一起。

       之后，所有分类道路标线量化为封闭或非封闭多段线，如图2(f)所示。对于长的边界线，用从局部曲率计算的距离进行采样。当曲率更大时，会采样更多的点。采样节点作为多段线进行向量化连接。对于按模型匹配分类的不规则道路标线，通过对齐的结果确定封闭多段线模型的位置和方向。为了节省模型匹配的时间，类型的数量应该尽可能少，以便我们只在模型存储库中存储具有一个方向（向右）的模型。然后，可以根据模型的最终变换矩阵来判断道路标线的真实方向。根据原点位置和方向，根据道路等级和政府规定确定的道路标线模型规范生成封闭多段线模型。还生成三个主层（边界线层、矩形标线层和箭头标线层），每个分类道路标线由相应的层呈现。

3. 实验 Experiment

3.1 实验设置 Experimental Setup

     实验平台：这些实验是用16GB内存和Intel Core i7-7700HQ@2.80GHz CPU实现的。在点云库(PCL)和OpenCV的协助下，实现了本文提出的道路标线提取、分类和矢量化方法。

     数据集说明：在不同的城市和高速公路场景（1号高速功率、2号高速公路、1号城市道路和2号城市道路）的移动激光扫描MLS点云数据集上验证了本文算法的性能。这些数据集的特征和挑战如下。在1号高速公路的数据集中有一个复杂的收费区域。2号高速公路数据集涉及两个高速公路出口。1号城市道路数据集的路面被街道两边的树严重遮挡。2号城市道路数据集有相当多的道路标线种类，并且是四个数据集中最长的，在长度上超过了6公里。

3.2 结果、评估和分析

       定性评估：如图6和图7所示的高速公路和城市道路，该方法都成功地检测出了道路标线点云，并将其分为几个典型类别。然而，存在一些典型的误检测和误分类。如图6 #1所示。由于两个虚线矩形之间的连通性，它们被检测为其相邻边界线的一部分。图6 #3中展示了高速公路的工具区域。由于这里的道路相对较宽，点密度不足以检测到正确的边界线。至于城市道路场景，部分边界线被街道树木以及停车和移动车辆遮挡。此外，该方法还检测了一些路面标线冗余对象并进行了分类。

        

        对高速公路和城市道路场景的道路打标点云提取的质量、分类有效性和矢量化精度分别评价如下。

       道路标线提取评估：针对每个数据集，在随机选择的一块点云上评估提取的质量。对于每个实验的点云块，使用CloudCompare软件手动选择基准道路标线点（True Positive和False Negative）并进行分割。将该方法检测到的道路标线点（True Positive和False Positive）与基准道路标线点进行比较，得到重叠的点（True Positive 点）。然后对道路标线提取的精度评估机制是基于召回率Recall、准确率Precision和F1-Score分数的范式，如用公式（2），公式（3），公式（4）所示。实验结果详见表1。注意，提出方法的道路标线的F1-Score得分大于高速公路的0.96，城市道路的0.92。

                        

 

       道路标线分类评估：为了评价分类有效性，计算了2号高速公路数据集和1号城市道路数据集的混淆矩阵，如表2和表3所示，其中存在所有的道路标线。从整个数据集的所有检测到的道路标线中手动统计所有类别道路标线的基准数目。应该提到的是，这个实验是在对象上下文修正之后以及和中断边界线序列化和重新连接之前完成的。矩形道路标线由中心虚线和斑马线组成。“箭头”1到4代表了图4中最左边的四种道路标线，“菱形”是指行人警告道路标线。

         

注意，2号高速公路数据集的总体分类准确率和召回率高达0.92，城市1号公路数据集为0.85。大多数的误分类发生在矩形的道路标线和边界线上。该方法在区分短的中断的边界线和虚线时具有挑战性。尽管采用了上下文修正器，但仍有一些模糊的情况存在。与高速公路场景相比，城市道路标线的丰富性、不完整性和不规则性使城市道路更具有挑战性，因此使该方法在高速公路数据集上具有较好的性能。

道路标线矢量化评估：如图8中演示了1号高速公路数据集上矢量化模型的部分。对于每个数据集，手动选择50个道路标线的角点，并记录它们全局坐标，并在矢量化模型中与相应的坐标进行比较。如表4所示，利用从上述50对中计算出的均方根误差(RMSE)来评估矢量化精度。

                        

        时间性能分析：对算法每一个步骤的运行时进行了时间效率评估。如表5所示，T1、T2、T3、T4表示数据输入和地面滤除过程、图像处理过程、点云处理过程和分类过程的消耗时间。T是总耗时时间。从结果可以发现，在城市道路数据集上更为耗时。这是因为城市道路模型库规模较大，导致模型匹配的使用时间较长。由于效率和精度通常是一种权衡，为了加快整个过程，应该设置更大的网格大小和估计的点间距。

         稠密空中激光扫描ALS点云数据上的应用：在相对高密度（每平方50个点）的空中激光扫描(ALS)点云上进行了进一步的实验，结果显示了与移动激光扫描MLS点云相似的性能。值得注意的是，仅使用了强度和高程地理参考图像来检测道路标线像素。

4. 总结 Conclusion

        道路信息对于各种不断提出的应用越来越重要，如自动驾驶车辆的高精度地图、道路重建工程和道路资产监测。然而，对比如道路标线这样的道路信息的准确、高效、鲁棒的检测和解释是具有挑战性。

        本文重点研究了移动激光扫描点云中道路标线的提取、分类和矢量化的整个过程。在没有路面先验知识的情况下，从地理参考图像中有效地检测到道路标线像素。然后在三维框架下对道路标线点云进行分割和细化。利用边界几何特征和基于点云配准的模型匹配策略，实现了道路标线的分类。最后，对分类的道路标线进行了序列化和矢量化。

        在未来的工作中，我们将致力于在流程中应用深度学习。将通过来自地理参考图像的强度、标高和点密度的U-net网络或全卷积网络检测到候选道路标线像素。此外，我们还可以利用神经网络来完成由遮挡和错误的提取和过滤以前的操作所造成的不完整的道路标线的恢复。

5.参考文献

1.Cheng, M., Zhang, H., Wang, C., Li, J., 2017. Extraction and Classification of Road Markings  Using Mobile Laser Scanning Point Clouds. IEEE Journal of Selected Topics in Applied Earth
Observations and Remote Sensing.
2.Dong, Z., Yang, B., Liu, Y., Liang, F., Li, B., 2017. A novel binary shape context for 3D local surface description. ISPRS Journal of Photogrammetry and Remote Sensing.
3.Guan, H., Li, J., Yu, Y., Wang, C., Chapman, M., 2014.Using mobile laser scanning data for automated extraction of road markings. ISPRS Journal of Photogrammetry and Remote
Sensing.
4.Kumar, P., McElhinney, P., Lewis, P., McCarthy, T.,2014. Automated road markings extraction from mobile laser scanning data. International Journal of Applied Earth Observation and Geoinformation.
5.Ma, L., Li, Y., Li, J., Wang, C., Wang, R., 2018. Mobile Laser Scanned Point-Clouds for Road Object Detection and Extraction: A Review. Remote Sensing, 10.

6.Otsu, Nobuyuki, 2007. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems Man Cybernetics

7.Pan, Y., Yang, B., Liang, F., Dong, Z., 2018. Iterative global similarity points : A robust coarse-to-fine integration solution to pairwise 3d point cloud registration. 2018 International
Conference on 3D Vision(3DV).
8.Pun, T., 1980. A new method for grey-level picture thresholdingusing the entropy of the histogram. Signal Processing.
9.Radu, R., Steve, C., 2011. 3d is here: Point cloud library (pcl).IEEE International Conference on Robotics and Automation2011 (ICRA 2011).

10.Soilan, M., Riveiro, B., Martnez, J., Arias, P., 2017. Segmentation and classification of road markings using MLS data. ISPRS Journal of Photogrammetry and Remote Sensing.
11.Wen, C., Sun, X., Li, J., Wang, C., Guo, Y., Habib, A.,2019. A deep learning framework for road marking extraction,classification and completion from mobile laser scanning pointclouds. ISPRS Journal of Photogrammetry and Remote Sensing.
12.Yan, L., Liu, H., Tan, J., Li, Z., Xie, H., Chen, C., 2016. Scan Line Based Road Marking Extraction from Mobile LiDAR Point Clouds. Sensors.

13.Yang, B., Fang, L., Li, J., 2013. Semi-automated extraction and delineation of 3D roads of street scene from mobile laser scanning point clouds. ISPRS Journal of Photogrammetry and Remote Sensing.

14.Yang, B., Fang, L., Li, Q., 2012. Automated Extraction of Road Markings from Mobile Lidar Point Clouds. Photogrammetric Engineering Remote Sensing.

15.Yang, B., Huang, R., Dong, Z., Zang, Y., 2016. Two-step adaptive extraction method for ground points and breaklines from lidar point clouds. ISPRS Journal of Photogrammetry and
Remote Sensing.

16.Yang, B., Liu, Y., Dong, Z., Liang, F., Li, B., 2017. 3D local feature BKD to extract road information from mobile laser scanning point clouds. ISPRS Journal of Photogrammetry and
Remote Sensing.

17.Yu, Y., Li, J., Guan, H., Jia, F., Wang, C., 2017. Learning Hierarchical Features for Automated Extraction of Road Markings From 3-D Mobile LiDAR Point Clouds. IEEE Journal of Selected Topics in Applied Earth Observations Remote Sensing.