相机和激光雷达的联合标定方法

目录：1、ros的安装1.1 配置Ubuntu软件仓库1.2 设置sources.list1.3 设置密钥1.4 安装1.5 设置环境1.6 初始化rosdep1.7 安装依赖2、autoware标定工具的安装2.1 安装nlopt2.2 安装标定工具箱2.3 编译报错：//home/hyellice/anaconda3/lib/libfontconfig.so.1：对‘FT_Done_MM_Va

weixin_44767160

6487人浏览 · 2022-02-14 16:07:51

weixin_44767160 · 2022-02-14 16:07:51 发布

1、ros的安装

1.1 配置Ubuntu软件仓库

1.2 设置sources.list

1.3 设置密钥

1.4 安装

1.5 设置环境

1.6 初始化rosdep

1.7 安装依赖

2、autoware标定工具的安装

2.1 安装nlopt

2.2 安装标定工具箱

2.3 编译报错：//home/hyellice/anaconda3/lib/libfontconfig.so.1：对‘FT_Done_MM_Var’未定义的引用

2.4 运行rosrun calibration_camera_lidar calibration_toolkit报错

2.5 打开标定工具

3、标定工具的使用

3.1 录制ros数据包

3.2 使用安装的工具进行相机与雷达的联合标定

3.3 Calibration Tool Kit操作键

使用的系统为Ubuntu 18.04, ROS版本为melodic

1、ros的安装

参考ros wiki安装教程

1.1 配置Ubuntu软件仓库

配置你的Ubuntu软件仓库（repositories）以允许使用“restricted”“universe”和“multiverse”存储库。你可以根据Ubuntu软件仓库指南来完成这项工作。

打开软件和更新，设置成如下图所示：

1.2 设置sources.list

sudo sh -c '. /etc/lsb-release && echo "deb http://mirrors.tuna.tsinghua.edu.cn/ros/ubuntu/ `lsb_release -cs` main" > /etc/apt/sources.list.d/ros-latest.list'

1.3 设置密钥

sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654

1.4 安装

sudo apt install ros-melodic-desktop-full

1.5 设置环境

echo "source /opt/ros/melodic/setup.bash" >> ~/.bashrc
source ~/.bashrc

1.6 初始化rosdep

# install rosdep
sudo apt install python-rosdep

# initialize rosdep
sudo rosdep init
rosdep update

若运行报错：ERROR: cannot download default sources list from: https://raw.githubusercontent.com/ros/rosdistro/master/rosdep/sources.list.d/20-default.list Website may be down.

解决方法一：（使用代理）

本方法需要有代理

sudo apt install proxychains4

# 查看配置文件所在的路径
proxychains4 printenv | grep PROXYCHAINS_CONF_FILE

# 根据上一步查找到的路径，打开配置文件，将最后一行修改为（192.168.233.33换成你自己的代理ip，8123换成你自己的端口号）
http 192.168.233.33 8123

解决方法二：

出现这个问题的可能原因是raw.githubusercontent.com被墙了

修改hosts文件，添加这个网站的ip地址

#打开hosts文件
sudo gedit /etc/hosts
#在文件末尾添加
151.101.84.133  raw.githubusercontent.com
#或者 151.101.76.133  raw.githubusercontent.com
#保存后退出再尝试

其它也许可行的方法可参考这里

rosdep update失败，参考一定能解决ROS系统 rosdep update超时问题de简单方法_20-default_不加辣先生的博客-CSDN博客

1.7 安装依赖

sudo apt install python-rosdep python-rosinstall python-rosinstall-generator python-wstool build-essential

2、autoware标定工具的安装

ubuntu 18.04 autoware 1.14 安装calibration_camera_lidar

参考教程：http://www.cxyzjd.com/article/qq_43509129/109327157

标定工具ros包：https://github.com/XidianLemon/calibration_camera_lidar

默认已经安装好melodic版ROS，若没有则可参考ros wiki安装

2.1 安装nlopt

参考：https://github.com/stevengj/nlopt

安装方法：

git clone https://github.com/stevengj/nlopt.git
cd nlopt
mkdir build
cd build
cmake ..
make
sudo make install

2.2 安装标定工具箱

1）下载源码

cd path/to/catkin_ws/src
git clone https://github.com/XidianLemon/calibration_camera_lidar.git
or git clone https://github.com/huangbinz/calibration_camera_lidar.git

2）由于该工具默认不支持melodic版ros，所以需要对calibration_camera_lidar/ls_calibration/calibration_camera_lidar功能包下的CMakeLists.txt进行修改，把所有的

if ("${ROS_VERSION}" MATCHES "(indigo|jade|kinetic)")

改成

if ("${ROS_VERSION}" MATCHES "(indigo|jade|kinetic|melodic)")

3）由于我电脑上有多个opencv版本，默认会使用4.5.1版本，使用该版本编译一直会报opencv的错，所以将opencv的版本指定为3.2.0版本就好了

打开calibration_camera_lidar/ls_calibration/calibration_camera_lidar功能包下的CMakeLists.txt文件，将

find_package(OpenCV REQUIRED)

改成

find_package(OpenCV 3.2.0 REQUIRED)

可使用以下代码查看catkin_make默认使用的opencv的版本：

#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;

int main( int argc, char** argv )
{
  cout << "OpenCV version : " << CV_VERSION << endl;
  cout << "Major version : " << CV_MAJOR_VERSION << endl;
  cout << "Minor version : " << CV_MINOR_VERSION << endl;
  cout << "Subminor version : " << CV_SUBMINOR_VERSION << endl;

  if ( CV_MAJOR_VERSION < 3)
  {
      // Old OpenCV 2 code goes here. 
  } else
  {
      // New OpenCV 3 code goes here. 
  }
}

# 新建rospkg
catkin_create_pkg check_opencv roscpp std_msgs
# 将上述代码复制到check_opencv/src/check_opencv.cpp中
# 在CMakeLists.txt中添加
find_package(OpenCV REQUIRED) 
add_executable(check_opencv src/main.cpp)  
target_link_libraries(check_opencv ${catkin_LIBRARIES} ${OpenCV_LIBRARIES})
# 运行
rosrun check_opencv check_opencv

4）之后就可以像编译ros包一样编译该工具包了：

cd path/to/catkin_ws
catkin_make

2.3 编译报错：//home/hyellice/anaconda3/lib/libfontconfig.so.1：对‘FT_Done_MM_Var’未定义的引用

参考：Err：undefined symbol：FT_Done_MM_Var 及 .so 文件替换方法_cutest piggy 的博客-CSDN博客

cd path/to/anaconda3/lib
rm libfontconfig.so.1
sudo cp /usr/lib/x86_64-linux-gnu/libfontconfig.so.1 libfontconfig.so.1

若还有类似的报错，则处理方法同上

2.4 运行rosrun calibration_camera_lidar calibration_toolkit报错

/home/hyellice/catkin_ws/devel/lib/calibration_camera_lidar/calibration_toolkit: error while loading shared libraries: libnlopt.so.0: cannot open shared object file: No such file or directory

这是链接的问题，解决办法如下：

cd /etc/ld.so.conf.d
sudo touch libnlopt.conf
sudo gedit libnlopt.conf

在libnlopt.conf 文件中添加内容：/usr/local/lib，保存退出，然后时配置生效：

suod ldconfig

2.5 打开标定工具

终端运行

roscore

另起一终端，运行

source ~/catin_ws/devel/setup.bash
rosrun calibration_camera_lidar calibration_toolkit

3、标定工具的使用

标定工具的具体使用方法参考：这里和这里

3.1 录制ros数据包

# 启动ros
roscore

# 另起一终端，启动雷达节点（以雷神16线雷达为例）
roslaunch lslidar_c16_decoder lslidar_c16_v2.launch --screen

# 再起一终端，启动相机节点（需根据自己的相机修改相应命令，此处只为示例）
rosrun learning_image_transport my_publisher 0

# 再起一终端，启动rviz，并配置好
rviz

# 再起一终端，录制数据包（后面的话题名根据自己的进行修改）
rosbag record -O path/to/save/demo.bag /lslidar_point_cloud /camera/image

3.2 使用安装的工具进行相机与雷达的联合标定

1）启动ros

roscore

2）另起一终端，播放录制好的bag数据

rosbag play path/to/demo.bag /lslidar_poing_cloud:=/points_raw

/lslidar_poing_cloud为你的雷达的话题名

加载成功后，立马空格暂停

3）另起一终端，启动标定工具

rosrun calibration_camera_lidar calibration_toolkit

启动之后，在第一个出现的框 Select Input Image Topic 中选定你的相机话题名，一般默认是选中的

在第二个出现的框 Calibration Type 中选择 Camera -> Velodyne

4）打开标定工具后，设置参数

在Pattern Size(m)的两个框中分别输入棋盘的边长，单位米，在Pattern Number中分别输入棋盘个的角点数

设置好后，关闭Calibration Tool Kit，重启以加载配置

5）页面介绍

调整页面大小。页面有4个显示框，上面两个为数据播放时的图像和雷达显示框，下面两个为Grab（具体见下一介绍）后捕获到的图像和雷达图显示。当启动了该界面后，首先应该左击选中雷达播放框，按b调整画面的背景色（默认是黑色的，将其调成浅色的，会更好），其次按一下下箭头，使雷达图能正常的显示出来。效果如下所示：

6）加载数据进行标定

回到播放ros包数据的终端，安空格开始播放数据，当视频和点云都出现为一个较好的位置时，空格暂停，然后点击右上角的Grab,下方会出现捕获到的图像和点云，注意图像应该正确的识别了棋盘格（即在图像上有画线），在右下角的点云图中，找到棋盘格并左击，若点错了，可右击取消，至此，一帧就已经标定好了。继续播放数据，重复上述步骤，直到数据播放结束（可多选择一些帧标定使标定结果更准确）

7）数据标定完成后，点击右上角的Calibration按钮，进行联合标定计算相机的内参和外参

8）验证标定的结果

点击右上角的Project按钮，将联合标定的点云投影到相机图像中，在左下角的图像区查看结果，若激光点均落在标定版上，则标定结果较好

9）保存标定结果

左上角的Save按钮，保存标定结果。

在弹出的Save LIDAR Calibration Data?和Save Camera Calibration Data?框都选No，不保存标定的图像和点云