原标题：OpenCV 在 Android 上的应用

一. OpenCV 介绍

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

在移动端上使用 OpenCV 可以完成一系列图像处理的工作。

二. OpenCV 在 Android 上的配置

我在项目中使用的 OpenCV 版本是 4.x。

在 Android Studio 中创建一个 Library，将官网下载的 OpenCV 导入后，就可以直接调用 OpenCV 中 Java 类的方法。

如果想调用 C++ 的类，也可以使用 CMake 创建环境，然后通过 include 文件放入指定路径。

下面是项目中使用的 CMakeLists.txt

cmake_minimum_required ( VERSION 3.6 . 0 )

include_directories (

$ { CMAKE_SOURCE_DIR }/ src / main / cpp / include

)

add_library ( libopencv_java4 SHARED IMPORTED )

set_target_properties (

libopencv_java4

PROPERTIES IMPORTED_LOCATION

$ { CMAKE_SOURCE_DIR }/ src / main / jniLibs / libs / $ { ANDROID_ABI }/ libopencv_java4 . so )

add_library ( libc ++ _shared SHARED IMPORTED )

set_target_properties (

libc ++ _shared

PROPERTIES IMPORTED_LOCATION

$ { CMAKE_SOURCE_DIR }/ src / main / jniLibs / libs / $ { ANDROID_ABI }/ libc ++ _shared . so )

add_library (

detect

SHARED

src / main / cpp / detect - lib . cpp

src / main / cpp / detect - phone . cpp

)

find_library (

log - lib

log

)

target_link_libraries (

detect libopencv_java4 libc ++ _shared jnigraphics

$ { log - lib }

)

其中，detect-lib.cpp 和 detect-phone.cpp 是我创建的 C++ 类。打成 so 文件时，会包含这2个类。

三. 例子两则

extern "C"

JNIEXPORT jstring JNICALL

Java_com_xxx_sdk_utils_DetectUtils_qrDetect ( JNIEnv * env , jclass jc , jstring filePath ) {

const char * file_path_str = env -> GetStringUTFChars ( filePath , 0 );

string path = file_path_str ;

Mat src = imread ( path );

Mat gray , qrcode_roi ;

cvtColor ( src , gray , COLOR_BGR2GRAY );

QRCodeDetector qrcode_detector ;

vector < Point > pts ;

string detect_info ;

bool det_result = qrcode_detector . detect ( gray , pts );

if ( det_result ) {

detect_info = qrcode_detector . decode ( gray , pts , qrcode_roi );

return env -> NewStringUTF ( detect_info . c_str );

} else {

detect_info = "" ;

return env -> NewStringUTF ( detect_info . c_str );

}

}

对应的 Java 代码，方便应用层调用 jni 层的 qrDetect

public class DetectUtils {

static {

System . loadLibrary ( "detect" );

}

/**

* @param filePath

* @return

*/

public static native String qrDetect ( String filePath );

......

}

最后是应用层的调用

val result = DetectUtils . qrDetect ( filePath )

L . d ( )3.2 比对图像的差异

在我们的实际开发中遇到一个应用场景：需要判断我们的手机回收机里面是否存放了物体。(手机回收机是一个触摸屏设备，可以通过 Android 系统来操作内部的硬件设备。)

我们事先拍一张回收机内没有物体的图作为基准图像，等到需要判断是否存在物体时再拍一张图片。两幅图片对比看比例，比列超过阈值则认为回收机内存在着物体。

下面的代码，展示了在应用层拍完照之后，跟基准图片进行比对，并返回结果。

extern "C"

JNIEXPORT jboolean JNICALL

Java_com_xxx_sdk_utils_DetectUtils_checkPhoneInMTA ( JNIEnv * env , jclass jc , jstring baseImgPath , jstring filePath ) {

jboolean tRet = false ;

const char * file_path_str = env -> GetStringUTFChars ( filePath , 0 );

string path = file_path_str ;

Mat src = imread ( path );

const char * base_img_path_str = env -> GetStringUTFChars ( baseImgPath , 0 );

string basePath = base_img_path_str ;

Mat baseImg = imread ( basePath );

int result = checkPhoneInBox ( baseImg , src , 40 , 0.1 );

LOGI ( "checkPhoneInBox result = %d" , result );

if ( result == 0 ) {

tRet = true ;

}

return tRet ;

}

两张图片真正的比对是在 checkPhoneInBox 中完成的。其中，maxFilter 是为了处理彩色的情况，然后使用高斯滤波进行降噪处理，再进行二值化处理，最后判断灰度差异区域占总图像的比列是否超过预先设定的阈值。

int checkPhoneInBox ( cv :: Mat baseImg , cv :: Mat snapImg , int diffThresh , double threshRatio ) {

cv :: Mat baseMaxImg , snapMaxImg , baseGausImg , snapGausImg ;

if ( baseImg . empty || snapImg . empty )

{

return - 1 ;

}

try {

maxFilter ( baseImg , baseMaxImg );

maxFilter ( snapImg , snapMaxImg );

} catch (...) {

return - 1 ;

}

cv :: GaussianBlur ( baseMaxImg , baseGausImg , cv :: Size ( 5 , 5 ), 0 );

cv :: GaussianBlur ( snapMaxImg , snapGausImg , cv :: Size ( 5 , 5 ), 0 );

cv :: Mat diff , diffBin ;

cv :: Mat noMax ;

cv :: absdiff ( baseGausImg , snapGausImg , diff );

cv :: threshold ( diff , diffBin , diffThresh , 255 , cv :: THRESH_BINARY );

float ratio = ( float ) cv :: countNonZero ( diffBin ) / ( long ) diffBin . total ;

LOGI ( "ratio = %f,%d,%ld" , ratio , cv :: countNonZero ( diffBin ),( long ) diffBin . total );

if ( ratio > threshRatio )

{

return 0 ;

}

else

{

return 1 ;

}

}

int maxFilter ( cv :: Mat baseImg , cv :: Mat & maxImg )

{

if ( baseImg . channels < 3 )

{

maxImg = baseImg . clone ;

}

else

{

maxImg . create ( baseImg . size , CV_8UC1 );

for ( int r = 0 ; r < baseImg . rows ; r ++)

{

for ( int c = 0 ; c < baseImg . cols ; c ++)

{

uchar maxTmp = 0 ;

cv :: Vec3b s = baseImg . at < cv :: Vec3b >( r , c );

maxTmp = ( std :: max )( s [ 0 ], s [ 1 ]);

maxTmp = ( std :: max )( maxTmp , s [ 2 ]);

maxImg . at ( r , c ) = maxTmp ;

}

}

}

return 0 ;

}

对应的 Java 代码，方便应用层调用 jni 层的 checkPhoneInMTA

public class DetectUtils {

static {

System . loadLibrary ( "detect" );

}

/**

* 判断MTA中是否有手机

* @param baseImageFilePath 基准的图片

* @param filePath 拍摄的图片

* @return

*/

public static native boolean checkPhoneInMTA ( String baseImageFilePath , String filePath );

......

}

最后是应用层的调用

val result = DetectUtils . checkPhoneInMTA ( Constants . OPENCV_PHOTO_PATH , it . absolutePath )四. 总结

OpenCV 是一款功能强大的图像处理库。但是它本身体积也较大，在移动端使用至少会增加 Android Apk 包 10 M+ 的体积(主要取决于 App 要支持多少个 CPU 架构)。如果很介意的话，可以考虑自行裁剪 OpenCV，然后再进行编译。

我所在的部门隶属于中台部门，主要输出接口和 SDK。在 SDK 中使用 OpenCV 的确会给业务方造成困扰，未来也会考虑如何减少 SDK 的体积，以及把 SDK 做成模块化。返回搜狐，查看更多

责任编辑：