简单快速的图像相似性比较方法

屏幕截图或图标是否可以转换(缩放、旋转、倾斜…)在我的头脑中有很多方法可以帮助你:

• 简单欧几里得距离 如@carlosdc所述(不适用于转换后的图像,您需要一个阈值)。
• (Normalized) Cross Correlation -可用于图像区域比较的简单指标。它比简单的欧几里得距离更坚固,但不适用于转换后的图像,您将再次需要一个阈值。
• 直方图比较 -如果使用标准化的柱状图,此方法工作良好,不受仿射变换的影响。问题是确定正确的阈值。它对颜色变化(亮度、对比度等)也非常敏感。你可以把它和前两个结合起来。
• 突出点/区域探测器 -例如 MSER (Maximally Stable Extremal Regions) , SURF 或 SIFT . 这些是非常强大的算法,对于您的简单任务来说,它们可能太复杂了。好的是,你不需要只有一个图标的精确区域,这些探测器的功能足以找到正确的匹配。本文对这些方法进行了一个很好的评估: Local invariant feature detectors: a survey .

其中大部分已经在opencv中实现-例如,请参见cvmatchtemplate方法(使用柱状图匹配): http://dasl.mem.drexel.edu/~noahKuntz/openCVTut6.html . 还提供了突出点/区域探测器-请参见 OpenCV Feature Detection .

我最近也面临同样的问题,为了解决这个问题(简单快速的算法比较两个图像),我贡献了 img_hash module 要打开“控制”,您可以从 this link .

img_哈希模块提供六种图像哈希算法,非常容易使用。

代码示例

起源Lena

模糊莉娜

调整Lena的大小

移动Lena

#include <opencv2/core.hpp>
#include <opencv2/core/ocl.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/img_hash.hpp>
#include <opencv2/imgproc.hpp>

#include <iostream>

void compute(cv::Ptr<cv::img_hash::ImgHashBase> algo)
{
    auto input = cv::imread("lena.png");
    cv::Mat similar_img;

    //detect similiar image after blur attack
    cv::GaussianBlur(input, similar_img, {7,7}, 2, 2);
    cv::imwrite("lena_blur.png", similar_img);
    cv::Mat hash_input, hash_similar;
    algo->compute(input, hash_input);
    algo->compute(similar_img, hash_similar);
    std::cout<<"gaussian blur attack : "<<
               algo->compare(hash_input, hash_similar)<<std::endl;

    //detect similar image after shift attack
    similar_img.setTo(0);
    input(cv::Rect(0,10, input.cols,input.rows-10)).
            copyTo(similar_img(cv::Rect(0,0,input.cols,input.rows-10)));
    cv::imwrite("lena_shift.png", similar_img);
    algo->compute(similar_img, hash_similar);
    std::cout<<"shift attack : "<<
               algo->compare(hash_input, hash_similar)<<std::endl;

    //detect similar image after resize
    cv::resize(input, similar_img, {120, 40});
    cv::imwrite("lena_resize.png", similar_img);
    algo->compute(similar_img, hash_similar);
    std::cout<<"resize attack : "<<
               algo->compare(hash_input, hash_similar)<<std::endl;
}

int main()
{
    using namespace cv::img_hash;

    //disable opencl acceleration may(or may not) boost up speed of img_hash
    cv::ocl::setUseOpenCL(false);

    //if the value after compare <= 8, that means the images
    //very similar to each other
    compute(ColorMomentHash::create());

    //there are other algorithms you can try out
    //every algorithms have their pros and cons
    compute(AverageHash::create());
    compute(PHash::create());
    compute(MarrHildrethHash::create());
    compute(RadialVarianceHash::create());
    //BlockMeanHash support mode 0 and mode 1, they associate to
    //mode 1 and mode 2 of PHash library
    compute(BlockMeanHash::create(0));
    compute(BlockMeanHash::create(1));
}

在这种情况下,colormomenthash给我们最好的结果

• 高斯模糊攻击:0.567521
• 轮班攻击:0.229728
• 调整攻击大小:0.229358

每种算法的优缺点

img_哈希的性能也很好

与Phash库的速度比较(UKbench的100张图像)

如果你想知道这些算法的推荐阈值,请查看本文( http://qtandopencv.blogspot.my/2016/06/introduction-to-image-hash-module-of.html ) 如果您对我如何测量img_哈希模块的性能(包括速度和不同的攻击)感兴趣,请检查此链接( http://qtandopencv.blogspot.my/2016/06/speed-up-image-hashing-of-opencvimghash.html )

屏幕截图是否只包含图标?如果是这样,两个图像的l2距离就足够了。如果二级距离不起作用,下一步就是尝试一些简单而成熟的方法,比如: Lucas-Kanade . 我相信在OpenCV中可以找到。

如果您想获得关于两张图片相似性的索引,我建议您从度量中获得ssim索引。它更符合人眼。下面是一篇关于它的文章: Structural Similarity Index

它也在OpenCV中实现,并且可以通过GPU加速: OpenCV SSIM with GPU

如果您能确保模板(图标)与测试区域精确对齐,那么任何旧的像素差总和都可以工作。

如果对齐只差一点点,那么可以用 cv::GaussianBlur 在找到像素差之和之前。

如果线路质量可能较差,我建议 Histogram of Oriented Gradients 或者OpenCV的一种方便的关键点检测/描述符算法(例如 SIFT 或 SURF )

如果用于匹配相同的图像-L2距离代码

// Compare two images by getting the L2 error (square-root of sum of squared error).
double getSimilarity( const Mat A, const Mat B ) {
if ( A.rows > 0 && A.rows == B.rows && A.cols > 0 && A.cols == B.cols ) {
    // Calculate the L2 relative error between images.
    double errorL2 = norm( A, B, CV_L2 );
    // Convert to a reasonable scale, since L2 error is summed across all pixels of the image.
    double similarity = errorL2 / (double)( A.rows * A.cols );
    return similarity;
}
else {
    //Images have a different size
    return 100000000.0;  // Return a bad value
}

快。但对灯光/视点等的变化不稳定。 Source

如果您想比较图像的相似性,我建议您使用opencv。在OpenCV中,很少有特征匹配和模板匹配。对于特征匹配,有冲浪、筛选、快速等检测器。您可以使用它来检测、描述和匹配图像。之后,您可以使用特定的索引来查找两个图像之间的匹配数量。