对于ProgrammingComputerVisionwithPython感兴趣的读者，本文将提供您所需要的所有信息，我们将详细讲解学习笔记五，并且为您提供关于3DComputerVision、and

对于Programming Computer Vision with Python 感兴趣的读者，本文将提供您所需要的所有信息，我们将详细讲解学习笔记五，并且为您提供关于3D Computer Vision、android studio问题-E / Vision：加载可选模块com.google.android.gms.vision.ocr时出错、awesome computer vision repo、Azure Computer Vision 之 Smart Crop 智能裁剪图片的宝贵知识。

• Programming Computer Vision with Python （学习笔记五）（learn python programming）
• 3D Computer Vision
• android studio问题-E / Vision：加载可选模块com.google.android.gms.vision.ocr时出错
• awesome computer vision repo
• Azure Computer Vision 之 Smart Crop 智能裁剪图片

Programming Computer Vision with Python （学习笔记五）（learn python programming）

SciPy库

SciPy库，与之前我们使用的NumPy和Matplotlib，都是scipy.org提供的用于科学计算方面的核心库。相对NumPy，SciPy库提供了面向更高层应用的算法和函数(其实也是基于NumPy实现的），并以子模块的形式组织，每个子模块对应不同的应用领域，下面列出我们关心的一部分进行说明：
constants：物理和数学常量
fftpack：快速傅里叶（立）变换
integrate: 积分和方程
interpolate: 插值
linalg: 线性代数
ndimage: N维图像处理
optimize: 优化及根求解

安装

sudo apt-get install python-scipy

图像模糊数学原理

以灰度图像为例，把图像的每个像素的灰度值，变换为它周围邻近的N个像素值的平均值，得出的图像就有了模糊效果，但这种效果不理想，体现不出边缘（不够自然吧），所以提出了一种比较理想的方法，就是使用加权平均值，因为对某个像素而言，离它越近的像素，与它的关联性越高，所以权值应该越大，相反，离它越远的像素，与它的关联性越低，权值应该越小。

那分配权值应该使用什么样的算法呢？最常用的就是高斯分布函数。

高斯分布函数其实应该是高斯分布的概率密度函数，简称高斯分布函数或正态分布函数，它的二维空间的形态像一个钟，如图：

这里我们只关心二维的高斯分布函数，因为等下我们要把它应用在二维图像的像素的权值分配上。下面是二维空间的高斯分布函数公式：

这个公式被称作高斯核。如果我们给定sigma（如0.84089642）的值，以及高斯分布的（范围）大小，就可以得出一个矩阵如：

注意中心元素 (4,4)处有最大值，随着距离中心越远，数值一圈圈地对称减小。这样，矩阵的每个元素相对中心点的权值就已经知道了，如果我们把这个矩阵的中心对应到图像的每个点，就可以知道中心点对应的像素应该如何通过周围的点来计算。

如果矩阵的中心对应到原图像边沿的像素点，那么可能有一部分矩阵的元素落到图像之外，为保证能正常运算，一种简单的处理就是把图像一边的数据复制到缺少的一边去。

对原图像的每个像素点，运用上面的权值矩阵，算出加权平均值，作为新图像的像素值，这个运算可以用原图像与矩阵的卷积来表示，而参与卷积的这个矩阵，叫模板，这种卷积运算，叫模板卷积。模板也称为算子。上面示例的这个矩阵，其实就是高斯平均算子。

高斯模糊

使用高斯平均算子来实现的图像模糊叫高斯模糊(Gaussian blurring，也叫高斯平滑)
被认为是一种最优的图像平滑处理。除了模糊，还可以用来磨皮（美颜）、制作景深、实现梦幻效果等。下面我们使用Python来对一幅图像进行模糊处理。

我们不必自己实现高斯模糊的计算过程，因为前面介绍的scipy的ndimage子模块中就包含了高斯滤波器，它是一个函数：

scipy.ndimage.filters.gaussian_filter(input, sigma, order=0, ...
多维高斯滤波器
input: ndarray
sigma: 高斯核标准偏差，越大越模糊
order: 默认0，使用高斯核进行计算，还可以指定不同值使用高斯一阶、二阶导数，以后再说

以下代码示例以sigma为2,5,10分别对一张图像进行模糊，我们使用的是GRB图像，有3个通道，必须对每个通道都应用滤波器：

from PIL import Image
import numpy as np
from scipy.ndimage import filters
import matplotlib.pyplot as plt

im = np.array(Image.open(''Penguins.jpg''))

index = 141  #画1行四列的图，与 1,4,1 同
plt.subplot(index)
plt.imshow(im)

for sigma in (2, 5, 10):
    im_blur = np.zeros(im.shape, dtype=np.uint8)
    for i in range(3):  #对图像的每一个通道都应用高斯滤波
        im_blur[:,:,i] = filters.gaussian_filter(im[:,:,i], sigma)

    index += 1
    plt.subplot(index)
    plt.imshow(im_blur)

plt.show()

不同的sigma模糊程度对比：

小结

下一个笔记将记录有关图像边缘检测的实现，还会继续运用模板卷积运算，将涉及到图像导数，以及用于边缘检测的常用算子的介绍。

参考资料
维基百科：高斯模糊
高斯模糊浅析
高斯模糊的算法
[计算机视觉特征提取与图像处理（第三版）]

3D Computer Vision

3D Computer Vision
Programming Assignment 2 – Epipolar Geometry
You will upload your codes and a short report (PDF) in a zip file to the NewE3 system. Grading will be done
at demo time (face-to-face or Skype).
A C++ Visual Studio project is provided. To build the code, install VS 2019 (Community). When open the
solution file (project2.sln), be sure NOT to upgrade the Windows SDK Version nor the Platform Toolset:
The project should be buildable and runnable on a Windows system. Your tasks are:

1. [2p] For the test stereo images (pictures/stereo1_left.png , stereo1_right.png), find 8 matching pairs of
   2D points. List them as g_matching_left and g_matching_right. Note: x and y are in [-1,1] range. You
   can define the matching manually or
   [Bonus: +1~2p to mid-term] use off-the-shelf matching methods (such as OpenGL feature matching or
   others). The bonus amount depends on how well you understood and explains your matching method.
2. [5p] Implement the normalized eight-point method in EpipolarGeometry() to calculate the fundamental
   matrix (same as essential matrix). Remember to fill your result in g_epipolar_E To verify your result, the
   eight “*multiply:” stdout should output values very close to zero (around e-6 ~ e-7). The rendering
   should look like:
   (Here the 8 matching are the 8 vertices of the “cube”. But your matching can be anything.)
3. [1p] Explain what line 382-389 do? What does the “multiply” result means? Why should all the multiply
   values be (close to) zero?
4. [3p] Download the OpenCV sfm module source code at https://github.com/opencv/ope... Go
   to \modules\sfm\src\libmv_light\libmv\multiview. Explain the following functions:
   FundamentalFromEssential () in fundamental.cc [1p].
   MotionFromEssential() in fundamental.cc [1p].
   P_From_KRt () in projection.cc [1p].
   Note: “HZ” means the textbook “Multiple View Geometry in Computer Vision” by Richard Hartley and
   Andrew Zisserman and a pdf is provided for your reference.
   WX：codehelp

android studio问题-E / Vision：加载可选模块com.google.android.gms.vision.ocr时出错

W/DynamiteModule: Local module descriptor class for com.google.android.gms.vision.dynamite.ocr not found.
I/DynamiteModule: Considering local module com.google.android.gms.vision.dynamite.ocr:0 and remote module com.google.android.gms.vision.dynamite.ocr:0
W/DynamiteModule: Local module descriptor class for com.google.android.gms.vision.ocr not found.
I/DynamiteModule: Considering local module com.google.android.gms.vision.ocr:0 and remote module com.google.android.gms.vision.ocr:0
E/Vision: Error loading optional module com.google.android.gms.vision.ocr: com.google.android.gms.dynamite.DynamiteModule$LoadingException: No acceptable module found. Local version is 0 and remote version is 0.

dotnet add package Microsoft.Azure.CognitiveServices.Vision.ComputerVision

[HttpPost("SmartCrop")]
public async Task<ActionResult> SmartCropAsync()
{
    var subscriptionKey = "key";
    var endpoint = "https://jbreviews-cv.cognitiveservices.azure.com/";
    var client = new ComputerVisionClient(new ApiKeyServiceClientCredentials(subscriptionKey))
    {
        Endpoint = endpoint
    };
    var imageFileFullPath = @"WebApi\\Controller\\Test\\SmartCrop\\10.png";
    using var imagestream = new FileStream(imageFileFullPath, FileMode.Open);
    // get area of interest
    var areaOfInterestResult = await client.GetAreaOfInterestInStreamAsync(imagestream); // 这里返回之后 imagestream 就自动被 close 了
    using var image = Image.Load(imageFileFullPath);
    var croppedImage = image.Clone(imageProcessing =>
    {
        imageProcessing.Crop(new Rectangle(
            x: areaOfInterestResult.AreaOfInterest.X,
            y: areaOfInterestResult.AreaOfInterest.Y,
            width: areaOfInterestResult.AreaOfInterest.W,
            height: areaOfInterestResult.AreaOfInterest.H)
        );
    });
    croppedImage.SaveAsJpeg(
        @"WebApi\\Controller\\Test\\SmartCrop\\11.png", new SixLabors.ImageSharp.Formats.Jpeg.JpegEncoder
        {
            Quality = 85
        }
    );
    
    // get smart crop image
    using var imagestream2 = new FileStream(imageFileFullPath, FileMode.Open);
    var croppedimagestream = await client.GenerateThumbnailInStreamAsync(300, 100, imagestream2, smartCropping: true);
    using var imageFileStream = System.IO.File.Create(@"WebApi\\Controller\\Test\\SmartCrop\\12.png");
    croppedimagestream.copyTo(imageFileStream);
    return Ok();
}