8.9 KiB

Raw Blame History

電腦視覺簡介

電腦視覺是一個學科，其目標是讓電腦能夠對數碼圖像進行高層次的理解。這是一個相當廣泛的定義，因為理解可以意味著很多不同的事情，包括在圖片中找到物體（物體檢測）、理解發生了什麼（事件檢測）、用文字描述圖片，或者重建3D場景。還有一些與人類圖像相關的特殊任務，例如年齡和情緒估算、人臉檢測與識別，以及3D姿態估算等。

課前測驗

電腦視覺最簡單的任務之一是圖像分類。

電腦視覺通常被認為是人工智能的一個分支。如今，大多數電腦視覺任務都是通過神經網絡解決的。我們將在本節中學習更多關於用於電腦視覺的特殊神經網絡類型，卷積神經網絡。

然而，在將圖像傳遞給神經網絡之前，在許多情況下，使用一些算法技術來增強圖像是有意義的。

以下是一些可用於圖像處理的 Python 庫：

imageio 可用於讀取/寫入不同的圖像格式。它還支持 ffmpeg，一個將視頻幀轉換為圖像的有用工具。
Pillow（也稱為 PIL）功能更強大，還支持一些圖像操作，例如變形、調整調色板等。
OpenCV 是一個用 C++ 編寫的強大圖像處理庫，已成為圖像處理的事實標準。它有一個方便的 Python 接口。
dlib 是一個 C++ 庫，實現了許多機器學習算法，包括一些電腦視覺算法。它也有一個 Python 接口，可用於如人臉和面部特徵點檢測等挑戰性任務。

OpenCV

OpenCV 被認為是圖像處理的事實標準。它包含許多有用的算法，這些算法是用 C++ 實現的。你也可以從 Python 調用 OpenCV。

學習 OpenCV 的一個好地方是這個 Learn OpenCV 課程。在我們的課程中，我們的目標不是學習 OpenCV，而是向你展示一些可以使用它的例子以及如何使用。

加載圖像

在 Python 中，圖像可以方便地表示為 NumPy 陣列。例如，大小為 320x200 像素的灰度圖像將存儲在一個 200x320 的陣列中，而相同尺寸的彩色圖像將具有 200x320x3 的形狀（對應3個顏色通道）。要加載圖像，可以使用以下代碼：

import cv2
import matplotlib.pyplot as plt

im = cv2.imread('image.jpeg')
plt.imshow(im)

傳統上，OpenCV 使用 BGR（藍-綠-紅）編碼來表示彩色圖像，而其他 Python 工具則使用更傳統的 RGB（紅-綠-藍）。為了使圖像顯示正確，你需要將其轉換為 RGB 色彩空間，可以通過在 NumPy 陣列中交換維度，或者調用 OpenCV 函數來完成：

im = cv2.cvtColor(im,cv2.COLOR_BGR2RGB)

同樣的 cvtColor 函數還可以用於執行其他色彩空間轉換，例如將圖像轉換為灰度或 HSV（色調-飽和度-亮度）色彩空間。

你還可以使用 OpenCV 逐幀加載視頻——在練習 OpenCV Notebook 中提供了一個示例。

圖像處理

在將圖像傳遞給神經網絡之前，你可能需要應用幾個預處理步驟。OpenCV 可以執行許多操作，包括：

使用 im = cv2.resize(im, (320,200),interpolation=cv2.INTER_LANCZOS) 調整圖像大小
使用 im = cv2.medianBlur(im,3) 或 im = cv2.GaussianBlur(im, (3,3), 0) 模糊圖像
通過 NumPy 陣列操作更改圖像的亮度和對比度，具體方法參見這篇 Stackoverflow 筆記。
使用閾值處理，通過調用 cv2.threshold/cv2.adaptiveThreshold 函數，這通常比調整亮度或對比度更可取。
對圖像應用不同的變換：
- 仿射變換 如果你需要對圖像進行旋轉、調整大小和傾斜，並且知道圖像中三個點的源位置和目標位置，仿射變換會保持平行線的平行性。
- 透視變換 當你知道圖像中四個點的源位置和目標位置時非常有用。例如，如果你用智能手機從某個角度拍攝了一張矩形文件的照片，並希望將其轉換為矩形圖像。
使用光流理解圖像中的運動。