Python+OpenCV實現車牌區域識別及Sobel運算元

woff

步驟包括：
    1.灰度轉換：將彩色圖片轉換為灰度影象，常見的R=G=B=畫素平均值。
    2.高斯平滑和中值濾波：去除噪聲。
    3.Sobel運算元：提取影象邊緣輪廓，X方向和Y方向平方和開跟。
    4.二值化處理：影象轉換為黑白兩色，通常畫素大於127設定為255，小於設定為0。
    5.膨脹和細化：放大影象輪廓，轉換為一個個區域，這些區域內包含車牌。
    6.通過演算法選擇合適的車牌位置，通常將較小的區域過濾掉或尋找藍色底的區域。
    7.標註車牌位置，如果是花兒、人臉、牛角，可能需要特徵提取和訓練。

Python OpenCV 車牌域識 Sobel 運算元

推薦我C++影象系列基礎知識：
https://blog.csdn.net/column/details/eastmount-mfc.html

一、讀取影象及灰度轉換

程式碼如下：

1. #encoding:utf-8
   
2. import cv2  
   
3. import numpy as np  
   
4. import matplotlib.pyplot as plt
   
5. 
   
6. #讀取圖片
   
7. imagePath = '10.jpg'
   
8. img = cv2.imread(imagePath)
   
9. 
   
10. #opencv預設的imread是以BGR的方式進行儲存的
    
11. #而matplotlib的imshow預設則是以RGB格式展示
    
12. #所以此處我們必須對圖片的通道進行轉換
    
13. lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    
14. 
    
15. #灰度影象處理
    
16. GrayImage = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
17. print(u"讀入lenna圖的shape為", GrayImage.shape)
    
18. 
    
19. #顯示圖形
    
20. titles = ['Source Image','Gray Image']  
    
21. images = [lenna_img, GrayImage]  
    
22. for i in range(2):  
    
23.     plt.subplot(1,2,i+1),plt.imshow(images[i],'gray')  
    
24.     plt.title(titles[i])  
    
25.     plt.xticks([]),plt.yticks([])  
    
26. plt.show()  
    
27. 
    
28. cv2.imshow('Gray.bmp', GrayImage)
    
29. cv2.waitKey(0)

複製代碼

輸出結果如下圖所示：

Python OpenCV 車牌域識 Sobel 運算元

二、高斯平滑和中值濾波去噪

這裡原理推薦我以前C++影象處理的文章，如下：https://blog.csdn.net/column/details/eastmount-mfc.html

Python OpenCV 車牌域識 Sobel 運算元

Python OpenCV 車牌域識 Sobel 運算元

完整程式碼如下所示：

1. #encoding:utf-8
   
2. import cv2  
   
3. import numpy as np  
   
4. import matplotlib.pyplot as plt
   
5. 
   
6. #讀取圖片
   
7. imagePath = '10.jpg'
   
8. img = cv2.imread(imagePath)
   
9. 
   
10. #opencv預設的imread是以BGR的方式進行儲存的
    
11. #而matplotlib的imshow預設則是以RGB格式展示
    
12. #所以此處我們必須對圖片的通道進行轉換
    
13. lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    
14. 
    
15. #灰度影象處理
    
16. GrayImage = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
17. print(u"讀入lenna圖的shape為", GrayImage.shape)
    
18. 
    
19. #直方圖均衡化
    
20. #equ = cv2.equalizeHist(gray)
    
21. 
    
22. #高斯平滑
    
23. Gaussian = cv2.GaussianBlur(GrayImage, (3, 3), 0, 0, cv2.BORDER_DEFAULT)
    
24. #Gaussian = cv2.GaussianBlur(GrayImage, (9, 9),0)
    
25. 
    
26. #中值濾波
    
27. Median = cv2.medianBlur(Gaussian, 5)
    
28. 
    
29. #顯示圖形
    
30. titles = ['Source Image','Gray Image', 'Gaussian Image', 'Median Image']  
    
31. images = [lenna_img, GrayImage, Gaussian, Median]  
    
32. for i in range(4):  
    
33.     plt.subplot(2,2,i+1),plt.imshow(images[i],'gray')  
    
34.     plt.title(titles[i])  
    
35.     plt.xticks([]),plt.yticks([])  
    
36. plt.show()  

複製代碼

輸出結果如下圖所示，分別是原圖、灰度影象、高斯處理和中值濾波處理。

Python OpenCV 車牌域識 Sobel 運算元

三、Sobel運算元提取輪廓和二值化處理

有時還需要加強影象中景物的邊緣和輪廓，邊緣和輪廓通常位於影象中灰度突出的地方，因而可以直觀的想到用灰度的差分對邊緣和輪廓進行提取，通常可以通過梯度運算元進行提取。影象銳化的目的是提高影象的對比度，從而使影象更清晰，通過提高鄰域內畫素的灰度差來提高影象的對比度。本文采用Sobel運算元提取邊緣輪廓。

Python OpenCV 車牌域識 Sobel 運算元

閾值又稱為臨界值，它的目的是確定出一個範圍，然後這個範圍內的部分使用同一種方法處理，而閾值之外的部分則使用另一種處理方法或保持原樣。常用的包括產生二值圖：當x<T時y=0，當x>=T時y=255（其中T是閾值）。閾值變換在生物學上的應用比較廣泛，常用語細胞影象分割等。本文采用二值化處理將大於等於170畫素的轉換為255，而下於的轉換為0，使得影象更加清晰。

完整程式碼如下所示：

1. #encoding:utf-8
   
2. import cv2  
   
3. import numpy as np  
   
4. import matplotlib.pyplot as plt
   
5. 
   
6. #讀取圖片
   
7. imagePath = '10.jpg'
   
8. img = cv2.imread(imagePath)
   
9. 
   
10. #opencv預設的imread是以BGR的方式進行儲存的
    
11. lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    
12. 
    
13. #灰度影象處理
    
14. GrayImage = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
15. print(u"讀入lenna圖的shape為", GrayImage.shape)
    
16. 
    
17. #直方圖均衡化
    
18. #equ = cv2.equalizeHist(gray)
    
19. 
    
20. # 高斯平滑
    
21. Gaussian = cv2.GaussianBlur(GrayImage, (3, 3), 0, 0, cv2.BORDER_DEFAULT)
    
22. 
    
23. # 中值濾波
    
24. Median = cv2.medianBlur(Gaussian, 5)
    
25. 
    
26. # Sobel運算元 XY方向求梯度
    
27. x = cv2.Sobel(Median, cv2.CV_8U, 1, 0, ksize = 3) #X方向
    
28. y = cv2.Sobel(Median, cv2.CV_8U, 0, 1, ksize = 3) #Y方向
    
29. absX = cv2.convertScaleAbs(x)   # 轉回uint8   
    
30. absY = cv2.convertScaleAbs(y)   
    
31. Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5,0)
    
32. cv2.imshow('dilation2', Sobel)
    
33. cv2.waitKey(0)
    
34. 
    
35. # 二值化處理 周圍畫素影響
    
36. ret, Binary = cv2.threshold(Sobel, 170, 255, cv2.THRESH_BINARY)
    
37. cv2.imshow('dilation2',Binary)
    
38. cv2.waitKey(0)
    
39. 
    
40. #顯示圖形
    
41. titles = ['Source Image','Gray Image', 'Gaussian Image', 'Median Image',
    
42.           'Sobel Image', 'Binary Image']  
    
43. images = [lenna_img, GrayImage, Gaussian, Median, Sobel, Binary]  
    
44. for i in range(6):  
    
45.     plt.subplot(2,3,i+1),plt.imshow(images[i],'gray')  
    
46.     plt.title(titles[i])  
    
47.     plt.xticks([]),plt.yticks([])  
    
48. plt.show()  

複製代碼

輸出結果如下所示：

Python OpenCV 車牌域識 Sobel 運算元

四、膨脹和腐蝕處理

接下來進行膨脹和腐蝕處理，其中膨脹讓輪廓突出，腐蝕去掉細節。

1. #encoding:utf-8
   
2. import cv2  
   
3. import numpy as np  
   
4. import matplotlib.pyplot as plt
   
5. 
   
6. #讀取圖片
   
7. imagePath = '10.jpg'
   
8. img = cv2.imread(imagePath)
   
9. 
   
10. #opencv預設的imread是以BGR的方式進行儲存的
    
11. lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    
12. 
    
13. #灰度影象處理
    
14. GrayImage = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
15. print(u"讀入lenna圖的shape為", GrayImage.shape)
    
16. 
    
17. #直方圖均衡化
    
18. #equ = cv2.equalizeHist(gray)
    
19. 
    
20. #高斯平滑 去噪
    
21. Gaussian = cv2.GaussianBlur(GrayImage, (3, 3), 0, 0, cv2.BORDER_DEFAULT)
    
22. #Gaussian = cv2.GaussianBlur(GrayImage, (9, 9),0)
    
23. 
    
24. #中值濾波
    
25. Median = cv2.medianBlur(Gaussian, 5)
    
26. 
    
27. #Sobel運算元 XY方向求梯度 cv2.CV_8U
    
28. x = cv2.Sobel(Median, cv2.CV_32F, 1, 0, ksize = 3) #X方向
    
29. y = cv2.Sobel(Median, cv2.CV_32F, 0, 1, ksize = 3) #Y方向
    
30. #absX = cv2.convertScaleAbs(x)   # 轉回uint8   
    
31. #absY = cv2.convertScaleAbs(y)
    
32. #Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
    
33. gradient = cv2.subtract(x, y)
    
34. Sobel = cv2.convertScaleAbs(gradient)
    
35. cv2.imshow('dilation2', Sobel)
    
36. cv2.waitKey(0)
    
37. 
    
38. #二值化處理 周圍畫素影響
    
39. blurred = cv2.GaussianBlur(Sobel, (9, 9),0) #再進行高斯去噪
    
40. #注意170可以替換的
    
41. ret, Binary = cv2.threshold(blurred , 90, 255, cv2.THRESH_BINARY)
    
42. cv2.imshow('dilation2', Binary)
    
43. cv2.waitKey(0)
    
44. 
    
45. #膨脹和腐蝕操作的核函式
    
46. element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 1))
    
47. element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 7))
    
48. 
    
49. # 膨脹讓輪廓突出
    
50. Dilation = cv2.dilate(Binary, element2, iterations = 1)
    
51. # 腐蝕去掉細節
    
52. Erosion = cv2.erode(Dilation, element1, iterations = 1)
    
53. # 再次膨脹
    
54. Dilation2 = cv2.dilate(Erosion, element2,iterations = 3)
    
55. cv2.imshow('Dilation2 ', Dilation2)
    
56. cv2.waitKey(0)
    
57. 
    
58. #顯示圖形
    
59. titles = ['Source Image','Gray Image', 'Gaussian Image', 'Median Image',
    
60.           'Sobel Image', 'Binary Image', 'Dilation Image', 'Erosion Image', 'Dilation2 Image']  
    
61. images = [lenna_img, GrayImage, Gaussian,
    
62.           Median, Sobel, Binary,
    
63.           Dilation, Erosion, Dilation2]  
    
64. for i in range(9):  
    
65.     plt.subplot(3,3,i+1),plt.imshow(images[i],'gray')  
    
66.     plt.title(titles[i])  
    
67.     plt.xticks([]),plt.yticks([])  
    
68. plt.show()  

複製代碼

輸出結果如下圖所示，可以看到輪廓區域已經被提取出來，接下來開始有選擇的進行獲取。

Python OpenCV 車牌域識 Sobel 運算元

五、指定演算法選擇車牌區域

該部分程式碼膨脹和腐蝕略有區別，採用closed變數實現。同時獲取最理想的區域，完整程式碼如下所示：

1. #encoding:utf-8
   
2. #BY：Eastmount CSDN 2018-08-06
   
3. import cv2  
   
4. import numpy as np  
   
5. import matplotlib.pyplot as plt
   
6. 
   
7. #讀取圖片
   
8. imagePath = '10.jpg'
   
9. img = cv2.imread(imagePath)
   
10. 
    
11. #opencv預設的imread是以BGR的方式進行儲存的
    
12. lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    
13. 
    
14. #灰度影象處理
    
15. GrayImage = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
16. print(u"讀入lenna圖的shape為", GrayImage.shape)
    
17. 
    
18. #直方圖均衡化
    
19. #equ = cv2.equalizeHist(gray)
    
20. 
    
21. #高斯平滑 去噪
    
22. Gaussian = cv2.GaussianBlur(GrayImage, (3, 3), 0, 0, cv2.BORDER_DEFAULT)
    
23. #Gaussian = cv2.GaussianBlur(GrayImage, (9, 9),0)
    
24. 
    
25. #中值濾波
    
26. Median = cv2.medianBlur(Gaussian, 5)
    
27. 
    
28. #Sobel運算元 XY方向求梯度 cv2.CV_8U
    
29. x = cv2.Sobel(Median, cv2.CV_32F, 1, 0, ksize = 3) #X方向
    
30. y = cv2.Sobel(Median, cv2.CV_32F, 0, 1, ksize = 3) #Y方向
    
31. #absX = cv2.convertScaleAbs(x)   # 轉回uint8   
    
32. #absY = cv2.convertScaleAbs(y)
    
33. #Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
    
34. gradient = cv2.subtract(x, y)
    
35. Sobel = cv2.convertScaleAbs(gradient)
    
36. cv2.imshow('dilation2', Sobel)
    
37. cv2.waitKey(0)
    
38. 
    
39. #二值化處理 周圍畫素影響
    
40. blurred = cv2.GaussianBlur(Sobel, (9, 9),0) #再進行一次高斯去噪
    
41. #注意170可以替換的
    
42. ret, Binary = cv2.threshold(blurred , 170, 255, cv2.THRESH_BINARY)
    
43. cv2.imshow('dilation2', Binary)
    
44. cv2.waitKey(0)
    
45. 
    
46. # 膨脹和腐蝕操作的核函式
    
47. element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 1))
    
48. element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 7))
    
49. # 膨脹一次，讓輪廓突出
    
50. Dilation = cv2.dilate(Binary, element2, iterations = 1)
    
51. # 腐蝕一次，去掉細節
    
52. Erosion = cv2.erode(Dilation, element1, iterations = 1)
    
53. # 再次膨脹，讓輪廓明顯一些
    
54. Dilation2 = cv2.dilate(Erosion, element2,iterations = 3)
    
55. cv2.imshow('Dilation2 ', Dilation2)
    
56. cv2.waitKey(0)
    
57. 
    
58. 
    
59. ##########################################
    
60. 
    
61. #建立一個橢圓核函式
    
62. kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (25, 25))
    
63. #執行影象形態學, 細節直接查文件，很簡單
    
64. closed = cv2.morphologyEx(Binary, cv2.MORPH_CLOSE, kernel)
    
65. closed = cv2.erode(closed, None, iterations=4)
    
66. closed = cv2.dilate(closed, None, iterations=4)
    
67. cv2.imshow('erode dilate', closed)
    
68. cv2.waitKey(0)
    
69. 
    
70. ##########################################
    
71. 
    
72. 
    
73. #顯示圖形
    
74. titles = ['Source Image','Gray Image', 'Gaussian Image', 'Median Image',
    
75.           'Sobel Image', 'Binary Image', 'Dilation Image', 'Erosion Image', 'Dilation2 Image']  
    
76. images = [lenna_img, GrayImage, Gaussian,
    
77.           Median, Sobel, Binary,
    
78.           Dilation, Erosion, closed]  
    
79. for i in range(9):  
    
80.     plt.subplot(3,3,i+1),plt.imshow(images[i],'gray')  
    
81.     plt.title(titles[i])  
    
82.     plt.xticks([]),plt.yticks([])  
    
83. plt.show()  
    
84. 
    
85. cv2.imshow('Gray', GrayImage)
    
86. cv2.waitKey(0)
    
87. 
    
88. """
    
89. 接下來使用Dilation2圖片確定車牌的輪廓
    
90. 這裡opencv3返回的是三個引數
    
91.   引數一：二值化影象
    
92.   引數二：輪廓型別 檢測的輪廓不建立等級關係
    
93.   引數三：處理近似方法  例如一個矩形輪廓只需4個點來儲存輪廓資訊
    
94. """
    
95. (_, cnts, _) = cv2.findContours(closed.copy(),
    
96.                                 cv2.RETR_LIST,               #RETR_TREE
    
97.                                 cv2.CHAIN_APPROX_SIMPLE)
    
98. 
    
99. #畫出輪廓
    
100. c = sorted(cnts, key=cv2.contourArea, reverse=True)[0]
     
101. print(c)
     
102. 
     
103. #compute the rotated bounding box of the largest contour
     
104. rect = cv2.minAreaRect(c)
     
105. print('rectt', rect)
     
106. Box = np.int0(cv2.boxPoints(rect))
     
107. print('Box', Box)
     
108. 
     
109. #draw a bounding box arounded the detected barcode and display the image
     
110. Final_img = cv2.drawContours(img.copy(), [Box], -1, (0, 0, 255), 3)
     
111. 
     
112. cv2.imshow('Final_img', Final_img)
     
113. cv2.waitKey(0)

複製代碼

輸出結果如下圖所示，可以看到車牌被選中了。

Python OpenCV 車牌域識 Sobel 運算元

Python OpenCV 車牌域識 Sobel 運算元

文章出處

參考文獻推薦大家學習三位大神的作品：
https://www.jianshu.com/p/fcfbd3131b84
https://blog.csdn.net/sinat_36458870/article/details/78825571
https://blog.csdn.net/sumkee911/article/details/79435983