opencv 信用卡數字識別(opencv4.4測試OK)

woff

信用卡數字識別-流程預覽(可執行代碼請看頁尾)

opencv 信用卡 數字識別

一、基礎配置

1. # 匯入工具包
   
2. from imutils import contours
   
3. import numpy as np
   
4. import argparse
   
5. import cv2
   
6. import myutils
   
7. 
   
8. # 設定引數
   
9. ap = argparse.ArgumentParser()
   
10. ap.add_argument("-i","--image",default='./images/credit_card_01.png',help="path to input image")
    
11. ap.add_argument("-t","--template",default='./ocr_a_reference.png',help="path to template OCR image")
    
12. args = vars(ap.parse_args())
    
13. # 指定信用卡型別
    
14. FIRST_NUMBER = {"3": "American Express","4": "Visa","5": "MasterCard","6": "Discover Card"}
    
15. # 繪圖展示
    
16. def cv_show(name,img):
    
17.         cv2.imshow(name, img)
    
18.         cv2.waitKey(0)
    
19.         cv2.destroyAllWindows()

複製代碼

二、模板處理

模板處理流程: 輪廓檢測, 外接矩形, 摳出模板, 讓模板對應每個數值
字典digits = {} # 存模板的單個數字

1. # 讀取一個模板影象
   
2. img = cv2.imread(args["template"])
   
3. cv_show('template',img)
   
4. # 灰度圖
   
5. ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
   
6. cv_show('template_gray',ref)
   
7. # 二值影象
   
8. ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
   
9. cv_show('template_bi',ref)
   
10. 
    
11. # 1.計算輪廓
    
12. # cv2.findContours()函式接受的引數為二值圖，即黑白的（不是灰度圖）,cv2.RETR_EXTERNAL只檢測外輪廓，cv2.CHAIN_APPROX_SIMPLE只保留終點座標
    
13. # 返回的list中每個元素都是影象中的一個輪廓
    
14. refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)        # cv版本大於3.8的,只有兩個返回值
    
15. 
    
16. cv2.drawContours(img,refCnts,-1,(0,0,255),3)         # 輪廓在二值圖上得到, 畫要畫在原圖上
    
17. cv_show('template_Contours',img)
    
18. print (np.array(refCnts).shape)
    
19. refCnts = myutils.sort_contours(refCnts, method="left-to-right")[0] #排序，從左到右，從上到下
    
20. digits = {}        # 存模板的單個數字
    
21. 
    
22. # 2.遍歷每一個輪廓,外接矩形
    
23. for (i, c) in enumerate(refCnts):        # c是每個輪廓的終點座標
    
24.         # 計算外接矩形並且resize成合適大小
    
25.         (x, y, w, h) = cv2.boundingRect(c)
    
26.         # 3.摳出模板
    
27.         roi = ref[y:y + h, x:x + w]                # 每個roi對應一個數字
    
28.         roi = cv2.resize(roi, (57, 88))        # 太小,調大點
    
29. 
    
30.         # 4.每一個數字對應每一個模板
    
31.         digits[i] = roi

複製代碼

opencv 信用卡 數字識別

注：在自己動手實踐過程中,發現有以下幾個點需要注意（順一遍沒有大問題的同學, 可先跳過此處）

• Line 8：因findCoutours 檢測黑底白字的物體，所以要選擇反轉的二值化THRESH_BINARY_INV
• Line 14：我們需要外輪廓，畫外接矩形，所以用cv2.RETR_EXTERNAL
• Line 23：enumerate() 函式用於將一個可遍歷的資料物件(如列表、元組或字串)組合為一個索引序列
  
  

seq = [‘one’, ‘two’, ‘three’]
for i, element in enumerate(seq):
… print i, element
…
0 one
1 two
2 three

• Line 27：側重於摳出單個數值的模板，而不是畫個rectangle
• Line 20,31：digits設定為字典，第i個健對應的第i個模板數值roi
• Line 19：對輪廓進行排序，並且返回兩個值，只需要輪廓[0]
  refCnts = myutils.sort_contours(refCnts, method=“left-to-right”)[0]
  
  

排序前

opencv 信用卡 數字識別

排序後

opencv 信用卡 數字識別

也可以不排序，在後面數值與模板數值匹配時需要做相應改動，感興趣的同學自行研究

對輪廓進行排序的程式碼如下：

1. def sort_contours(cnts, method="left-to-right"):
   
2.     reverse = False
   
3.     i = 0
   
4. 
   
5.     if method == "right-to-left" or method == "bottom-to-top":
   
6.         reverse = True
   
7. 
   
8.     if method == "top-to-bottom" or method == "bottom-to-top":
   
9.         i = 1
   
10. 
    
11.     # 計算外接矩形 boundingBoxes是一個元組
    
12.     boundingBoxes = [cv2.boundingRect(c) for c in cnts] #用一個最小的矩形，把找到的形狀包起來x,y,h,w
    
13.     # sorted排序
    
14.     (cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),
    
15.                                         key=lambda b: b[1][i], reverse=reverse))
    
16. 
    
17.     return cnts, boundingBoxes  # 輪廓和boundingBoxess

複製代碼

三、輸入影象處理

opencv 信用卡 數字識別

1. # 1.初始化卷積核,根據實際任務指定大小,不一定非要3x3
   
2. rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
   
3. sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
   
4. 
   
5. # 2.讀取輸入影象，預處理
   
6. image = cv2.imread(args["image"])
   
7. cv_show('Input_img',image)
   
8. image = myutils.resize(image, width=300)
   
9. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
   
10. cv_show('Input_gray',gray)
    
11. 
    
12. # 3.禮帽操作，突出更明亮的區域
    
13. # 形態學操作,禮帽+閉操作可以突出明亮區域,但並不是非得禮帽+閉操作
    
14. tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
    
15. cv_show('Input_tophat',tophat)
    
16. # 4.x方向的Sobel運算元,實驗表明,加y的效果的並不好
    
17. gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0,ksize=-1) #ksize=-1相當於用3*3的
    
18. 
    
19. # x方向取絕對值 -> 歸一化
    
20. gradX = np.absolute(gradX)        # absolute: 計算絕對值
    
21. (minVal, maxVal) = (np.min(gradX), np.max(gradX))
    
22. gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
    
23. gradX = gradX.astype("uint8")
    
24. 
    
25. print (np.array(gradX).shape)
    
26. cv_show('Input_Sobel_gradX',gradX)
    
27. 
    
28. # 5.通過閉操作（先膨脹，再腐蝕）將數字連在一起.  將本是4個數字的4個框膨脹成1個框,就腐蝕不掉了
    
29. gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
    
30. cv_show('Input_CLOSE_gradX',gradX)
    
31. 
    
32. # 6.THRESH_OTSU會自動尋找合適的閾值，適合雙峰，需把閾值引數設定為0
    
33. thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    
34. cv_show('Input_thresh',thresh)
    
35. 
    
36. # 7.再來一個閉操作
    
37. thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) # 填補空洞
    
38. cv_show('Input_thresh_CLOSE',thresh)
    
39. 
    
40. # 8.計算輪廓
    
41. threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
    
42.         cv2.CHAIN_APPROX_SIMPLE)
    
43. 
    
44. cnts = threshCnts
    
45. cur_img = image.copy()
    
46. cv2.drawContours(cur_img,cnts,-1,(0,0,255),3)
    
47. cv_show('Input_Contours',cur_img)

複製代碼

opencv 信用卡 數字識別

opencv 信用卡 數字識別

注：

• Line 20-23：絕對值+歸一化
  歸一化 x’ = (x-min)/(max-min)
• Line 36：第二個閉操作換個9x9的核
  onekernel = np.ones((9,9), np.uint8)
  thresh = cv2.morphologyEx(thresh,cv2.MORPH_CLOSE,onekernel)
  
  

opencv 信用卡 數字識別

四、遍歷輪廓

1. # 1.遍歷輪廓
   
2. locs = []        # 存符合條件的輪廓
   
3. for i,c in enumerate(threshCnts):
   
4.         # 計算矩形
   
5.         x,y,w,h = cv2.boundingRect(c)
   
6. 
   
7.         ar = w / float(h)
   
8.         # 選擇合適的區域，根據實際任務來，這裡的基本都是四個數字一組
   
9.         if ar > 2.5 and ar < 4.0:
   
10.                 if (w > 40 and w < 55) and (h > 10 and h < 20):
    
11.                         #符合的留下來
    
12.                         locs.append((x, y, w, h))        
    
13. 
    
14. # 將符合的輪廓從左到右排序
    
15. locs = sorted(locs,key=lambda x:x[0])

複製代碼

注：

• Line 6-11：根據w和h的比例，選出包括4個數字的區域，視實際情況判定
• Line 14：
  key=lambda 元素: 元素[欄位索引]
  C = (sorted(C, key=lambda x: x[0]))
  x:x[]字母可以隨意修改，排序方式按照中括號[]裡面的維度，[0]按照第一維，[1]按照第二維。
  
  

五、遍歷數字

1. # 2.遍歷每一個輪廓中的數字
   
2. output = []        # 存正確的數字
   
3. for (i,(gx,gy,gw,gh)) in enumerate(locs):        # 遍歷每一組大輪廓(包含4個數字)
   
4.         # initialize the list of group digits
   
5.         groupOutput = []
   
6. 
   
7.         # 根據座標提取每一個組(4個值)
   
8.         group = gray[gy-5:gy+gh+5, gx-5:gx+gw+5]        # 往外擴一點
   
9.         cv_show('group_'+str(i),group)
   
10.         # 2.1 預處理
    
11.         group = cv2.threshold(group,0,255,cv2.THRESH_BINARY|cv2.THRESH_OTSU)[1]        # 二值化的group
    
12.         # cv_show('group_'+str(i),group)
    
13.                 # 計算每一組的輪廓 這樣就分成4個小輪廓了
    
14.         digitCnts = cv2.findContours(group.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)[0]
    
15.                 # 排序
    
16.         digitCnts = myutils.sort_contours(digitCnts,method="left-to-right")[0]
    
17. 
    
18.         # 2.2 計算並匹配每一組中的每一個數值
    
19.         for c in digitCnts:        # c表示每個小輪廓的終點座標
    
20.                 z = 0
    
21.                 # 找到當前數值的輪廓,resize成合適的的大小
    
22.                 (x,y,w,h) = cv2.boundingRect(c)        # 外接矩形
    
23.                 roi = group[y:y+h,x:x+w]                # 在原圖中取出小輪廓覆蓋區域,即數字
    
24.                 roi = cv2.resize(roi, (57, 88))
    
25.                 # cv_show("roi_"+str(z),roi)
    
26.                
    
27.                 # 計算匹配得分: 0得分多少,1得分多少...
    
28.                 scores = []        # 單次迴圈中,scores存的是一個數值 匹配 10個模板數值的最大得分
    
29. 
    
30.                 # 在模板中計算每一個得分
    
31.                 # digits的digit正好是數值0,1,...,9;digitROI是每個數值的特徵表示
    
32.                 for (digit,digitROI) in digits.items():
    
33.                         # 進行模板匹配, res是結果矩陣
    
34.                         res = cv2.matchTemplate(roi,digitROI,cv2.TM_CCOEFF)        # 此時roi是X digitROI是0 依次是1,2.. 匹配10次,看模板最高得分多少
    
35.                         Max_score = cv2.minMaxLoc(res)[1]        # 返回4個,取第二個最大值Maxscore
    
36.                         scores.append(Max_score)        # 10個最大值
    
37.                 print("scores：",scores)
    
38.                 # 得到最合適的數字
    
39.                 groupOutput.append(str(np.argmax(scores)))        # 返回的是輸入列表中最大值的位置
    
40.                 z = z+1
    
41.         # 2.3 畫出來
    
42.         cv2.rectangle(image,(gx-5,gy-5),(gx+gw+5,gy+gh+5),(0,0,255),1)        # 左上角,右下角
    
43.         # 2.4 putText引數：圖片,新增的文字,左上角座標,字型,字型大小,顏色,字型粗細
    
44.         cv2.putText(image,"".join(groupOutput),(gx,gy-15),
    
45.                                 cv2.FONT_HERSHEY_SIMPLEX,0.65,(0,0,255),2)
    
46. 
    
47.         # 2.5 得到結果
    
48.         output.extend(groupOutput)
    
49.         print("groupOutput:",groupOutput)

複製代碼

opencv 信用卡 數字識別

注：

• 二的digits 是 模板中的單個數值（即五中的digitROI）
• 五的digitCnts -> group -> roi 是 輸入圖中的單個數值
• 輸入圖中的單個數值 和 模板中的單個數值 需進行相同的resize，否則無法進行匹配
  roi = cv2.resize(roi, (57, 88))
• Line 11：對group的二值化預處理時（即 將一組輪廓group(4數字) 分為 4個小輪廓digitCnts前），必須加上cv2.THRESH_OTSU，否則檢測不出4個小輪廓
• Line 44：groupOutput中存的是每一組(4個)數值 如4000，因此在putText時，數值中間就不用空格或其他內容了，雙引號""中間沒有任何東西。
  putText引數：圖片,新增的文字,左上角座標,字型,字型大小,顏色,字型粗細
  putText的第3個引數是左上角的座標，因此在列印下一組groupOutput，它會重新以這組的（gx,gy-15）為新左上角座標
  
  

六、識別結果

1. # 列印結果
   
2. print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
   
3. print("Credit Card #: {}".format("".join(output)))
   
4. cv2.imshow("Output_image", image)
   
5. cv2.waitKey(0)

複製代碼

輸出：

1. (10,)
   
2. (189, 300)
   
3. groupOutput: ['4', '0', '0', '0']
   
4. groupOutput: ['1', '2', '3', '4']
   
5. groupOutput: ['5', '6', '7', '8']
   
6. groupOutput: ['9', '0', '1', '0']
   
7. Credit Card Type: Visa
   
8. Credit Card #: 4000123456789010

複製代碼

opencv 信用卡 數字識別

附：測試另外幾張信用卡數字識別的效果

opencv 信用卡 數字識別

1. # Import toolkit
   
2. from imutils import contours
   
3. import imutils
   
4. import numpy as np
   
5. import argparse
   
6. import cv2
   
7. import myutils
   
8. 
   
9. # Specify credit card type
   
10. FIRST_NUMBER = {
    
11.     "3": "American Express",
    
12.     "4": "Visa",
    
13.     "5": "MasterCard",
    
14.     "6": "Discover Card"
    
15. }
    
16. # Drawing display
    
17. def cv_show(name,img):
    
18.     cv2.imshow(name, img)
    
19.     cv2.waitKey(0)
    
20.     cv2.destroyAllWindows()
    
21. # Read a template image
    
22. img = cv2.imread('temp.png')
    
23. cv_show('img',img)
    
24. # Grayscale image
    
25. ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
26. cv_show('ref',ref)
    
27. # Binary image
    
28. ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
    
29. cv_show('ref',ref)
    
30. 
    
31. # Calculate contour The parameter accepted by the #cv2.findContours() function is a binary image, that is, black and white (not grayscale), cv2.RETR_EXTERNAL only detects the outer contour, and cv2.CHAIN_APPROX_SIMPLE only retains the end point coordinates
    
32. # Each element in the returned list is an outline in the image
    
33. 
    
34. refCnts, hierarchy = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    
35. 
    
36. cv2.drawContours(img,refCnts,-1,(0,0,255),3)
    
37. cv_show('img',img)
    
38. print (np.array(refCnts).shape)
    
39. refCnts = sorted(refCnts, key=lambda refCnts: cv2.boundingRect(refCnts)[0])
    
40. digits = {}
    
41. 
    
42. for (i, c) in enumerate(refCnts):
    
43.     # Calculate the circumscribed rectangle and resize it to a suitable size
    
44.     (x, y, w, h) = cv2.boundingRect(c)
    
45.     roi = ref[y:y + h, x:x + w]
    
46.     roi = cv2.resize(roi, (57, 88))
    
47. 
    
48.     # Each number corresponds to each template
    
49.     digits[i] = roi
    
50. 
    
51. # Initialize the convolution kernel
    
52. rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
    
53. sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
    
54. 
    
55. #Read input image, preprocess
    
56. image = cv2.imread('xin.png')
    
57. cv_show('image',image)
    
58. #image = imutils.resize(image, height=900,width=900)
    
59. gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    
60. cv_show('gray',gray)
    
61. 
    
62. #Top hat operation to highlight brighter areas
    
63. tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
    
64. cv_show('tophat',tophat)
    
65. 
    
66. gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
    
67. 
    
68. 
    
69. gradX = np.absolute(gradX)
    
70. (minVal, maxVal) = (np.min(gradX), np.max(gradX))
    
71. gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
    
72. gradX = gradX.astype("uint8")
    
73. 
    
74. print (np.array(gradX).shape)
    
75. cv_show('gradX',gradX)
    
76. 
    
77. #Connect the numbers together by closing operation (expansion first, then corrosion)
    
78. gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
    
79. cv_show('gradX',gradX)
    
80. #THRESH_OTSU will automatically find a suitable threshold, suitable for double peaks, you need to set the threshold parameter to 0
    
81. thresh = cv2.threshold(gradX, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    
82. cv_show('thresh',thresh)
    
83. 
    
84. # Close operation
    
85. 
    
86. thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) #Another closed operation
    
87. cv_show('thresh',thresh)
    
88. 
    
89. # Calculate contour
    
90. 
    
91. threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
92. 
    
93. cnts = threshCnts
    
94. cur_img = image.copy()
    
95. cv2.drawContours(cur_img,cnts,-1,(0,0,255),3)
    
96. cv_show('img',cur_img)
    
97. locs = []
    
98. 
    
99. # Traverse the outline
    
100. for (i, c) in enumerate(cnts):
     
101.     # Calculate rectangle
     
102.     (x, y, w, h) = cv2.boundingRect(c)
     
103.     ar = w / float(h)
     
104. 
     
105.     # Select the appropriate area, according to the actual task, basically here are a group of four numbers
     
106.     if ar > 2.5 and ar < 4.0:
     
107.          if (w > 40 and w < 55) and (h > 10 and h < 20):
     
108.             #Consistent stay
     
109.             locs.append((x, y, w, h))
     
110. 
     
111. # Sort matching contours from left to right
     
112. locs = sorted(locs, key=lambda x:x[0])
     
113. output = []
     
114. 
     
115. # Iterate over the numbers in each outline
     
116. for (i, (gX, gY, gW, gH)) in enumerate(locs):
     
117.     # initialize the list of group digits
     
118.     groupOutput = []
     
119. 
     
120.     # Extract each group according to coordinates
     
121.     group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
     
122.     cv_show('group',group)
     
123.     # Preprocessing
     
124.     group = cv2.threshold(group, 0, 255,
     
125.         cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
     
126.     cv_show('group',group)
     
127.     # Calculate the outline of each group
     
128.     digitCnts,hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
     
129.     digitCnts = contours.sort_contours(digitCnts,
     
130.         method="left-to-right")[0]
     
131. 
     
132.     # Calculate each value in each group
     
133.     for c in digitCnts:
     
134.         # Find the outline of the current value and resize it to a suitable size
     
135.         (x, y, w, h) = cv2.boundingRect(c)
     
136.         roi = group[y:y + h, x:x + w]
     
137.         roi = cv2.resize(roi, (57, 88))
     
138.         cv_show('roi',roi)
     
139. 
     
140.         # Calculate match score
     
141.         scores = []
     
142. 
     
143.         # Calculate each score in the template
     
144.         for (digit, digitROI) in digits.items():
     
145.             # Template matching
     
146.             result = cv2.matchTemplate(roi, digitROI,cv2.TM_CCOEFF)
     
147.             (_, score, _, _) = cv2.minMaxLoc(result)
     
148.             scores.append(score)
     
149. 
     
150.         # Get the most suitable number
     
151.         groupOutput.append(str(np.argmax(scores)))
     
152. 
     
153.     # Draw it
     
154.     cv2.rectangle(image, (gX - 5, gY - 5),(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
     
155.     cv2.putText(image, "".join(groupOutput), (gX, gY - 15),cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
     
156. 
     
157.     # got the answer
     
158.     output.extend(groupOutput)
     
159. 
     
160. # Print result
     
161. #print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
     
162. print("Credit Card #: {}".format("".join(output)))
     
163. cv2.imshow("Image", image)
     
164. cv2.waitKey(0)

複製代碼

文章出處
網頁設計,網站架設 ,網路行銷,網頁優化,SEO - NetYea 網頁設計