Python 爬蟲模塊bs4 實戰一：獲取百度貼吧內容

woff

getCommentInfo.py：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from mylog import MyLog as mylog
   
4. 
   
5. class Item(object):
   
6.     title = None
   
7.     fristAuthor = None
   
8.     fristTime = None
   
9.     reNum = None
   
10.     content = None
    
11.     lastAuthor = None
    
12.     lastTime = None
    
13. 
    
14. class GetTiebaInfo(object):
    
15.     def __init__(self, url):
    
16.         self.url = url
    
17.         self.log = mylog()
    
18.         self.pageSum = 5
    
19.         self.urls = self.getUrls(self.pageSum)
    
20.         self.items = self.spider(self.urls)
    
21.         self.pipelines(self.items)
    
22. 
    
23.     def getUrls(self,pageSum):
    
24.         urls = []
    
25.         pns = [str(i*50) for i in range(pageSum)]
    
26.         ul = self.url.split('=')
    
27.         for pn in pns:
    
28.             ul[-1] = pn
    
29.             url = '='.join(ul)
    
30.             urls.append(url)
    
31.         self.log.info(u'取得URLS成功')
    
32.         return urls
    
33. 
    
34.     def spider(self, urls):
    
35.         items = []
    
36.         for url in urls:
    
37.             htmlContent = self.getResponseContent(url)
    
38.             soup = BeautifulSoup(htmlContent, 'lxml')
    
39.             tagsli = soup.find_all('li',attrs={'class':'j_thread_list clearfix'})
    
40.             for tag in tagsli:
    
41.                 item = Item()
    
42.                 item.title = tag.find('a',attrs={'class':'j_th_tit'}).get_text().strip()
    
43.                 item.fristAuthor = tag.find('span',attrs={'class':'frs-author-name-warp'}).a.get_text().strip()
    
44.                 item.fristTime = tag.find('span', attrs={'title': u'建立時間'.encode('utf8')}).get_text().strip()
    
45.                 item.reNum = tag.find('span', attrs={'title': u'回覆'.encode('utf8')}).get_text().strip()
    
46.                 item.content = tag.find('div', attrs={'class': 'threadlist_abs_onlyline '}).get_text().strip()
    
47.                 item.lastAuthor = tag.find('span', attrs={'class': 'tb_icon_author_rely j_replayer'}).get_text().strip()
    
48.                 item.lastTime = tag.find('span', attrs={'title': u'最後回覆時間'.encode('utf8')}).get_text().strip()
    
49.                 items.append(item)
    
50.                 self.log.info(u'取得標題為<<%s>>的項成功 ...' %item.title)
    
51.         return items
    
52. 
    
53.     def pipelines(self, items):
    
54.         fileName = u'擺渡貼吧_權力的遊戲.txt'
    
55.         with open(fileName, 'w', encoding='utf-8') as fp:
    
56.             for item in items:
    
57.                 fp.write('title:%s \t author:%s \t firstTime:%s \n content:%s \n return:%s \n lastAuthor:%s \t lastTime:%s \n\n\n\n'
    
58.                          %(item.title.encode('utf8'),item.fristAuthor.encode('utf8'),item.fristTime.encode('utf8'),item.content.encode('utf8')
    
59.                            ,item.reNum.encode('utf8'),item.lastAuthor.encode('utf8'),item.lastTime.encode('utf8')))
    
60.                 self.log.info(u'標題為<<%s>>的項輸入到"%s成功"'
    
61.                               %(item.title, fileName.decode('utf8')))
    
62. 
    
63.     def getResponseContent(self, url):
    
64.         try:
    
65.             response = requests.get(url)
    
66.         except:
    
67.             self.log.error(u'Python 返回 URL:%s 資料失敗 ' %url)
    
68.         else:
    
69.             self.log.info(u'Python 返回 URL:%s 資料成功 ' %url)
    
70.             return response.text
    
71. 
    
72. if __name__ == '__main__':
    
73.     url = u'http://tieba.baidu.com/f?kw=權力的遊戲&ie=utf-8&pn=50'
    
74.     GTI = GetTiebaInfo(url)

複製代碼

mylog.py

1. import logging
   
2. import getpass
   
3. import sys
   
4. 
   
5. class MyLog(object):
   
6.     def __init__(self):
   
7.         self.user = getpass.getuser()
   
8.         self.logger = logging.getLogger(self.user)
   
9.         self.logger.setLevel(logging.DEBUG)
   
10.         ### 日誌檔名
    
11.         self.logFile = sys.argv[0][0:-3]+'.log'
    
12.         self.formatter = logging.Formatter('%(asctime)-12s %(levelname)-8s %(name)-10s %(message)-12s\r\n')
    
13.         ### 日誌顯示到銀幕上並輸出到日誌檔內
    
14.         self.logHand = logging.FileHandler(self.logFile, encoding='utf8')
    
15.         self.logHand.setFormatter(self.formatter)
    
16.         self.logHand.setLevel(logging.DEBUG)
    
17. 
    
18.         self.logHandSt = logging.StreamHandler()
    
19.         self.logHandSt.setFormatter(self.formatter)
    
20.         self.logHandSt.setLevel(logging.DEBUG)
    
21. 
    
22.         self.logger.addHandler(self.logHand)
    
23.         self.logger.addHandler(self.logHandSt)
    
24. 
    
25.     ### 日誌的 5 個級別對應以下的5個函數
    
26.     def debug(self,msg):
    
27.         self.logger.debug(msg)
    
28.     def info(self,msg):
    
29.         self.logger.info(msg)
    
30.     def warning(self,msg):
    
31.         self.logger.warning(msg)
    
32.     def error(self,msg):
    
33.         self.logger.error(msg)
    
34.     def critical(self,msg):
    
35.         self.logger.critical(msg)
    
36. 
    
37. if __name__ == '__main__':
    
38.     mylog = MyLog()
    
39.     mylog.debug(u"I'm debug 測試中文")
    
40.     mylog.info("I'm info")
    
41.     mylog.warning("I'm warning")
    
42.     mylog.error(u"I'm error 測試中文")
    
43.     mylog.critical("I'm critical")

複製代碼

參考文章
https://codeleading.com/article/55914188948/