python 利用 BeautifulSoup4 網路爬蟲抓網頁標題

woff

演示圖



首先用終端機安裝BeautifulSoup 4模組

1. pip install beautifulsoup4

複製代碼

anaconda

1. conda install beautifulsoup4

複製代碼

以PTT 八卦版為例
完整原始碼

1. import urllib.request as req
   
2. def getData(url):
   
3.     request=req.Request(url,headers={
   
4.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
   
5.     ,"cookie":"over18=1"
   
6.     })
   
7.     with req.urlopen(request) as response:
   
8.         data=response.read().decode("utf-8") #utf-8編碼
   
9.     #print(data)
   
10.     # conda install beautifulsoup4
    
11.     # 解析原始碼，抓取文章標題
    
12.     import bs4
    
13.     root = bs4.BeautifulSoup(data,"html.parser") #html 格式
    
14.     titles=root.find_all("div",class_="title") #find all class="title" 的div標籤
    
15.     #print(titles)
    
16.     for title in titles:
    
17.         if title.a != None: #如果標題包含 a 標籤(沒有被刪除)，就印出來
    
18.             print(title.a.string)
    
19. 
    
20.     nextLink = root.find("a",string="‹ 上頁") #找到內文是 ‹ 上頁 的 a 標籤
    
21.     #print(nextLink["href"])
    
22.     return nextLink["href"]
    
23. 
    
24. #主程序：抓取5個頁面標題
    
25. pageURL = "https://www.ptt.cc/bbs/Gossiping/index.html" #抓取網址
    
26. count=0
    
27. while count<5:  #抓取5頁
    
28.     pageURL = "https://www.ptt.cc"+getData(pageURL)
    
29.     count+=1
    
30. # print(pageURL)

複製代碼

解說:
以下這段在模擬用戶用瀏覽器上網，"cookie":"over18=1" 是已點選 我滿18歲的紀錄

1. request=req.Request(url,headers={
   
2. "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
   
3. ,"cookie":"over18=1"
   
4. })

複製代碼

可在chrome瀏覽器壓F12或開發者模式看到
選取Application


網頁設計,網站架設 ,網路行銷,網頁優化,SEO - NetYea 網頁設計