python 利用 JSON 網路爬蟲抓網頁標題

woff

繼上篇python 利用 BeautifulSoup4 網路爬蟲抓網頁標題
這篇說明抓取JSON 網頁
以https://medium.com為例

python JSON 網路爬蟲

完整代碼

1. import urllib.request as req
   
2. #網址
   
3. url="https://medium.com/_/api/home-feed"
   
4. #User-Agent 建立一個request物件，附加 Request Headers的資訊 ,看起來是 一般人登入
   
5. request=req.Request(url,headers={
   
6.     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
   
7.     ,"cookie":"over18=1"
   
8. })
   
9. with req.urlopen(request) as response:
   
10.     data=response.read().decode("utf-8")
    
11. #print(data)
    
12. 
    
13. # 解析Json，抓取文章標題內容
    
14. import json
    
15. data=data.replace("])}while(1);</x>","")  #這段式網頁撰寫人留下的標記，取代為空
    
16. data=json.loads(data) #把原始的JSON資料解析成字典/列表的表示形式
    
17. #print(data)
    
18. # 取得JSON資料中的文章標題
    
19. posts=data["payload"]["references"]["Post"]
    
20. for key in posts:
    
21.     post=posts[key]
    
22.     print(post["title"])

複製代碼

在chrome瀏覽器壓F12或開發者模式看到
NETWORK裡的XHR選項

python JSON 網路爬蟲

網頁設計,網站架設 ,網路行銷,網頁優化,SEO - NetYea 網頁設計