TShopping

 找回密碼
 註冊
搜索
查看: 570|回復: 0

[教學] curl抓取網頁

[複製鏈接]
發表於 2013-7-11 22:53:10 | 顯示全部樓層 |閱讀模式
 
Push to Facebook Push to Plurk Push to Twitter 
如果要用php來抓取網頁,一般人最常想到的就是「fopen」這個函式了。但現在有了更強大的函式,「curl」,至於這個函式怎麼用呢?就往下看吧!

如使用mysql一樣,首先,我們必須先建立一個「curl」的連線,也因此,必須使用到「$ch = curl_init()」這個函式。而為了怕建立連線忘了關閉。因此,必須先寫好關閉的函式,「curl_close($ch)」。

接下來,你可以設定他截取網頁的選項,一般來說常用的有「CURLOPT_RETURNTRANSFER」、「CURLOPT_URL」、「CURLOPT_HEADER」、「CURLOPT_FOLLOWLOCATION」、「CURLOPT_USERAGENT」這幾個選項。而這幾個選項分別代表「將結果回傳成字串」、「設定截取網址」、 「是否截取header的資訊」、「是否抓取轉址」及「瀏覽器的user agent」。最後,再執行「curl_exec($ch)」以取出結果就可以了。

而以抓取yahoo為例,若我們要偽裝成google bot去抓取,那麼我們可以寫成下列的樣子。
  1. $ch = curl_init();
  2. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  3. curl_setopt($ch, CURLOPT_URL, "www.yahoo.com.tw");
  4. curl_setopt($ch, CURLOPT_HEADER, false);
  5. curl_setopt($ch, CURLOPT_USERAGENT, "Google Bot");
  6. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  7. $output = curl_exec($ch); curl_close($ch); echo $output;
複製代碼


當然,你也可以將選項們設定一個陣列,以增加設定時的閱讀度。這時就得動用「curl_setopt_array()」這個函式了。

而改寫上列程式如下:
  1. $ch = curl_init();
  2. $options = array(
  3.     CURLOPT_URL => 'www.yahoo.com.tw',
  4.     CURLOPT_HEADER => false,
  5.     CURLOPT_RETURNTRANSFER => true,
  6.     CURLOPT_USERAGENT => "Google Bot",
  7.     CURLOPT_FOLLOWLOCATION => true
  8. );
  9. curl_setopt_array($ch, $options);
  10. $output = curl_exec($ch);
  11. curl_close($ch);
  12. echo $output;

複製代碼






curl_setopt相關參數



CURLOPT_INFILESIZE: 當你上傳一個文件到遠程站點,這個選項告訴PHP你上傳文件的大小。

CURLOPT_VERBOSE: 如果你想CURL報告每一件意外的事情,設置這個選項為一個非零值。

CURLOPT_HEADER: 如果你想把一個頭包含在輸出中,設置這個選項為一個非零值。

CURLOPT_NOPROGRESS: 如果你不會PHP為CURL傳輸顯示一個進程條,設置這個選項為一個非零值。

注意:PHP自動設置這個選項為非零值,你應該僅僅為了調試的目的來改變這個選項。

CURLOPT_NOBODY: 如果你不想在輸出中包含body部分,設置這個選項為一個非零值。

CURLOPT_FAILONERROR: 如果你想讓PHP在發生錯誤(HTTP代碼返回大於等於300)時,不顯示,設置這個選項為一人非零值。默認行為是返回一個正常頁,忽略代碼。

CURLOPT_UPLOAD: 如果你想讓PHP為上傳做準備,設置這個選項為一個非零值。

CURLOPT_POST: 如果你想PHP去做一個正規的HTTP POST,設置這個選項為一個非零值。這個POST是普通的 application/x-www-from-urlencoded 類型,多數被HTML表單使用。

CURLOPT_FTPLISTONLY: 設置這個選項為非零值,PHP將列出FTP的目錄名列表。

CURLOPT_FTPAPPEND: 設置這個選項為一個非零值,PHP將應用遠程文件代替覆蓋它。

CURLOPT_NETRC: 設置這個選項為一個非零值,PHP將在你的 ~./netrc 文件中查找你要建立連接的遠程站點的用戶名及密碼。

CURLOPT_FOLLOWLOCATION: 設置這個選項為一個非零值(象 'Location: ')的頭,服務器會把它當做HTTP頭的一部分發送(注意這是遞歸的,PHP將發送形如 'Location: '的頭)。

CURLOPT_PUT: 設置這個選項為一個非零值去用HTTP上傳一個文件。要上傳這個文件必須設置CURLOPT_INFILE和CURLOPT_INFILESIZE選項.

CURLOPT_MUTE: 設置這個選項為一個非零值,PHP對於CURL函數將完全沉默。

CURLOPT_TIMEOUT: 設置一個長整形數,作為最大延續多少秒。

CURLOPT_LOW_SPEED_LIMIT: 設置一個長整形數,控制傳送多少字節。

CURLOPT_LOW_SPEED_TIME: 設置一個長整形數,控制多少秒傳送CURLOPT_LOW_SPEED_LIMIT規定的字節數。

CURLOPT_RESUME_FROM: 傳遞一個包含字節偏移地址的長整形參數,(你想轉移到的開始表單)。

CURLOPT_SSLVERSION: 傳遞一個包含SSL版本的長參數。默認PHP將被它自己努力的確定,在更多的安全中你必須手工設置。

CURLOPT_TIMECONDITION: 傳遞一個長參數,指定怎麼處理CURLOPT_TIMEVALUE參數。你可以設置這個參數為TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。這僅用於HTTP。

CURLOPT_TIMEVALUE: 傳遞一個從1970-1-1開始到現在的秒數。這個時間將被CURLOPT_TIMEVALUE選項作為指定值使用,或被默認TIMECOND_IFMODSINCE使用。

下列選項的值將被作為字符串:



CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項。

CURLOPT_USERPWD: 傳遞一個形如[username]:[password]風格的字符串,作用PHP去連接。

CURLOPT_PROXYUSERPWD: 傳遞一個形如[username]:[password] 格式的字符串去連接HTTP代理。

CURLOPT_RANGE: 傳遞一個你想指定的範圍。它應該是'X-Y'格式,X或Y是被除外的。HTTP傳送同樣支持幾個間隔,用逗句來分隔(X-Y,N-M)。

CURLOPT_POSTFIELDS: 傳遞一個作為HTTP 「POST」操作的所有數據的字符串。

CURLOPT_REFERER: 在HTTP請求中包含一個'referer'頭的字符串。

CURLOPT_USERAGENT: 在HTTP請求中包含一個'user-agent'頭的字符串。

CURLOPT_FTPPORT: 傳遞一個包含被ftp 'POST'指令使用的IP地址。這個POST指令告訴遠程服務器去連接我們指定的IP地址。 這個字符串可以是一個IP地址,一個主機名,一個網絡界面名(在UNIX下),或是『-』(使用系統默認IP地址)。

CURLOPT_COOKIE: 傳遞一個包含HTTP cookie的頭連接。

CURLOPT_SSLCERT: 傳遞一個包含PEM格式證書的字符串。

CURLOPT_SSLCERTPASSWD: 傳遞一個包含使用CURLOPT_SSLCERT證書必需的密碼。

CURLOPT_COOKIEFILE: 傳遞一個包含cookie數據的文件的名字的字符串。這個cookie文件可以是Netscape格式,或是堆存在文件中的HTTP風格的頭。

CURLOPT_CUSTOMREQUEST: 當進行HTTP請求時,傳遞一個字符被GET或HEAD使用。為進行DELETE或其它操作是有益的,更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.

注意: 在確認你的服務器支持命令先不要去這樣做。

下列的選項要求一個文件描述(通過使用fopen()函數獲得):



CURLOPT_FILE: 這個文件將是你放置傳送的輸出文件,默認是STDOUT.

CURLOPT_INFILE: 這個文件是你傳送過來的輸入文件。

CURLOPT_WRITEHEADER: 這個文件寫有你輸出的頭部分。

CURLOPT_STDERR: 這個文件寫有錯誤而不是stderr。

 

臉書網友討論
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則



Archiver|手機版|小黑屋|免責聲明|TShopping

GMT+8, 2016-12-9 18:01 , Processed in 0.058865 second(s), 22 queries .

本論壇言論純屬發表者個人意見,與 TShopping綜合論壇 立場無關 如有意見侵犯了您的權益 請寫信聯絡我們。

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表