羊皮紙論壇

分享讓知識傳播，閱讀讓心靈成長，創作讓文化傳承，讓我們共同努力。

禁止廣告文
知識傳播
閱讀
心靈成長
創作
文化傳承

羊皮紙論壇關於羊皮紙論壇論壇目錄主題搜尋支援服務

論壇目錄 / 程式設計 / 網頁/網站程式 / PHP /

PHP 如何獲取網頁內容

發表新主題

隨機主題

上個主題

下個主題

PHP 如何獲取網頁內容

???

1、fopen的使用

代碼如下:

程式項目名稱

/* 原始程式碼 */
<?php
$handle = fopen ("http://example.com/", "rb");
$contents = "";
while (!feof($handle)) {
$contents .= fread($handle, 8192);
}
fclose($handle);
echo $contents; //輸出獲取到得內容。
?>

對 PHP 5 及更高版本可以使用下面的代碼

程式項目名稱

/* 原始程式碼 */
<?php
$handle = fopen("http://example.com", "rb");
$contents = stream_get_contents($handle);
fclose($handle);
echo $contents;
?>

但上面的代碼容易出現 failed to open stream: HTTP request failed!錯誤，解決方法

有人說在php.ini中，有這樣兩個選項:allow_url_fopen =on(表示可以通過url打開遠程文件)，user_agent="PHP"（表示通過哪種腳本訪問網絡，默認前面有個 " ; " 去掉即可。）重啟服務器。

但是有些還是會有這個警告信息，想用完美的解決還差一步，還得設置php.ini裏面的user_agent，php默認的user_agent是PHP，我們把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)來模擬瀏覽器就可以了

php.ini

user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

在工作中遇到這個問題，後完美解決，故分享給大家。

2、通過curl來實現

代碼如下:

程式項目名稱

/* 原始程式碼 */
<?php
$url = "http://example.com";
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);
$dxycontent = curl_exec($ch);
echo $dxycontent;
?>

linux下可以使用下面的代碼下載
exec("wget {$url}");

PHP抓取外部資源函數fopen / file_get_contents / curl 的區別

fopen / file_get_contents 每次請求都會重新做DNS查詢，並不對DNS信息進行緩存。
但是CURL會自動對DNS信息進行緩存。對同一域名下的網頁或者圖片的請求只需要一次DNS查詢。
這大大減少了DNS查詢的次數。
所以CURL的性能比fopen / file_get_contents 好很多。

關鍵字 : handle, fopen, contents, user_agent, 原始程式碼, example, curl_setopt, fclose, failed, dxycontent, compatible, Windows, DNS查詢, DNS信息進行緩存, 高版本可以使用下面, 重啟服務器, 通過哪種腳本訪問網絡, 通過curl來實現, 這大大減少, 輸出獲取到得內容

2012-04-25T07:28:00+0000