PHP 使用Curl函数模拟搜索引擎蜘蛛爬虫,我们这里以so.com (360Spider)为例:
<?php print_r(_GetContent('http://www.laoji.org')); /** * cURL获取网页内容 */ function _GetContent( $url ) { $curl = curl_init();//初始化一个curl会话; curl_setopt($curl,CURLOPT_URL,$url);//指定访问的url curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider"); curl_setopt($curl,CURLOPT_POST,$data);//post请求的参数, curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//获取的信息以文件流的方式返回 $data = curl_exec($curl);//执行curl; curl_close($curl); // 关闭CURL会话 return $data; }
发表回复