php curl 模拟搜索引擎爬虫实例 360Spider

使用Curl函数模拟搜索引擎蜘蛛爬虫,我们这里以so.com (360Spider)为例:

<?php	
    print_r(_GetContent('http://www.laoji.org'));
    /**
     * cURL获取网页内容
     */
    function _GetContent( $url )    {
        $curl = curl_init();//初始化一个curl会话;
        curl_setopt($curl,CURLOPT_URL,$url);//指定访问的url
        curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider");
        curl_setopt($curl,CURLOPT_POST,$data);//post请求的参数,
        curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//获取的信息以文件流的方式返回

        $data = curl_exec($curl);//执行curl;
        curl_close($curl); // 关闭CURL会话
        return $data;
    }

 

搬瓦工,年付$49.99CN2高速线路,1024MB内存/1000GB流量/1GB带宽,电信联通优化KVM,延迟低,速度快,建站稳定,搬瓦工BandwagonHost VPS优惠码BWH26FXH3HIQ,支持<支付宝> 【点击购买】!

Vultr月付$3.5日本节点,512M内存/500G流量/1G带宽,电信联通优化,延迟低,速度快【点击购买】!

搬瓦工1111特惠,年付$29.882核CPU/2048MB内存/1TB流量/1GB带宽,随意切换机房KVM,延迟低,速度快,建站稳定,搬瓦工BandwagonHost VPS优惠码BWH26FXH3HIQ,支持<支付宝> 【点击购买】!

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注

Scroll Up