我用php ,curl主要是抓取数据,当然我们可以用其他的方法来抓取,比如fsockopen,file_get_contents等。但是只能抓那些能直接访问的页面,如果要抓取有页面访问控制的页面,或者是登录以后的页面就比较困难了。
1,抓取无访问控制文件
-
<?php
-
$ch=curl_init();
-
curl_setopt($ch,CURLOPT_URL,"http://localhost/aerchi/phpinfo.php");
-
curl_setopt($ch,CURLOPT_HEADER,false);
-
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
-
$result=curl_exec($ch);
-
curl_close($ch);
-
?>
2,使用代理进行抓取
为什么要使用代理进行抓取呢?以google为例吧,如果去抓google的数据,短时间内抓的很频繁的话,你就抓取不到了。google对你的ip地址做限制这个时候,你可以换代理重新抓。
-
<?php
-
$ch=curl_init();
-
curl_setopt($ch,CURLOPT_URL,"http://www.aerchi.com");
-
curl_setopt($ch,CURLOPT_HEADER,false);
-
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
-
curl_setopt($ch,CURLOPT_HTTPPROXYTUNNEL,TRUE);
-
curl_setopt($ch,CURLOPT_PROXY,125.21.23.6:8080);
-
-
$result=curl_exec($ch);
-
curl_close($ch);
-
?>
3,post数据后,抓取数据
单独说一下数据提交数据,因为用 curl的时候,很多时候会有数据交互的,所以比较重要的。
-
<?php
-
$ch=curl_init();
-
-
-
-
$data=array('name'=>'test','sex'=>1,'birth'=>'20101010');
-
curl_setopt($ch,CURLOPT_URL,'http://localhost/aerchi/curl/upload.php');
-
curl_setopt($ch,CURLOPT_POST,1);
-
curl_setopt($ch,CURLOPT_POSTFIELDS,$data);
-
curl_exec($ch);
-
?>
在upload.php文件中,print_r($_POST);利用curl就能抓取出upload.php输出的内容Array
( [name] => test [sex] => 1 [birth] => 20101010 )
4,抓取一些有页面访问控制的页面
以前写过一篇,页面访问控制的3种方法有兴趣的可以看一下。
如果用上面提到的方法抓的话,会报以下错误
You are not authorized to view this page
You do not have permission to view this directory or page using the credentials that you supplied because your Web browser is sending a WWW-Authenticate header field that the Web server is not configured to accept.
这个时候,我们就要用CURLOPT_USERPWD来进行验证了
-
<?php
-
$ch=curl_init();
-
curl_setopt($ch,CURLOPT_URL,"http://club-china");
-
-
-
-
curl_setopt($ch,CURLOPT_HTTPGET,1);
-
curl_setopt($ch,CURLOPT_REFERER,"http://club-china");
-
curl_setopt($ch,CURLOPT_HEADER,0);
-
$result=curl_exec($ch);
-
curl_close($ch);
-
?>
5,模拟登录到sina
我们要抓取数据,可能是登录以后的内容,这个时候我们就要用到curl的模拟登录功能了。
-
<?php
-
-
functionchecklogin($user,$password)
-
{
-
if(emptyempty($user)||emptyempty($password))
-
{
-
return0;
-
}
-
$ch=curl_init();
-
curl_setopt($ch,CURLOPT_REFERER,"http://mail.sina.com.cn/index.html");
-
curl_setopt($ch,CURLOPT_HEADER,true);
-
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
-
curl_setopt($ch,CURLOPT_USERAGENT,USERAGENT);
-
curl_setopt($ch,CURLOPT_COOKIEJAR,COOKIEJAR);
-
curl_setopt($ch,CURLOPT_TIMEOUT,TIMEOUT);
-
curl_setopt($ch,CURLOPT_URL,"http://mail.sina.com.cn/cgi-bin/login.cgi");
-
curl_setopt($ch,CURLOPT_POST,true);
-
curl_setopt($ch,CURLOPT_POSTFIELDS,"&logintype=uid&u=".urlencode($user)."&psw=".$password);
-
$contents=curl_exec($ch);
-
curl_close($ch);
-
if(!preg_match("/Location:(.*)\\/cgi\\/index\\.php\\?check_time=(.*)\n/",$contents,$matches))
-
{
-
return0;
-
}else{
-
return1;
-
}
-
}
-
-
define("USERAGENT",$_SERVER['HTTP_USER_AGENT']);
-
define("COOKIEJAR",tempnam("/tmp","cookie"));
-
define("TIMEOUT",500);
-
-
echochecklogin("zhangying215","xtaj227");
-
?>
打开/tmp下面的cookie文件看一下
# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This file was generated by libcurl! Edit at your own risk.
mail.sina.com.cn FALSE / FALSE 0 SINAMAIL-WEBFACE-SESSID 65223c4bd8900284ed463d2a3e1ac182
#HttpOnly_.sina.com.cn TRUE / FALSE 0 SUE es%3D8d96db0820c6c79922ad57d422f575e8%26ev%3Dv0%26es2%3Dcddfb8400dc5ca95902367ddcd7f57dd
.sina.com.cn TRUE / FALSE 0 SUP cv%3D1%26bt%3D1286900433%26et%3D1286986833%26lt%3D1%26uid%3D1445632344%26user%3D%25E5%25BC%25A0%25E6%2598%25A02001%26ag%3D2%26name%3Dzhangying20015%2540sina.com%26nick%3D%25E5%25BC%25A0%25E6%2598%25A02001%26sex%3D1%26ps%3D0%26email%3Dzhangying20015%2540sina.com%26dob%3D1982-07-18
#HttpOnly_.sina.com.cn TRUE / FALSE 0 SID BihcallomxMx-QZxzGrOlcSQx%2F0B%2F0cmr.NyQ%2F0B%2FcmGGalmarlmcHrcGlSmrmxmfxal_CBZ%2F_afugCmmGirBYHm0Bc%40fr5ciZiGG5i
#HttpOnly_.sina.com.cn TRUE / FALSE 0 SPRIAL bfb4102951fd5892a3fd5b42d442cd26
#HttpOnly_.sina.com.cn TRUE / FALSE 0 SINA_USER %D5%C5%D2001
分享到:
相关推荐
下面小编就为大家带来一篇php curl常用的5个经典例子。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
下面我们以一个例子来展示这个过程。 假设本地有一个文本文件log.txt,其路径为”/www/test/log.txt”,内容如下: this is a file for test hello PythonTab! 为了把这个文件上传给服务端的脚本http://you
用来替换WAMP server下的php_curl.dll,解决加载curl报错或无法加载问题。下载解压后,覆盖wamp\bin\php\php5.4.3\ext目录下对应文件,重启apache即可...另注意,这个对应的是PHP 5.3.13,若版本不对也会无法加载curl.
php curl模仿form表单提交图片或文件 用的tp5做的例子
php扩展 php_curl 其中包括libeay32.dll,php_curl.dll和ssleay32.dll是开启php_curl的必备条件
使用函数之前我们要需要把php curl模块打开(libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll) 开启php curl函数库的步骤 1).去掉windows/php.ini 文件里;extension=php_curl.dll前面的; /*用 echo phpinfo...
一个php中curl类, 设置Cookie文件保存路径及文件名,模拟登录获取Cookie函数 , 模拟获取内容函数,模拟提交数据函数,php中curl类常用方法封装和详解
分享一个php中curl类, 设置Cookie文件保存路径及文件名,模拟登录获取Cookie函数 , 模拟获取内容函数,模拟提交数据函数,php中curl类常用方法封装和详解
curl命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解php CURL 命令详解...
php curl中长连接实现,对于同一个域名和端口的访问,可以做到在同一个进程中复用同一个连接,特别是对于经常内网访问的地址,性能提升很大!
主要介绍了PHP封装CURL扩展类,实例分析了基于curl发送post、get请求及操作cookie等相关技巧 编码规范 * @class 类名首字母大写,类名为多个单词, 每个大字首字母大写 eg: class Curl , class CurlPage * @variable...
php curl 详解 php curl 详解 php curl 详解 php curl 详解
使用函数之前我们要需要把php curl模块打开(libeay32.dll, ssleay32.dll, php5ts.dll, php_curl.dll) 开启php curl函数库的步骤 1).去掉windows/php.ini 文件里;extension=php_curl.dll前面的; /*用 ...
php_curl_使用实例 curl的使用方法 curl 模拟post提交 curl 设置 UA、cookie 等 都有纤细例子
shell-curl小例子,md5加密,shell时间处理
php curl 报错 php 导入整数 cacert.pem
一个PHP curl get post通用类,curl 通用方法 。。get /post 传送数据,设置发送方式 0 get 1 post。具有很好的参考价值,朋友们如果喜欢可以下载,如果有更好的curl类可以发布到我们php中文网,大家一起学习交流。
php curl上传或下载文件时创建进度条
php curl 自动微博登陆,使用curl,