目的：
使用HTTPClient4.0.1登录到人人网，并从特定的网页抓取数据。
总结&注意事项:
- HttpClient(DefaultHttpClient)代表了一个会话，在同一个会话中，HttpClient对cookie自动进行管理(当然，也可以在程序中进行控制)。
- 在同一个会话中，当使用post或是get发起一个新的请求时，一般需要对调用前一个会话的abort()方法，否则会抛出异常。
- 有些网站登录成功后会重定向(302, 303)，比如这里的人人网。如果发出的是post请求，需要从响应头中取出location，并再次向网站发送请求，以获取最终数据。
- 抓取程序不要运行地过于频繁，大部分站点都有抵制刷网站机制。人人网访问过于频繁会锁账号。
- 使用录制工具录制出登录时向网站发出的请求参数。在这里，我使用了badboy，导出成jmeter文件，在jmeter中就可以看到登录时向网站发送的参数列表和相应的值。
- 人人网属于登陆流程比较简单的网站，后一篇会介绍一家比较难搞的网站。
代码：
public class RenRen {
// The configuration items
private static String userName = "YourMailinRenren";
private static String password = "YourPassword";
private static String redirectURL = "http://blog.renren.com/blog/304317577/449470467";
// Don't change the following URL
private static String renRenLoginURL = "http://www.renren.com/PLogin.do";
// The HttpClient is used in one session
private HttpResponse response;
private DefaultHttpClient httpclient = new DefaultHttpClient();
private boolean login() {
HttpPost httpost = new HttpPost(renRenLoginURL);
// All the parameters post to the web site
List<NameValuePair> nvps = new ArrayList<NameValuePair>();
nvps.add(new BasicNameValuePair("origURL", redirectURL));
nvps.add(new BasicNameValuePair("domain", "renren.com"));
nvps.add(new BasicNameValuePair("isplogin", "true"));
nvps.add(new BasicNameValuePair("formName", ""));
nvps.add(new BasicNameValuePair("method", ""));
nvps.add(new BasicNameValuePair("submit", "登录"));
nvps.add(new BasicNameValuePair("email", userName));
nvps.add(new BasicNameValuePair("password", password));
try {
httpost.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));
response = httpclient.execute(httpost);
} catch (Exception e) {
e.printStackTrace();
return false;
} finally {
httpost.abort();
}
return true;
}
private String getRedirectLocation() {
Header locationHeader = response.getFirstHeader("Location");
if (locationHeader == null) {
return null;
}
return locationHeader.getValue();
}
private String getText(String redirectLocation) {
HttpGet httpget = new HttpGet(redirectLocation);
// Create a response handler
ResponseHandler<String> responseHandler = new BasicResponseHandler();
String responseBody = "";
try {
responseBody = httpclient.execute(httpget, responseHandler);
} catch (Exception e) {
e.printStackTrace();
responseBody = null;
} finally {
httpget.abort();
httpclient.getConnectionManager().shutdown();
}
return responseBody;
}
public void printText() {
if (login()) {
String redirectLocation = getRedirectLocation();
if (redirectLocation != null) {
System.out.println(getText(redirectLocation));
}
}
}
public static void main(String[] args) {
RenRen renRen = new RenRen();
renRen.printText();
}
}
分享到：
相关推荐
httpclient模拟登陆,请大家快过来赶紧下载哦。
Jsoup+httpclient模拟登陆和抓取页面.pdf
最新版httpclient自动登录人人代码，内含有代码，httpclient4.3包，只需要修改账户和密码，就可以登陆
httpclient模拟登陆代码以及相关的jar包
模拟登陆方正系统，在此基础上可以做开发类似课程格子之类的软件供个人或者多人之用
模拟登录 不提供用户名密码
HttpClient模拟登录实例，模拟登录网站，获取用户信息，登录后数据，带验证码登录，带解析HTML实例。
httpclient4之百度模拟登陆，回复与58同城自动登陆
NULL 博文链接：https://shaozhen.iteye.com/blog/950472
httpclient4 微信公众账号模拟登陆，网络上看到的，觉得不错上传出来，供大家一起共同分享学习。
工程里的入口类为：mnLogin.java ，由于模拟登陆的网站，使用了自签名的SSL证书，所以新增两个方法，创建HttpClient不校验服务端证书，后台通过调用登陆接口，获得返回的cookie信息，在使用登陆成功获得cookie，调取...
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader...
此资源为新浪微博和腾讯微博的HttpClient4模拟登录的代码Sina.java为新浪的，TencentClient.java为腾讯的。
httpclient模拟登陆(使用js设置cookie) 代码如下: <html> <meta http-equiv=’Content-Type’ content=’text/html; charset=gb2312′> <link rel=stylesheet type=text/css href=’/bbs.css’> ...
NULL 博文链接：https://lxzqz.iteye.com/blog/2051318
HttpClient4.3模拟登陆新版12306
HttpClient模拟http发送post和get请求
Java，通过 httpclient 获取 cookie 模拟登录 ，登录后携带cookie发起下一个请求
本人的测试用，包括压缩及解压缩，完整模拟,处女作，不想做伸手党
httpclient模拟登录淘宝源码，测试可用。5分重别人那下下来的，jar包没有的我都加全了 httpclient模拟登录淘宝源码，测试可用。5分重别人那下下来的，jar包没有的我都加全了