最近整理一下手头上搞过的一些爬虫，有HttpClients+jsoup，Jsoup，htmlunit，HeadlessChrome
一、HttpClients+jsoup，这是第一代比较low，很快就被第二代代替了！
二、Jsoup
需要的jar包：
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.10.3</version>
</dependency>
代码如下：
// 请求超时时间，30秒
public static final int TIME_OUT = 30*1000;
// 模拟浏览器请求头信息
public static Map<String,String> headers = new HashMap<String,String>();
static{
headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");
headers.put("Accept", "text/html");
headers.put("Accept-Language", "zh-CN,zh");
} //根据url获取html文档
protected Document getDoc(String url) throws IOException{
if(logger.isDebugEnabled())
logger.debug(url);
//新建一个连接
Connection conn = Jsoup.connect(url).timeout(TIME_OUT);
conn = conn.headers(headers);
conn = conn.proxy(Proxy.NO_PROXY);
Document doc = conn.get(); if(logger.isTraceEnabled()){
logger.trace("["+url+"]\n"+doc);
}
return doc;
}
public static final String CHINAZ_ICP_URL = "http://icp.chinaz.com/?type=host&s=%s";
public List<String> doHandler(String domain) {
List<String> results = new ArrayList<String>();
String url = String.format(CHINAZ_ICP_URL, domain);
Document doc;
try {
doc = this.getDoc(url);
// 获取当前页ICP信息所在标签
Elements eles = doc.select("ul.IcpMain01>li:lt(7)>p"); if(null == eles || eles.isEmpty()){
return results;
}
//获取ICP信息
for (Element element : eles) {
//当前元素为认证信息时，跳过
if("safe".equals(element.attr("id"))){
continue;
}
Node firstNode = element.childNode(0);
if(firstNode.childNodeSize() > 0){
results.add(element.child(0).text());
}else{
results.add(((TextNode)firstNode).text());
}
}
} catch (IOException e) {
logger.error("get Chinaz ICP message error :",e);
}
doc = null;
return results;
}
参考Jsoup的文档：链接http://www.open-open.com/jsoup/
Jsoup不支持xpath解析，这个很蛋疼，但是有人去搞个一个支持xpath的东西—JsoupXpath，链接https://www.cnblogs.com/wanghaomiao/p/4899355.html，有兴趣的网友可以自己尝试一下！
三、htmlunit
支持Xpath解析，能够模拟浏览器动作，比如点击下一页，加载更多等等功能。文档链接：http://htmlunit.sourceforge.net/
需要的jar包
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.18</version>
</dependency>
代码如下：
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.TopLevelWindow;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlTableRow; import java.io.IOException;
import java.util.ArrayList;
import java.util.List; public class UrlTest { public static void main(String[] args) {
BaseCollector baseCollector = new BaseCollector();
WebClient webClient = baseCollector.getWebClient();
String url="http://htmlunit.sourceforge.net/";
HtmlPage homePage= null;
try {
homePage = webClient.getPage(url);
if (homePage != null && homePage instanceof HtmlPage) {
homePage.getEnclosingWindow().setName("IpHomePage");
System.out.println("打开 IPHomePage ");
System.out.println("内容是： "+homePage.getBody().getTextContent()); List<HtmlTableRow> htmlTableRows = (List<HtmlTableRow>) homePage.getByXPath("/html/body/pre");
if (htmlTableRows != null && htmlTableRows.size() > 0) {
for (int i = 0; i < htmlTableRows.size(); i++) {
HtmlTableRow htmlTableRow = htmlTableRows.get(i);
//日期
String firstTime = htmlTableRow.getCell(0).getTextContent().trim();
System.out.println(firstTime);
} }
closeWindowByName(webClient, "IPHomePage");
System.out.println("关闭 IPHomePage ");
}
webClient.close(); } catch (IOException e) {
System.out.println(e.getMessage()+" ===="+e);
}catch (FailingHttpStatusCodeException e){
System.out.println(e.getMessage()+" ===="+e);
}
System.out.println("内容是： "+homePage.getBody().getTextContent());
} public static void closeWindowByName(WebClient webClient, String name){
List<TopLevelWindow> list = webClient.getTopLevelWindows();
List windowNames = new ArrayList();
for (int j = 0; j < list.size(); j++) {
if(list.get(j).getName().equals(name)){
list.get(j).close();
}
windowNames.add(list.get(j).getName());
}
System.out.println("当前窗口 ： {}"+list.toString());
}
}
四、HeadlessChrome
1，Headless Chrome 与PhantomJS对比
在 Chrome 未提供原生 Headless 模式前，Web 开发者可以使用 PhantomJS 等第三方 Headless 浏览器。现在官方准备提供 Headless 了，PhantomJS 维护者 Vitaly Slobodin 随即在邮件列表上宣布辞职。另一个流行浏览器 Firefox 也准备提供 Headless 模式。
2，什么是Headless Chrome
Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序。相比于现代浏览器，Headless Chrome 更加方便测试 web 应用，获得网站的截图，做爬虫抓取信息等。
3，环境配置
首先需要下载chrome-driver，不同版本的Chrome对应不同的Chrome-driver，大家可以通过这链接下载对应的Chrome-driver http://npm.taobao.org/mirrors/chromedriver/
支持各种elements的获取，List<WebElement> elements = driver.findElements(By.xpath(“//*[@id=\”body\”]/ul[2]/li”));
可以模拟浏览器的各种动作，driver.findElement(By.linkText(“下一页”)).click();
使用Python来搞HeadlessChrome更方便简单，简直爽翻天。。。。。链接：https://blog.csdn.net/u010986776/article/details/79266448
大家可以参考一下
需要的jar包：
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-chrome-driver</artifactId>
<version>3.11.0</version>
</dependency>
代码如下：
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions; import java.util.List;
import java.util.concurrent.TimeUnit; /**
* Created by sqy on 2018/5/2.
*/
public class HeadlessChromeTest { public static void main(String args[]) { //G:\chromedriver
System.setProperty("webdriver.chrome.driver","G:\\chromedriver\\chromedriver.exe");
ChromeOptions chromeOptions = new ChromeOptions();
// 设置为 headless 模式 （必须）
chromeOptions.addArguments("--headless");
// 设置浏览器窗口打开大小 （非必须）
chromeOptions.addArguments("--window-size=1920,1080");
WebDriver driver = new ChromeDriver(chromeOptions);
driver.get("https://lvyou.baidu.com/scene/s-feb/"); System.out.println("url: "+driver.getCurrentUrl()); for(int i=0;i<12;i++){
try {
/**
* WebDriver自带了一个智能等待的方法。
dr.manage().timeouts().implicitlyWait(arg0, arg1）；
Arg0：等待的时间长度，int 类型 ；
Arg1：等待时间的单位 TimeUnit.SECONDS 一般用秒作为单位。
*/
driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);
} catch (Exception e) {
e.printStackTrace();
}
//点击按钮
driver.findElement(By.linkText("下一页")).click();
List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"body\"]/ul[2]/li"));
for (WebElement el:elements) {
System.out.println(el.getText());
}
System.out.println("url: "+driver.getCurrentUrl());
} /**
* dr.quit()和dr.close()都可以退出浏览器,简单的说一下两者的区别：第一个close，
* 如果打开了多个页面是关不干净的，它只关闭当前的一个页面。第二个quit，
* 是退出了所有Webdriver所有的窗口，退的非常干净，所以推荐使用quit最为一个case退出的方法。
*/
driver.quit(); }
}
HeadlessChrome的webdriver是在selenium里面的所以很多功能可以通过查询java selenium 功能来查找自己想要实现的功能！
例如截屏功能
//截图
File scrFile = ((TakesScreenshot) driver).getScreenshotAs(OutputType.FILE);
try {
String savePath = "H:\\bbb\\screenshot.png";
//复制内容到指定文件中
FileUtils.copyFile(scrFile, new File(savePath));
} catch (Exception e) {
e.printStackTrace();
}
—————————————————-若有不正之处，请谅解和批评指正，不胜感激！！！！！
