开发工具:
文件大小: 16mb
下载次数: 0
上传时间: 2013-05-24
详细说明： package test; import java.io.IOException; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Queue; import org.htmlparser.Node; import org.htmlparser.Parser; import org.htmlparser.Tag; import org.htmlparser.util.NodeIterator; import org.htmlparser.util.NodeList; import org.htmlparser.util.ParserException; public class Spider implements Runnable { boolean search_key_words = false; int count = 0; int l imitsite = 10; int countsite = 1; String keyword = "中国"; Parser parser = new Parser(); // List linkList=new ArrayList(); String startsite = ""; SearchResultBean srb; List resultList = new ArrayList(); List searchsite = new ArrayList(); Queue linklist = new LinkedList(); HashMap> disallowListCade = new HashMap>(); public Spider(String keyword, String startsite) { this.keyword = keyword; this.startsite = startsite; linklist.add(startsite); srb = new SearchResultBean(); } public void run() { } public void search(Queue queue) { String url = ""; while (!queue.isEmpty()) { url = queue.peek().toString(); try { if (!isSearched(searchsite, url)) { if (isRobotAllowed(new URL(url))) { processHtml(url); } } else { System.out.println("thissssssss"); } } catch (Exception e) { e.printStackTrace(); } queue.remove(); } } private void processHtml(String url) throws Exception { searchsite.add(url); count = 0; System.out.println("searching..." + url); try { parser.setURL(url); parser.setEncoding("gbk"); URLConnection uc = parser.getConnection(); uc.connect(); uc.getLastModified(); NodeIterator nit = parser.elements(); while (nit.hasMoreNodes()) { Node node = nit.nextNode(); parserNode(node); } srb.setKeyWords(keyword); srb.setUrl(url); srb.setCount_key_words(count); resultList.add(srb); System.out.println("keywords:" + count); } catch (ParserException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } public void dealTag(Tag tag) throws Exception { NodeList list = tag.getChildren(); if (list != null) { NodeIterator it = list.elements(); while (it.hasMoreNodes()) { Node node = it.nextNode(); parserNode(node); } } } private void parserNode(Node node) throws Exception { if (node instanceof StringNode) { StringNode n = (StringNode) node; } } private boolean isRobotAllowed(URL url) { return false; } private boolean isSearched(List searchsite2, String url) { return false; } } ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
