您当前位置:设计在线网 >> JavaScript >> 浏览文章

Java网页数据采集器数据存储实例教程

分享到:
本文章讲述了Java网页数据采集器数据存储实例教程.

介:

       
作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发的程序员(尤其是做前端开发),正则表达式是必备的。

        最近,由于一些需要,用到了java和正则,做了个的足球网站的数据采集程序,由于是第一次做关于java的html页面数据采集,必然在网上查找了很多资料,但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少,都是简单的谈了下java正则的概念,没有真正用在实际网页html采集,所以实例教程更是寥寥无几(虽然java有它自己的Html Parser,而且十分强大),但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.

本期概述:

上期我们讲到了html页面的数据采集,为了方便我们今后来调用收集到的数据,这期我们要讲讲如何做数据存储(MySql数据库).
数据采集页面 2011-2012赛季英超球队战绩

关于Java操作MySql

在使用java 操作MySql数据库之前 我们需要在项目文件中导入 一个jar包(mysql-connector-java-5.1.18-bin)
可以在MySql官网下载 Connector/J 5.1.18

关于MySql数据库

如果是初学者 想使用MySql数据库的话 可以去这里XAMPP中文官网 下载 XAMPP 套装
XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建 XAMPP 软件站集成软件包,而且一键式安装,无需修改配置文件,非常好用。
好了 需要准备的事宜都完成了 我们开始写代码
打开MySql数据库 创建数据库 和表 (拷贝如下代码 到mysql里直接执行即可)

  1. //创建数据库  htmldatacollection  
  2. CREATE DATABASE htmldatacollection;   
  3. //在创建表之前 我们需要使用数据库htmldatacollection  
  4. use htmldatacollection;      
  5. //在数据库里 创建一个表 Premiership 用于存储我们收集到的数据  
  6. //这里为了方便 所有字段 全部是字符串格式
  7. CREATE TABLE Premiership(Date varchar(15),  
  8. HomeTeam varchar(20),  
  9. AwayTeam varchar(20),  
  10. Result varchar(20)   
  11. )  

创建好后 我们来看看数据库结构

点击浏览下一页

数据库弄好了 我们开始实施java代码
这里简单介绍下各个类以及类所包含的方法
DataStorage类 以及包含的 dataStore()方法 用于数据收集和存储
1. import java.io.BufferedReader; 
2. import java.io.IOException; 
3. import java.io.InputStreamReader; 
4. import java.net.URL; 
5. public class DataStorage { 
6.     public void dataStore() { 
7.         // 首先用一个字符串 来装载网页链接 
8.         String strUrl= http://www.footballresults.org/league.php?all=1&league=EngPrem
9.         String sqlLeagues = ""; 
10.         try { 
11.             // 创建一个url对象来指向 该网站链接 括号里()装载的是该网站链接的路径 
12.             // 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html
13.             URL url = new URL(strUrl); 
14.             // InputStreamReader 是一个输入流读取器 用于将读取的字节转换成字符 
15.             // 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html 
16.             InputStreamReader isr = new InputStreamReader(url.openStream(), 
17.                     "utf-8"); // 统一使用utf-8 编码模式  
18.             // 使用 BufferedReader 来读取 InputStreamReader 转换成的字符 
19.             BufferedReader br = new BufferedReader(isr);  
20.             String strRead = ""; // new 一个字符串来装载 BufferedReader 读取到的内容 
21.             // 定义3个正则 用于获取我们需要的数据  
22.             String regularDate = "(\\d{1,2}\\.\\d{1,2}\\.\\d{4})";  
23.             String regularTwoTeam = ">[^<>]*</a>";  
24.             String regularResult = ">(\\d{1,2}-\\d{1,2})</TD>";  
25.             //创建 GroupMethod类的对象 gMethod 方便后期调用其类里的 regularGroup方法 
26.             GroupMethod gMethod = new GroupMethod();  
27.             //创建DataStructure数据结构 类的对象   用于数据下面的数据存储 
28.             DataStructure ds = new DataStructure();  
29.             //创建MySql类的对象 用于执行MySql语句  
30.             MySql ms = new MySql(); 
31.             int i = 0; // 定义一个i来记录循环次数 即收集到的球队比赛结果数 
32.             int index = 0; // 定义一个索引 用于获取分离 2个球队的数据 因为2个球队正则是相同的  
33.             // 开始读取数据 如果读到的数据不为空 则往里面读  
34.             while ((strRead = br.readLine()) != null) {  
35.                 /** 
36.                  * 用于捕获日期数据 
37.                  */  
38.                 String strGet = gMethod.regularGroup(regularDate, strRead);  
39.                 // 如果捕获到了符合条件的 日期数据 则打印出来  
40.                 if (!strGet.equals("")) {  
41.                     //System.out.println("Date:" + strGet);  
42.                     //将收集到的日期存在数据结构里  
43.                     ds.date = strGet;  
44.                     // 这里索引+1 是用于获取后期的球队数据  
45.                     ++index; // 因为在html页面里 源代码里 球队数据是在刚好在日期之后  
46.                 }  
47.                 /**  
48.                  * 用于获取2个球队的数据  
49.                  */  
50.                 strGet = gMethod.regularGroup(regularTwoTeam, strRead); 
51.                 if (!strGet.equals("") && index == 1) { // 索引为1的是主队数据  
52.                     // 通过subtring方法 分离出 主队数据  
53.                     strGet = strGet.substring(1, strGet.indexOf("</a>"));  
54.                     //System.out.println("HomeTeam:" + strGet); // 打印出主队  
55.                     //将收集到的主队名称 存到 数据结构里  
56.                     ds.homeTeam = strGet;  
57.                     index++; // 索引+1之后 为2了  
58.                  // 通过subtring方法 分离出 客队  
59.                 } else if (!strGet.equals("") && index == 2) { // 这里索引为2的是客队数据  
60.                     strGet = strGet.substring(1, strGet.indexOf("</a>"));  
61.                     //System.out.println("AwayTeam:" + strGet); // 打印出客队 
62.                     //将收集到的客队名称 存到数据结构里  
63.                     ds.awayTeam = strGet;  
64.                     index = 0;  //收集完客队名称后 需要将索引还原 用于收集下一条数据的主队名称  
65.                 }  
66.                 /** 
67.                  * 用于获取比赛结果  
68.                  */  
69.                 strGet = gMethod.regularGroup(regularResult, strRead);  
70.                 if (!strGet.equals("")) {  
71.                     // 这里同样用到了substring方法 来剔除'<' 和 "</TD>" 标签 来获取我们想要的比赛结果  
72.                     strGet = strGet.substring(1, strGet.indexOf("</TD>"));  
73.                     //System.out.println("Result:" + strGet);  
74.                     ds.result = strGet; //将收集到的比赛结果存到数据结构里  
75.                     //System.out.println();   
76.                     //MySql插入语句  
77.                     sqlLeagues = "INSERT INTO Premiership values(\""  
78.                             + ds.date + "\"," + "\"" + ds.homeTeam  
79.                             + "\"," + "\"" + ds.awayTeam + "\","+ "\"" + ds.result + "\")";  
80.                     //调用MySql类的datatoMySql()方法 来执行 MySql插入语句  
81.                     ms.datatoMySql(sqlLeagues);  
82.                     i++; //每插入完一条记录 i+1;  
83.                     System.out.println("第"+i+"条数据插入成功"); 
84.                 } 
85.             }  
86.             // 当读完数据后 记得关闭 BufferReader  
87.             br.close();  
88.             //System.out.println("共收集到" + i + "条比赛记录");// 打印出循环次数 
89.             //当数据存储完成后 打印出 收集球队记录数  
90.             System.out.println("数据存储完毕,共插入数据库"+i+"条记录"); 
91.         } catch (IOException e) { 
92.             // 如果出错 抛出异常 
93.             e.printStackTrace(); 
94.         } 
95.     } 
96. }

推荐阅读:
JAVA 语言基本知识介绍
Java程序代码设计模式之虚拟代理模式
Java中编码规范说明

相关文章:

推荐文章  
赞助商链接  
热门排行  
主题推广  
中国设计在线网 All Rights Reserved. 互联网违法和不良信息举报
信息产业部备案号:湘ICP备09001063号