[数据][xml格式] 2012年统计用区划代码和城乡划分代码

很早之前发过一个SQL的行政区划代码，是到县一级的，这次的代码是到村一级的。

中国行政区划代码数据库文件 - 最新县及县以上行政区划代码（截止2012年10月31日）

http://www.jb51.cc/article/p-wwujmdhh-hs.html

2012年统计用区划代码和城乡划分代码

数据来源:http://www.stats.gov.cn/zjtj/tjbz/tjyqhdmhcxhfdm/2012/

格式:XML

预览图:

下载地址：

全国数据（所有数据都在一个XML内）：http://pan.baidu.com/s/1hqxD6vU

分省数据：http://pan.baidu.com/s/1c0nCrhm

全国+分省数据：http://pan.baidu.com/s/1o6yNmZK

如果想自己获取，可以运行下面文件(源码在最下面)：

Jar文件:http://pan.baidu.com/s/1i30trNJ

XML使用方法:用你会的方法读取XML即可，总比网页获取方便。或者看下面的源码，使用xstream直接读取。

JAR使用方法:如java -jar iseaSpider.jar d:/folderA/ 行政区划_ALL.xml

程序不自动创建目录，请保证目录存在。

程序代码：

一共三个类，其中有两个类代码比较少，直接上截图：

枚举对象：

节点对象，setter和getter省略

依赖JAR包：

技术说明：使用jsoup抓取数据，使用xstream读写xml，具体看代码：

package com.isea.aab301;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.thoughtworks.xstream.XStream;

/**
 * 获取行政区划信息，写入到xml文件
 * @author liuzh
 *
 */
public class Spider {
	public static final String USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/31.0.1650.63 Safari/537.36";

	private static final String BASE_URL = "http://www.stats.gov.cn/zjtj/tjbz/tjyqhdmhcxhfdm/2012/";
	
	private static final String INDEX = "index.html";
	
	private int total = 0;
	private String filePath;
	
	public void setFilePath(final String filePath) {
		String path = filePath.replaceAll("\\\\","/");
		if(!path.endsWith("/")){
			path+="/";
		}
		this.filePath = path;
	}

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		
		if(args.length<1||args.length>2){
			System.out.println("参数错误");
			System.out.println("程序需要一个保存XML的路径和一个可选参数xml文件名,xml文件名默认为\"行政区划_ALL.xml\"");
			System.out.println("如java -jar iseaSpider.jar d:/folderA/ 行政区划_ALL.xml");
			System.out.println("如果字符串有空格，请使用双引号\"");
			return;
		}
		
		Spider spider = new Spider();
		String fileName = "行政区划_ALL.xml";
		if(args.length==2){
			fileName = args[1];
		}
		spider.setFilePath(args[0]);
		
		List<Isea> iseaList = spider.getALL();
		//写入到xml
		try {
			//spider.toXml(iseaList,"d:/a.xml");
			spider.toXml(iseaList,fileName);
		} catch (Exception e) {
			e.printStackTrace();
		}
		
	}
	
	/**
	 * 写入到xml
	 * @param list
	 * @param filePath
	 * @throws Exception
	 */
	public void toXml(List<Isea> list,String fileName) throws Exception{
		XStream xstream = new XStream();
		xstream.alias("areas",List.class); 
		xstream.autodetectAnnotations(true);
		FileOutputStream fos = null;
		try {
			fos = new FileOutputStream(new File(filePath+fileName));
			fos.write("<?xml version=\"1.0\" encoding=\"GBK\" ?>\n".getBytes());
			xstream.toXML(list,fos);
		} finally {
			try {
				if(fos!=null){
					fos.close();
				}
			} catch (Exception e) {
				throw new Exception(e.getMessage());
			}
		}
	}
	
	/**
	 * 写入到xml
	 * @param list
	 * @param filePath
	 * @throws Exception
	 */
	@SuppressWarnings("unchecked")
	public List<Isea> fromXml(String fileName) {
		System.out.println("读取:"+fileName);
		XStream xstream = new XStream();
		xstream.alias("areas",ArrayList.class); 
		xstream.alias("area",Isea.class); 
		xstream.autodetectAnnotations(true);
		FileInputStream fis = null;
		try {
			fis = new FileInputStream(new File(filePath+fileName));
			return (List<Isea>)xstream.fromXML(new File(filePath+fileName),Charset.forName("UTF8"));
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} finally {
			if(fis!=null){
				try {
					fis.close();
				} catch (IOException e) {
				}
			}
		}
		return null;
	}
	
	
	
	/**
	 * 判断文件是否存在
	 * @param fileName
	 * @return
	 */
	private boolean fileExists(String fileName){
		File file = new File(filePath+fileName);
		if(file.exists()){
			return true;
		}
		return false;
	}
	
	
	/**
	 * 获取全部级别信息
	 * @return
	 */
	public List<Isea> getALL(){
		Document doc = getDoc(BASE_URL+INDEX);
		List<Isea> iseaList = getProvince(doc);
		for(Isea isea:iseaList){
			if(fileExists(isea.getText()+".xml")){
				//已经存在..直接读取
				isea.setChildren(fromXml(isea.getText()+".xml"));
			}
			else {
				isea.setChildren(getCity(isea));
				//单个文件写入
				try {
					toXml(isea.getChildren(),isea.getText()+".xml");
				} catch (Exception e) {
					System.out.println(e.getMessage());
				}
			}
		}
		return iseaList;
	} 
	
	/**
	 * 获取省-直辖市地址
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getProvince(Document baseDoc){
		Elements elements = baseDoc.select(".provincetr td a");
		Iterator<Element> iter = elements.iterator();
		Element element = null;
		List<Isea> list = new ArrayList<Isea>();
		Isea a = null;
		while (iter.hasNext()) {
			element = iter.next();
			a = new Isea();
			String href = element.attr("href");
			a.setType(DM.PROVINCE.toString());
			a.setLevel(1);
			a.setHref(BASE_URL+href);
			a.setText(element.text());
			a.setCode(href.substring(0,href.lastIndexOf(".")));
			System.out.println("省："+a.getText() + " - 代码："+a.getCode());
			list.add(a);
		}
		return list;
	}
	

	/**
	 * 获取市
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getCity(Isea isea){
		if(isea.getHref()==null||isea.getHref().equals("")){
			return null;
		}
		String baseURL = isea.getHref();
		baseURL = baseURL.substring(0,baseURL.lastIndexOf("/")+1);
		return getBase(isea,DM.CITY,baseURL);
	}
	
	/**
	 * 获取县区
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getCounty(Isea isea){
		//http://www.stats.gov.cn/zjtj/tjbz/tjyqhdmhcxhfdm/2012/13/     1301.html
		if(isea.getHref()==null||isea.getHref().equals("")){
			return null;
		}
		String baseURL = isea.getHref();
		baseURL = baseURL.substring(0,DM.COUNTY,baseURL);
	}
	
	/**
	 * 获取乡镇
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getTown(Isea isea){
		//http://www.stats.gov.cn/zjtj/tjbz/tjyqhdmhcxhfdm/2012/13/01/      130102.html
		//http://www.stats.gov.cn/zjtj/tjbz/tjyqhdmhcxhfdm/2012/13/01/02/      130102001.html
		if(isea.getHref()==null||isea.getHref().equals("")){
			return null;
		}
		String baseURL = isea.getHref();
		baseURL = baseURL.substring(0,DM.TOWN,baseURL);
	}
	
	/**
	 * 获取村社区
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getvillage(Isea isea){
		return getBase(isea,DM.VILLAGE,null);
	}
	
	/**
	 * 获取基础
	 * @param baseDoc
	 * @return
	 */
	public List<Isea> getBase(Isea isea,DM dm,String baseURL){
		if(isea.getHref()==null){
			return null;
		}
		Document doc = getDoc(isea.getHref());
		if(doc==null){
			return null;
		}
		Elements elements = doc.select(dm.val());
		Iterator<Element> iter = elements.iterator();
		Element element = null;
		List<Isea> list = new ArrayList<Isea>();
		Isea a = null;
		while (iter.hasNext()) {
			element = iter.next();
			Elements es = null;
			es = element.select("td");
			
			Iterator<Element> is = es.iterator();
			a = new Isea();
			//设置类型 - 村一级的特殊
			a.setType(dm.toString());
			//等级
			a.setLevel(isea.getLevel()+1);
			Element el = null;
			if(is.hasNext()){
				el = is.next();
				if(el.select("a").size()>0){
					String href = el.select("a").first().attr("href");
					if(href!=null&&!href.equals("")&&baseURL!=null){
						a.setHref(baseURL+href);
					} else {
						a.setHref(null);
					}
				} else {
					a.setHref(null);
				}
				a.setCode(el.text());
			}
			//VILLAGE特殊
			if(dm ==DM.VILLAGE){
				if(is.hasNext()){
					el = is.next();
					a.setType(el.text());
				}
			}
			if(is.hasNext()){
				//从这个上面也能获取URL，如果URL不存在，则将之前的URL = null
				el = is.next();
				if(el.select("a").size()>0){
					String href = el.select("a").first().attr("href");
					if(href!=null&&!href.equals("")&&baseURL!=null){
						a.setHref(baseURL+href);
					} else {
						a.setHref(null);
					}
				} else {
					a.setHref(null);
				}
				a.setText(el.text());
			}
			System.out.println("序号："+(total++)+" - 名称："+a.getText() + " - 代码："+a.getCode());
			//获取子节点
			switch (dm) {
			case CITY:
				//获取子节点
				a.setChildren(getCounty(a));
				break;
			case COUNTY:
				a.setChildren(getTown(a));
				break;
			case TOWN:
				a.setChildren(getvillage(a));
				break;
			default:
				break;
			}
			list.add(a);
		}
		return list;
	}
	
	
	
	
	
	/**
	 * 获取网页内容
	 * @param url
	 * @return
	 */
	public Document getDoc(String url){
		Document doc = null;
		try {
			doc = Jsoup.connect(url).timeout(0).userAgent(USER_AGENT).get();
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
		return doc;
	}

}

主要代码很简单，上面是为了处理一些特殊情况，代码量增加不少。。

为了防止获取过程中断线等异常情况，程序会分省写入xml，再次执行的时候会直接读取已有的xml，不会从头开始。

使用上面XML的时候，上面源码中提供了方法：

/**
	 * 写入到xml
	 * @param list
	 * @param filePath
	 * @throws Exception
	 */
	@SuppressWarnings("unchecked")
	public List<Isea> fromXml(String fileName) {
		System.out.println("读取:"+fileName);
		XStream xstream = new XStream();
		xstream.alias("areas",Charset.forName("UTF8"));
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} finally {
			if(fis!=null){
				try {
					fis.close();
				} catch (IOException e) {
				}
			}
		}
		return null;
	}
	

转载或分享数据请注明作者。