摘要：
Curl是一个强大的URL语法的客户端，支持DICT,FILE,FTP,FTPS,Gopher,HTTP,HTTPS,IMAP,IMAPS,LDAP,LDAPS,POP3,POP3S,RTMP,RTSP,SCP,SFTP,SMTP,SMTPS等多种协议。Lxml是python一个非常好用的xml模块，同时支持html的处理。虽然html是xml的一个子集，但是有些html网页写的不够标准，例如写了但是又没写，这种情况下使用xml工具来分析绝对是会报错的，但是html工具通常就可以很好的兼容这些非标准的情况。用urlparse的urljoin可以很好的帮你处理相对路径问题。如果你的python里面缺少了curl或者lxml等模块，可以到pypi去找。
Curl是一个强大的URL语法的客户端，支持DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS等多种协议。
Lxml是python一个非常好用的xml模块，同时支持html的处理。虽然html是xml的一个子集，但是有些html网页写的不够标准，例如写了<option>但是又没写</option>，这种情况下使用xml工具来分析绝对是会报错的，但是html工具通常就可以很好的兼容这些非标准的情况。
用urlparse的urljoin可以很好的帮你处理相对路径问题。
如果你的python里面缺少了curl或者lxml等模块，可以到pypi去找。
#!/usr/bin/env python#coding: utf-8 importos importsys importurlparse importlxml.html importlxml.etree importcurl defdownload(url): c =curl.Curl() c.set_timeout(8) c.get(url) returnc.body() defparse_url(): base_url = 'http://finance.ce.cn/stock/'ht_string =download(base_url) ht_doc =lxml.html.fromstring(ht_string, base_url) elms = ht_doc.xpath("//li[@style='font-size:15px; line-height:29px;']/a") for i inelms: print urlparse.urljoin(base_url, i.get('href')) print lxml.etree.tostring(i, encoding='utf-8') if __name__ == '__main__': parse_url()