Python编程-一个小爬虫工具的实现过程

摘要:
需求描述:1.打开网站;2.获取网站的文件内容;3.返回并保存到文件;这里我们使用多线程方法importRequests、threading、timedefwrite.html(url,name):r=requests.get(url)with open(name,'w',encoding='utf-8')asfw:fw.write(r.text)urls=['ww.nnzhp.cn','be

需求描述:

1,打开网站;

2,获取网站的文件内容;

3,返回保存到文件中;

这里的就用到了多线程的方法

import requests,threading,time
def write_html(url,name): r = requests.get(url) with open(name,'w',encoding='utf-8') as fw: fw.write(r.text) urls=['www.nnzhp.cn','besttest.cn','www.imdsx.cn','sb.nnzhp.cn','bbs.besttest.cn'] objs = []#存放每个线程 for url in urls: new_url = 'http://'+url file_name = url+'.html' #www.nnzhp.cn.html t = threading.Thread(target=write_html,args=(new_url,file_name)) #实例化一个线程,target等于的是函数名称,args=入参,如果是一个参数的情况,必须参数名后跟一个逗号 objs.append(t) t.start()#启动一个线程

免责声明:文章转载自《Python编程-一个小爬虫工具的实现过程》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇保护SQL语句不被Sql Profiler / 事件探查器 捕获跟踪到<转>C#开发一个如上的工业仪表盘控件下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

彻底搞懂Scrapy的中间件(一)

中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改,从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据,做一些修改再把数据传递出去。不同点在于,中间件是开发者主动加进去的组件,而中间人是被动的,...

Qt5.3.2_CentOS6.4_单步调试环境__20160306【勿删,繁琐】

20160306 全程没有f/q ZC:使用的虚拟机环境是:博客园VMwareSkill 的 “CentOS6.4_x86_120g__20160306.rar” 需要调试器 gdb ,从“http://ftp.gnu.org/gnu/gdb/”下载了 “gdb-7.6.1.tar.bz2” 1、 在 对 gdb-7.6.1 执行make 的时候,会说缺少...

《python解释器源码剖析》第0章--python的架构与编译python

本系列是以陈儒先生的《python源码剖析》为学习素材,所记录的学习内容。不同的是陈儒先生的《python源码剖析》所剖析的是python2.5,本系列对应的是python3.7,所以某些地方会和原著有出入,另外我在介绍的过程中会穿插大量的python代码,不仅仅是介绍如何实现的,还会使用python实际地对我们的结论进行演示。下面就开始吧。不过在开始分析...

【Python】使用socketserver建立一个异步TCP服务器

概述 这篇文章是讲解如何使用socketserver建立一个异步TCP服务器,其中Python版本为3.5.1。 socketserver主要的类 socketserver模块中的类主要有以下几个:1、BaseServer 包含服务器的核心功能与混合类(mix-in)的钩子功能。这个类主要用于派生,不要直接生成这个类的类对象,可以考虑使用TCPServer...

高中信息技术(Python) 必修1 数据与计算 源代码

本文章原文地址:https://www.cnblogs.com/BobHuang/p/15621121.html,原文体验更佳 教材P68中IDLE显示Python版本为3.7.0,所以建议使用Python3.7系列。 第一章 数据与信息 1.1 感知数据 1.2 数据、信息与知识 1.3 数据采集与编码 1.4 数据管理与安全 1.5 数据与大数据 第二...

[Agisoft Metashape使用心得] 安装和使用MS独立Python模块

关键词:Agisoft MetashapePhotoScanPython module库 日期:4/6/2021 - 5/6/2021 1. Metashape脚本在客户端中调试很费劲 用Agisoft Metashape (原名PhotoScan)好多年了,一开始只是各种界面操作,后来慢慢地用到了它的API,自己写脚本实现某项功能。然而,一直困扰我...