摘要：
wd=python也是一样的同理查看google可知其接口为https://www.google.com/search?q=keyword于是可以用爬虫实现查找功能#Requestbaidu.pyimportrequestskeyword='python'url='https://www.baidu.com/s'#google把网站换了s换成searchtry:kv={'wd':keyword}#google把wd换成qr=requests.getr.raise_for_status()r.encoding=r.apparent_encodingprintexcept:print3.图片爬取和存储百度搜索一张图片，点击右键，在新分页中开启图片，然后复制网址过来即可。#Pcis.pyimportrequestsimportosurl='https://pic4.zhimg.com/80/f2ded3c7f2873e5e7d48c139e1203e5f_720w.jpg'root='D://pics//'path=root+url.split('/')[-1] #文件名用本来的名字try:ifnotos.path.exists:#不存在路径则创建os.mkdirifnotos.path.exists:r=requests.getwithopenasf:#将文件以二进制打开f.write#content是二进制数据f.close()printelse:printexcept:print跑一下，成功后去对应的路径就能看到4.ip归属地查询这个实例和实例二是类似，但有区别，这个实例直接字符串连接。
了解了Requests库的基本用法，附上一篇理论链接https://www.cnblogs.com/hao11/p/12593419.html
我们就可以做一些小实例了
1.亚马逊商品的爬取
首先用get方法对亚马逊网站发送请求，然后看返回的状态码，此处503不是200，表明没有成功，
然后要看text内容,首先检查编码格式，header中不存在，用备用的替代，然后看到text中 For information about migrating to our APIs refer to our Marketplace APIs 还有确认我们是不是爬虫，说明这个网站对爬虫做了限制。
于是如下处理
首先查看请求头，可以看到是原生的python请求，这样会被一些网站认为爬虫被拒绝访问
我们将请求头的代理字段替换， ‘Mozilla/5.0’ 伪装成火狐浏览器进行访问即可
最后写的健壮点
#RequestAmazon.py importrequests url = 'https://www.amazon.cn/' try: kv = {'user-agent':'Mozilla/5.0'} r = requests.get(url, headers=kv) r.raise_for_status() r.encoding =r.apparent_encoding print(r.text[1000:2000]) except: print("爬取失败")
2.百度/谷歌搜索关键词提交
首先打开百度，输入python并回车，观察网址变化
百度的wd字段就是我们搜索的关键词
于是我们可以尝试：
http://www.baidu.com/s?wd=python
也是一样的
同理查看google可知其接口为
https://www.google.com/search?q=keyword
于是可以用爬虫实现查找功能
#Requestbaidu.py importrequests keyword = 'python'url = 'https://www.baidu.com/s' #google把网站换了 s换成search try: kv = {'wd':keyword} #google把wd换成q r = requests.get(url, params=kv) r.raise_for_status() r.encoding =r.apparent_encoding print(r.text[1000:2000]) except: print("爬取失败")
3.图片爬取和存储
百度搜索一张图片，点击右键，在新分页中开启图片，然后复制网址过来即可。
#Pcis.py importrequests importos url = 'https://pic4.zhimg.com/80/f2ded3c7f2873e5e7d48c139e1203e5f_720w.jpg'root = 'D://pics//'path = root +url.split('/')[-1] #文件名用本来的名字 try: if not os.path.exists(root): #不存在路径则创建 os.mkdir(root) if notos.path.exists(path): r = requests.get(url, timeout=30) with open(path,'wb') as f: #将文件以二进制打开 f.write(r.content) #content是二进制数据 f.close() print('文件保存成功') else: print('文件已存在') except: print("爬取失败")
跑一下，成功后去对应的路径就能看到
4.ip归属地查询
这个实例和实例二是类似，但有区别，这个实例直接字符串连接。
首先登录m.ip138.com 查询ip地址
于是其接口是：http://m.ip138.com/ip.asp?ip=ipaddress
#IpQuerry.py importrequests url = 'http://m.ip138.com/iplookup.asp?ip='ip = '111.111.11.11' try: r = requests.get(url+ip, timeout=30) r.raise_for_status() r.encoding =r.apparent_encoding print(r.status_code) print(r.text[-300:]) except: print("爬取失败")