首先我们建站网站之后就是让搜索引擎知道我们的网站，最直接的办法就是去搜索引擎入口去提交网址，本文整理出多个入口提供给大家： 1. 中文网站提交网址大全 360搜索引擎登录入口：http://info.so.360.cn/site_submit.html 即刻搜索网站提交入口：http://zz.jike.com/submit/genUrlForm 盘古数据...
通过网站地图爬取目标站点的所有网页 使用的系统：Windows 10 64位Python 语言版本：Python 2.7.10 V 使用的编程 Python 的集成开发环境：PyCharm 2016 04 我使用的 urllib 的版本：urllib2 注意： 我没这里使用的是 Python2 ，而不是Python3 一 . 前言 通过前两节（爬取一个...
前言 能看到这里，说明大家都跟我一样，已经把博客搭起来并洋洋洒洒写了几篇博文，正春风得意感觉良好的时候，搭建博客有屎以来最大的危机出现在没有准备的我面前，百度+谷歌都无法搜索到我的博客。装逼还没几天就这样，真是不能忍。 于是就研究了几天，鼓捣出了这篇文章。教大家如何脱坑。 正文 下面准备分别介绍谷歌和百度如何提交搜索引擎，其中有一些共同的地方，这里先说明...
一、Robots.txt协议 Robots协议，也称为爬虫协议、机器人协议等，其全称为“网络爬虫排除标准（Robots Exclusion Protocol）”。网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也既是Robots的用法有两种，一种是告诉搜索引擎哪些页面你不能抓（默认其他的就可以抓）；一种是告诉搜索引擎你只能抓取哪些页...