搜索引擎是我们非常熟悉的互联网产品，上网都离不开搜索，毫无疑问，在pc端，是多数流量的入口。大家都会说，“有问题，百度一下”，当初百度靠这句广告语，打开了国内很大的市场。 曾经看过一个百度员工写的段子：“今天一个出租出司机载我去上班，一边看着百度大厦一边说，你们百度不就是个框吗，要这么多员工干啥。他说的好有道理，我竟无言以对”。那么搜索引擎背后到底是什...
博客中的文章均为meelo原创，请务必以链接形式注明本文地址 搜索引擎是一个十分神秘的事物，因为它铸造了google和百度两大传奇互联网公司。过去流传一种说法，世界上只有4个国家掌握了搜索引擎的核心技术，那就是美国、中国、俄罗斯和韩国，分别对应Google、百度、naver和yandex。曾经有国有背景的即刻搜索想承担起国家战略，国有企业在能源、基础设施...
爬虫基础 什么是爬虫： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系...