小爬虫工具的历史由来

小爬虫是一款在线生成网站地图的工具，只需要输入域名，系统就可以对网站进行爬行，最后生成完整的网站地图。用户只需下载网站地图，上传到网站根目录，然后在网站首页做链接，并且到百度站长平台提交链接即可。提交网站地图可以加速网站内容的收录，对SEO有非常积极的作用。

小爬虫的起源比较偶然。作者是程序员出身的SEOER，早些年一直在网上接单建站。那个时期CMS(Content Management System，内容管理系统）还不是特别成熟，很多用户要求建设的企业网站要有网站地图。于是作者就上网搜索可以生成网站地图的网站，结果当然不太理想，大部分网站需要手动填写逐条的URL地址才能生成网站地图，没有办法实现自动爬行抓取。作者就想能不能开发一个，经过尝试发现PHP等无法实现如此功能的抓取。

后来偶然看到一个网站可以自动抓取，但是该网站已经几乎被遗弃，并且在出售，作者尝试联系站长，把小爬虫域名和原始程序买了过来，并对程序进行了重新架构，这样就诞生了现在的小爬虫。