网络爬虫软件(nwebcrawler)是一款多线的网页信息抓去工具。网络爬虫软件(nwebcrawler)功能十分的强大与全面，所有也被网友称为蚂蚁、自动索引、模拟程序、网页蜘蛛、网页机器人等等。该软件适用于的范围相当的广泛，常被用户用于网站的优化。
网络爬虫软件(nwebcrawler)简介：
NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL(先进先出原则)，分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。
网络爬虫软件(nwebcrawler)主要功能：
可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。
统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。
Preferential crawler：用户可以设置优先级的MIME类型。
Robust: 10+ URL normalization rules, crawler trap avoiding rules.
版权声明：本站提的序列号、注册码、注册机、破解补丁等均来自互联网，仅供学习交流之用，请在下载后24小时内删除。
