Heritrix 介绍 Heritrix是Internet档案馆的开源，可扩展，网络规模，档案质量的网络爬虫项目。 Heritrix（有时拼写为heretrix，或者拼写错误或拼写错误，如heratrix / heritix / heretix / heratix）是女继承人（继承的女人）的古语。 由于我们的搜寻器致力于收集和保存我们文化的数字文物，以造福未来研究人员和后代，因此这个名称似乎很贴切。 爬行操作员！ Heritrix旨在遵守排除指令和。 请考虑您的抓取将对种子站点施加的负载，并相