主要介绍了使用shell脚本找出网站的空页面和404错误页面,本文使用一句话实现,需要的朋友可以参考下

早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。 废话不多说，直接上shell代码： 代码如下: time cat sitemap.txt|while read line;do curl -l $line -m 5 –connec