批量爬虫下载时,单线程下载文件有时慢有时快。写一个多线程分块下载文件工具。网上的一些代码可能会有些奇怪的问题,用的是类全局变量打开文件但在多线程中并未加锁,会导致文件有一定几率出现大小和源文件不同,即使文件大小相同,MD5值也不同,中间有一段是坏的,在图片和音频中可能只是其中一段损坏,exe,rar之类的就直接打不开了。此代码已调试无错直接可以拿来使用。代码备注很完整,也可做学习研究使用。
同时附上单线程下载(带进度条显示功能)代码,单线程下载(带进度条显示)和多线程代码的时间比较,实测多线程能