文件名称:
e语言-鱼刺多线程例程 [v4.7]代理智能提取
开发工具:
文件大小: 111kb
下载次数: 0
上传时间: 2019-08-23
详细说明: v4.7(2019-05-23)修正第二次创建代理提取架构后无法获取到代理的问题增加了两个新的函数`获取代理Ex()` `自压入代理Ex()` //详情请查看`例程2.e`增加了两个例程`例程1.e` `例程2.e`使用方法:1. (编辑配置)1.1 编辑运行目录下的`Config_Proxy.ini`填写提取和验证参数并保存 1.2 如果程序目录下没有`Config_Proxy.ini`这个文件 请调用一次`代理智能提取_创建()`会自动生成在运行目录下1.3 你也可以用代码来配置这些信息 直接调用 `代理智能提取_置代理提取参数()` `代理智能提取_置代理验证参数()` `代理智能提取_置代理生命值()` `代理智能提取_置代理最长存活时 间()`2. (创建和获取状态)2.1 在执行工作前调用一次 `代理智能提取_创建()` (比如: `启动按钮_被单击`)2.2 你可以搞个时钟/定时器来刷新代理智能提取模块的工作状态2.3 当你打算结束工作/工作完毕时记得执行 `代理智能提取_销毁()`3. (提取代理)3.1 当你需要用代理时 直接调用`代理智能提取_获取代理()`即可得到一条代理3.2 没错 你可以在任意环境下调用`代理智能提取_获取代理()` (比如:在并发线程中调用)4. (总结)如果你已修改好了提取配置 你其实可以很轻松的使用它 只要先创建 然后只管在任意线程获取代理即可 代理快不够了会自动提取补充就像下面这样创建()获取代理()//线程A获取代理()//线程B获取代理()//线程C...销毁()--------------------------------------------Config_Proxy.ini 配置说明:触发补充阀值 : 当前剩余代理小于这个数值会触发自动提取并验证补充代理(0=自动(本次提取数量\5 5且>=5))提取地址 : 用于提取代理的API地址提取分隔符 : 提取后用这个分隔符来分割成多条 默认=\\r\\n(换行符) (本参数也支持正则匹配)是否正则分割 : 是否使用正则匹配 1=使用正则匹配(正则必须包含两个子匹配项1为地址2为端口) 0=使用分割文本匹配提取附加协议头 : 提取代理时附加的HTTP协议头 默认=空(默认协议头)提取间隔 : 两次提取最小间隔(毫秒) 为了防止提取API接口限制提取频繁冻结 默认=1000(1秒)----------------验证地址 : 用于验证代理是否有效的url 比如IP138 又比如百度 |如果想不验证提取的代理直接使用 请设置为:不验证是否UTF8解码 : 验证代理返回的网页内容是否进行UTF8解码 1=解码 0=不解码提取附加协议头 : 验证代理时附加的HTTP协议头 默认=空(默认协议头)验证特征 : 验证代理URL返回的内容里存在这个特征既是有效(比如验证地址是(百度) 特征可以是百度一下)验证超时 : 验证代理超时 默认=12 (秒)尝试验证次数 : 尝试验证次数 默认=1 (次)代理生命值 : 提取的代理能被获取几次 默认=1 (次) (比如采集东西的时候就可以设置10-50次)代理最长存活时间 : 提取的代理最长存活时间 0=不启用(默认) 大于0=启用(秒) 提取的代理过了这个时间后 将不会被提取直接被丢弃--------------------------------------------
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度。
- 本站已设置防盗链,请勿用迅雷、QQ旋风等多线程下载软件下载资源,下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
- 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.
相关搜索: