注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. robots.txt用法与写法

  2. 　　robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

  3. 所属分类：其它

    • 发布日期：2010-12-22
    • 文件大小：7168
    • 提供者：xonmao2008

  1. asp.net 全静态化个人博客系统 前台后台分离 利于收录 程序序上传空间就可以使用

  2. 压缩包中内附程序一套，截图几张，使用说明，CMS参数说明一份（是CMS的，不是博客的，博客基本上用不着，我也没有改） 功能及说明 .net全静态化个人博客系统 .net 2.0的内库 access数据库 DIV+CSS 兼容IE ff，其它浏览器未知 前台、后台分离，后台功能强大，简单。前台可根据情况更改 内附文件管理系统 利于优化及收录，内置SEO设置，可自动生成robots.txt及sitemap.xml 可自由新建栏目及分类 可设计属于自己风格的博客(懂HTML+CSS就可以了，内附一套

  3. 所属分类：C#

    • 发布日期：2012-10-18
    • 文件大小：1048576
    • 提供者：xu0207wei

  1. wget命令用法

  2. linux下的wget 命令的用法 wget支持HTTP HTTPS和FTP协议 可以使用HTTP代理 所谓的自动下载是指 wget可以在用户退出系统的之后在后台执行 这意味这你可以登录系统 启动一个wget下载任务 然后退出系统 wget将在后台执行直到任务完成 相对于其它大部分浏览器在下载大量数据时需要用户一直的参与 这省去了极大的麻烦 wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本 完全重建原始站点的目录结构 这又常被称作”递归下载” 在递归下载的时候 wget

  3. 所属分类：其它

    • 发布日期：2015-04-18
    • 文件大小：11264
    • 提供者：mark_hui

  1. robots.txt文件在线生成工具.zip

  2. robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不可以被收录，如果您不想让搜索引擎收录您网站的某些内容，请用robots.txt文件指定搜索引擎在您网站上的抓取范围。 此工具本人找了很久，源码很轻量，占地24K，上传到空间更目录即可使用。

  3. 所属分类：其它

    • 发布日期：2019-07-14
    • 文件大小：3072
    • 提供者：weixin_39840515

  1. 帝国CMS中robots.txt文件用法

  2. 主要为大家介绍了帝国CMS中robots.txt文件用法,详细分析了robots协议的原理与使用技巧,并实例讲述了帝国CMS中robots.txt文件的使用方法,需要的朋友可以参考下

  3. 所属分类：其它

    • 发布日期：2020-09-29
    • 文件大小：57344
    • 提供者：weixin_38604653

  1. 浅析php fwrite写入txt文件的时候用 \r\n不能换行的问题

  2. 今天遇到了一个问题就是用fwrite写入txt文件的时候用 rn不能换行试了很久都没找到办法!突然之间想到一个东东以前看书见过后来还是用这个东东给解决了!现在写出来预防将来忘记也希望能帮到需要帮助的朋友!直接看代码:复制代码 代码如下: 您可能感兴趣的文章:PHP连接access数据库PHP连接Access数据库的方法小结用ADODB来让PHP操作ACCESS数据库的方法PHP使用PDO连接

  3. 所属分类：其它

    • 发布日期：2020-12-18
    • 文件大小：34816
    • 提供者：weixin_38721398

  1. link-lock:在浏览器中使用AES进行密码保护的URL；创建没有浏览器扩展的隐藏书签-源码

  2. 链接锁 Link Lock现在可以通过敲书签来支持安全，隐藏的书签！阅读更多。 关于 链接锁定是用于加密和解密URL的工具。当用户访问加密的URL时，将提示他们输入密码。如果密码正确，则“链接锁定”将检索原始URL，然后将其重定向到该URL。否则，将显示错误。用户还可以添加提示以显示在密码提示附近。 每个加密的URL完全存储在应用程序生成的链接中。结果，用户可以控制使用链接锁创建的所有数据。什么都没有存储在服务器上，也没有cookie，跟踪或注册。 链接锁有许多用途： 将私人书签存储在共享计算

  3. 所属分类：其它

    • 发布日期：2021-03-19
    • 文件大小：52224
    • 提供者：weixin_42116847

  1. wordlists:单词列表及其使用位置-源码

  2. 词表 红色分组中常用的词表。 . ├── dirbuster # wordlists bundled with dirbuster └── README.md 单词列表的来历 RAFT（响应分析和进一步测试）单词列表。 这些单词列表是从排名靠前的170万个网站上的robots.txt文件生成的（请参阅Smartfuzzing the Web，BlackHatUSA 2011 ，幻灯片19）。 初始扫描 raft-small-words.txt 扫描文件 扫描目录

  3. 所属分类：其它

    • 发布日期：2021-03-17
    • 文件大小：4194304
    • 提供者：weixin_42105570

  1. fetchbot：一个简单而灵活的Web爬网程序，它遵循robots.txt策略和爬网延迟-源码

  2. 抓取机器人 软件包fetchbot提供了一个简单而灵活的Web搜寻器，它遵循robots.txt策略和搜寻延迟。 它是使用更简单的API，更少的内置功能，但同时具有更大灵活性的对的重写。 至于Go本身，有时少即是多！ 安装 要安装，只需在终端中运行： go get github.com/PuerkitoBio/fetchbot 该软件包具有单个外部依赖项 。 它还集成了代码。 。 变化 2019-09-11（v1.2.0）：更新robotstxt依赖项（由于提出了问题，导入路径/仓库UR

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：31744
    • 提供者：weixin_42116847

  1. 海葵：海葵网络蜘蛛框架-源码

  2. 银莲花 Anemone是一个网络蜘蛛框架，可以蜘蛛一个域并收集有关其访问页面的有用信息。 它用途广泛，可让您快速轻松地编写自己的特殊蜘蛛任务。 有关更多信息，请参见 。 功能 多线程设计实现高性能 跟踪301 HTTP重定向 内置BFS算法确定页面深度 允许排除基于正则表达式的URL 选择链接，在每个页面上使用focus_crawl（） HTTPS支持 记录每页的响应时间 CLI程序可以列出域中的所有页面，计算页面深度等 遵守robots.txt 使用TokyoCabinet，SQL

  3. 所属分类：其它

    • 发布日期：2021-02-20
    • 文件大小：34816
    • 提供者：weixin_42133918

  1. 设计系统：收集rezo产品中使用的React成分-源码

  2. Universal React App 创建通用React应用程序的样板。 产品特点 React Application + Express服务器-您可以同时构建前端和后端，非常适合全栈开发人员。 热重装-您在客户端和服务器代码上保存的更改会立即反映出来。 高性能-快速启动和构建时间。 灵活的配置-配置使您可以根据用例进行极大的自定义。 支持SEO-使用服务器端渲染，React SPA不会出现SEO问题。 Sitemap和robots.txt可以作为静态文件包含在内。 快速部署-使

  3. 所属分类：其它

    • 发布日期：2021-02-06
    • 文件大小：224256
    • 提供者：weixin_42137539

  1. spidr：通用的Ruby Web爬虫库，可以对站点，多个域，某些链接或无限地进行爬虫。 Spidr设计为快速且易于使用-源码

  2. 斯皮德 描述 Spidr是一个通用的Ruby Web爬虫库，可以对一个站点，多个域，某些链接或无限地进行爬虫。 Spidr设计为快速且易于使用。 产品特点 遵循： a标签。 ifr a me代码。 frame标签。 受Cookie保护的链接。 HTTP 300、301、302、303和307重定向。 元刷新重定向。 HTTP基本身份验证受保护的链接。 黑名单或白名单URL基于： URL方案。 主机名 端口号 完整连结 URL扩展 可选的/robots.txt支持。 提供以下

  3. 所属分类：其它

    • 发布日期：2021-02-05
    • 文件大小：55296
    • 提供者：weixin_42134051

  1. mr-roboto：:robot:处理并解析网站的robots.txt文件并提取可操作的信息-源码

  2. 罗博托先生 Roboto先生旨在处理和解析网站的robots.txt文件，从而提供了一个简单的界面来验证是否允许使用特定路径。 Mr-Roboto尚未准备好生产，因此不应在任何关键任务代码库中使用。

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：39936
    • 提供者：weixin_42134537

  1. robots.txt：robots.txt即服务。 抓取robots.txt文件，下载并解析它们以通过API检查规则-源码

  2. :robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序，并且想要礼貌行事，那么您会发现此项目非常有用。 另外，该项目可用于集成到任何SEO工具中，以检查机器人是否正确索引了内容。 对于第一个版本，我们正在尝试遵守Google用于分析网站的规范。 你可以看到它。 期待其他机器人规格的支持！ 为什么要这个项目？ 如果您要构建分布式Web搜寻器，

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：2097152
    • 提供者：weixin_42129113

  1. robots-txt-parser：PHP类，用于根据规范解析robots.txt文件中的所有指令-源码

  2. robots-txt解析器 —用于解析robots.txt文件的所有指令PHP类 根据robots.txt规则，用于检查PHP类是允许还是禁止url。 尝试在实时域上在线RobotsTxtParser。 解析是根据Google＆Yandex规范的规则进行的： 最后改进： 根据clean-param语法解析Clean-param指令。 删除注释（“＃”字符之后的所有内容，直到第一个换行符都将被忽略） 主机解析的改进-交集指令，应参考用户代理'*'； 如果有多个主机，则搜索引擎将采用第一

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：69632
    • 提供者：weixin_42160278

  1. Robots.txt-Parser-Class：robots.txt解析的Php类-源码

  2. Robots.txt php解析器类 PHP类可根据Google，Yandex，W3C和The Web Robots Pages规范来解析robots.txt规则。 支持的规范的完整列表（以及尚不支持的规范）在中可用。 安装 该库可通过Composer软件包安装。 要通过Composer安装，请将需求添加到您的composer.json文件中，如下所示： { " require " : { " t1gor/robots-txt-parser " : " dev-ma

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：232448
    • 提供者：weixin_42097369

  1. 网络状态：使用AJAX和PHP的轻量级脚本，用于显示网站状态和ping-源码

  2. 网络状态 官方资源:copyright:Indra＆Stefan 变更日志 更新： 根据PHP 7.1重构，方法： 更新： Functions.php现在是一个类，并通过将注释翻译为英语 更新： 通过添加了config.php来设置设置 更新： 通过添加了对Ajax的支持 更新： 清理和翻译， 更新： 通过添加了移动响应 更新： “ Improved”检查和类的构造方式。， 更新： 通过更新了robots.txt 更新： 通过恢复已删除的template.php 更新： 通过

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：9216
    • 提供者：weixin_42153615

  1. 记一次用Python爬取代理IP并使用

  2. 前言 首先说一下代理IP的用法途（代码中会有涉及）：代理IP可以用来隐藏你的真实IP，你访问网站是通过代理服务器来做一个中转，所以目标服务器只能看到代理服务器的IP地址，这样就可以让你的IP地址实现隐身的功能 准备工作 我这边是找到了一个平台：https://www.kuaidaili.com/，先在地址后面加robots.txt查看平台的robots协议（https://www.kuaidaili.com/robots.txt）如下，可以看到平台未明令禁止爬虫爬取的页面，那我们就可以放心爬了。

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：125952
    • 提供者：weixin_38749305

  1. php使用curl简单抓取远程url的方法

  2. 本文实例讲述了php使用curl抓取远程url的方法。分享给大家供大家参考。具体如下： cURL是一个非常有用的php库，可以用来连接不通类型的服务器和协议，下面是一个最基本的范例用来抓取远程网页 希望本文所述对大家的php程序设计有所帮助。

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：28672
    • 提供者：weixin_38649091

  1. apache使用.htaccess文件实现屏蔽wget下载网站内容

  2. 经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家： 1. 屏蔽下载任何文件 .htaccess SetEnvIfNoCase User-Agent ^wget bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot 2. 屏蔽下载部分文件 .htaccess SetEnvIfNoCase User-Agent ^Wget bad_bot Se

  3. 所属分类：其它

    • 发布日期：2021-01-10
    • 文件大小：40960
    • 提供者：weixin_38750761
« 12 3 4 5 6 7 8 »