注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 如何写robots,robots.txt是一个纯文本文件

  2. robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。 另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

  3. 所属分类：专业指导

    • 发布日期：2010-09-29
    • 文件大小：16384
    • 提供者：xushtao

  1. 搜索引擎机器人文件robots.txt让你的网站得到更好的优化

  2. 搜索引擎机器人文件,上传到你网站的根目录,并改文件名为robots.txt即可..让你的网站更好的优化

  3. 所属分类：专业指导

    • 发布日期：2010-12-21
    • 文件大小：515
    • 提供者：Ju168

  1. robots.txt用法与写法

  2. 　　robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 　　当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

  3. 所属分类：其它

    • 发布日期：2010-12-22
    • 文件大小：7168
    • 提供者：xonmao2008

  1. 如何写robots.txt

  2. 如何写robots如何写robots如何写robots

  3. 所属分类：其它

    • 发布日期：2011-06-01
    • 文件大小：16384
    • 提供者：jingle5201314

  1. 搜索蜘蛛：什么是robots.txt，要怎么写？

  2. 搜索蜘蛛：什么是robots.txt，要怎么写？

  3. 所属分类：Web开发

    • 发布日期：2011-06-05
    • 文件大小：1024
    • 提供者：wqdesert

  1. 一个经典的wordpress的robots.txt的写法

  2. 一个经典的wordpress的robots.txt的写法 下载后直接复制就行了 略微调一下也行的 文件来自：www.52jiwai.com 分享时请注明来处！

  3. 所属分类：网页制作

    • 发布日期：2011-06-24
    • 文件大小：863
    • 提供者：liuweok

  1. 一个经典的zencart的robots.txt的写法

  2. 一个经典的zencart的robots.txt的写法 下载后直接复制就行了 略微调一下也行的

  3. 所属分类：网管软件

    • 发布日期：2012-05-06
    • 文件大小：1024
    • 提供者：xuelei5200

  1. 禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板

  2. 禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板 参照你们写就可以了，很简单的。这里的规则针对所有的搜索引擎，如果只针对百度 把User-agent: * 修改为 User-agent: baidu 即可，以此类推。

  3. 所属分类：Web开发

    • 发布日期：2012-08-13
    • 文件大小：582
    • 提供者：go201088

  1. 如何写robots.txt？

  2. 在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作

  3. 所属分类：PHP

    • 发布日期：2012-11-06
    • 文件大小：3072
    • 提供者：weelia

  1. nginx关闭favicon.ico、robots.txt日志记录配置

  2. 主要介绍了nginx关闭favicon.ico、robots.txt日志记录配置,同时提供了不允许访问某些隐藏文件的配置方法,需要的朋友可以参考下

  3. 所属分类：其它

    • 发布日期：2020-09-30
    • 文件大小：27648
    • 提供者：weixin_38645266

  1. 帝国CMS中robots.txt文件用法

  2. 主要为大家介绍了帝国CMS中robots.txt文件用法,详细分析了robots协议的原理与使用技巧,并实例讲述了帝国CMS中robots.txt文件的使用方法,需要的朋友可以参考下

  3. 所属分类：其它

    • 发布日期：2020-09-29
    • 文件大小：57344
    • 提供者：weixin_38604653

  1. robots.txt详细介绍

  2. robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜

  3. 所属分类：其它

    • 发布日期：2020-09-28
    • 文件大小：53248
    • 提供者：weixin_38519763

  1. robots.txt详细介绍

  2. robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中

  3. 所属分类：其它

    • 发布日期：2020-09-28
    • 文件大小：54272
    • 提供者：weixin_38678172

  1. fetchbot：一个简单而灵活的Web爬网程序，它遵循robots.txt策略和爬网延迟-源码

  2. 抓取机器人 软件包fetchbot提供了一个简单而灵活的Web搜寻器，它遵循robots.txt策略和搜寻延迟。 它是使用更简单的API，更少的内置功能，但同时具有更大灵活性的对的重写。 至于Go本身，有时少即是多！ 安装 要安装，只需在终端中运行： go get github.com/PuerkitoBio/fetchbot 该软件包具有单个外部依赖项 。 它还集成了代码。 。 变化 2019-09-11（v1.2.0）：更新robotstxt依赖项（由于提出了问题，导入路径/仓库UR

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：31744
    • 提供者：weixin_42116847

  1. next-sitemap：next.js的站点地图生成器。 为所有静态的预先渲染的动态服务器端页面生成sitemap和robots.txt-源码

  2. 下一个站点地图 next.js的站点地图生成器。 为所有静态/预渲染/动态/服务器端页面生成sitemap和robots.txt。 目录 入门 入门 安装 yarn add next-sitemap -D 创建配置文件 next-sitemap在您的项目根目录下需要一个基本的配置文件（ next-sitemap.js ） module . exports = { siteUrl : 'https://example.com' , generateRobotsTxt : true , /

  3. 所属分类：其它

    • 发布日期：2021-02-06
    • 文件大小：165888
    • 提供者：weixin_42166623

  1. mr-roboto：:robot:处理并解析网站的robots.txt文件并提取可操作的信息-源码

  2. 罗博托先生 Roboto先生旨在处理和解析网站的robots.txt文件，从而提供了一个简单的界面来验证是否允许使用特定路径。 Mr-Roboto尚未准备好生产，因此不应在任何关键任务代码库中使用。

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：39936
    • 提供者：weixin_42134537

  1. robots.txt：robots.txt即服务。 抓取robots.txt文件，下载并解析它们以通过API检查规则-源码

  2. :robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序，并且想要礼貌行事，那么您会发现此项目非常有用。 另外，该项目可用于集成到任何SEO工具中，以检查机器人是否正确索引了内容。 对于第一个版本，我们正在尝试遵守Google用于分析网站的规范。 你可以看到它。 期待其他机器人规格的支持！ 为什么要这个项目？ 如果您要构建分布式Web搜寻器，

  3. 所属分类：其它

    • 发布日期：2021-02-04
    • 文件大小：2097152
    • 提供者：weixin_42129113

  1. robots-txt-parser：PHP类，用于根据规范解析robots.txt文件中的所有指令-源码

  2. robots-txt解析器 —用于解析robots.txt文件的所有指令PHP类 根据robots.txt规则，用于检查PHP类是允许还是禁止url。 尝试在实时域上在线RobotsTxtParser。 解析是根据Google＆Yandex规范的规则进行的： 最后改进： 根据clean-param语法解析Clean-param指令。 删除注释（“＃”字符之后的所有内容，直到第一个换行符都将被忽略） 主机解析的改进-交集指令，应参考用户代理'*'； 如果有多个主机，则搜索引擎将采用第一

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：69632
    • 提供者：weixin_42160278

  1. Robots.txt-Parser-Class：robots.txt解析的Php类-源码

  2. Robots.txt php解析器类 PHP类可根据Google，Yandex，W3C和The Web Robots Pages规范来解析robots.txt规则。 支持的规范的完整列表（以及尚不支持的规范）在中可用。 安装 该库可通过Composer软件包安装。 要通过Composer安装，请将需求添加到您的composer.json文件中，如下所示： { " require " : { " t1gor/robots-txt-parser " : " dev-ma

  3. 所属分类：其它

    • 发布日期：2021-02-03
    • 文件大小：232448
    • 提供者：weixin_42097369

  1. robots.txt详细介绍

  2. robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那

  3. 所属分类：其它

    • 发布日期：2021-01-19
    • 文件大小：53248
    • 提供者：weixin_38558659
« 12 3 4 5 6 7 8 9 10 ... 13 »