点数信息
www.dssz.net
注册会员
|
设为首页
|
加入收藏夹
您好,欢迎光临本网站!
[请登录]
!
[注册会员]
!
首页
移动开发
云计算
大数据
数据库
游戏开发
人工智能
网络技术
区块链
操作系统
模糊查询
热门搜索:
源码
Android
整站
插件
识别
p2p
游戏
算法
更多...
在线客服QQ:632832888
当前位置:
资源下载
搜索资源 - robots文件生成
下载资源分类
移动开发
开发技术
课程资源
网络技术
操作系统
安全技术
数据库
行业
服务器应用
存储
信息化
考试认证
云计算
大数据
跨平台
音视频
游戏开发
人工智能
区块链
在结果中搜索
所属系统
Windows
Linux
FreeBSD
Unix
Dos
PalmOS
WinCE
SymbianOS
MacOS
Android
开发平台
Visual C
Visual.Net
Borland C
CBuilder
Dephi
gcc
VBA
LISP
IDL
VHDL
Matlab
MathCAD
Flash
Xcode
Android STU
LabVIEW
开发语言
C/C++
Pascal
ASM
Java
PHP
Basic/ASP
Perl
Python
VBScript
JavaScript
SQL
FoxBase
SHELL
E语言
OC/Swift
文件类型
源码
程序
CHM
PDF
PPT
WORD
Excel
Access
HTML
Text
资源分类
搜索资源列表
C#网络蜘蛛源程序及搜索引擎技术揭密
网络 蜘蛛基本原理 网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面(通常是首页)开始,读取网页的 内容 ,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一 个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。 对于搜索引擎来说,要抓取互联网上所有的网页几乎
所属分类:
网络基础
发布日期:2009-07-28
文件大小:268288
提供者:
wang3c
nicewords.英文版.3.07 最新版
欢迎您选择NiceWords! ===安装=== 运行 网站目录/install 即可 ===Nicewords文件结构说明=== cache ---系统缓存目录。在后台系统设置->缓存管理 中可以清除整个目录内容。 includes ----系统核心文件目录。请不要修改任何文件 applicaiton ----NiceWords程序目录 -- config ----NiceWords配置文件目录。除下来列出来的以外,其他配置文件请不要改动 static -- --公共静态文件目录 th
所属分类:
PHP
发布日期:2009-10-05
文件大小:2097152
提供者:
elsand
java网络爬虫小程序
设计并实现crawler 程序 对 crawler 的功能要求如下,但不限于此: (1) 能够搜集本站内的所有网页,能提取出其中的URL 并加入到待搜集的URL 队列 中,对非本网站域名的URL,只允许搜集首页,记录发现的URL 即可;对搜集的结果,产 生2 个URL 列表:站内搜集URL、非站内(站外)发现URL; (2)使用User-agent 向服务器表明自己的身份; (3)能对HTML 网页进行解析,提取出链接URL,能判别提取的URL 是否已处理过, 不重复下载和解析已搜集过的网页;
所属分类:
Java
发布日期:2011-03-20
文件大小:292864
提供者:
iamaluckydog2004
安逸网站管理系统V5.0源码
安逸网站管理系统V5.0源码 本网站管理系统源码由重庆安逸软件免费提供,重庆安逸专注于VB.NET研发,公开源码 希望能够帮助更多的vb程序员,里面的App_Code目录下可以与winform进行通用。 后台管理 内容管理 --产品管理 --文章分类 --文章管理 其他管理 --友情连接 --招聘管理 --咨询管理 --留言管理 基本管理 --菜单分类 菜单管理 --页面分类 页面管理 --广告分类 广告管理 系统管理 用户管理 --用户管理 权限组管理 系统设置 --公司基本信息 --邮件发
所属分类:
C#
发布日期:2011-07-01
文件大小:3145728
提供者:
ss_geng
酷啦影视全站源码(qvodcms内核)
修正内容: 增加了404页面 增加了robots.txt文件 增加了明星索引 增加了“最新影片”滚动发布 修正了xss防注入代码 修正了年代采集错误 修正了导演采集错误 自带了万条影片数据库 设置了14条采集规则 酷啦影视 http://www.colalive.com 只完善了部分源码,版权归官方所有。 QVOD快播点播系统分享程序,支持时下流行的P2P,QVOD(快播),久久影音(WebPlayer9),皮皮影音Pvod,Gvod等多种播放媒体,特有的采集功能,强大的影片资源库,完善的会员
所属分类:
Actionscript
发布日期:2011-09-19
文件大小:11534336
提供者:
runxi
java网络爬虫,网络检索作业
实现了一下功能: (1) 能够搜集本站内的所有网页,能提取出其中的URL并加入到待搜集的URL队列中,对非本网站域名的URL,只允许搜集首页,记录发现的URL即可;对搜集的结果,产生2个URL列表:站内搜集URL、非站内(站外)发现URL; (2)使用User-agent向服务器表明自己的身份; (3)能对HTML网页进行解析,提取出链接URL,能判别提取的URL是否已处理过,不重复下载和解析已搜集过的网页; (4)能够对crawler的一些基本参数进行设置,包括:搜集深度(depth)、文件
所属分类:
Java
发布日期:2012-05-21
文件大小:838656
提供者:
alex_ti20705
asp.net 全静态化个人博客系统 前台后台分离 利于收录 程序序上传空间就可以使用
压缩包中内附程序一套,截图几张,使用说明,CMS参数说明一份(是CMS的,不是博客的,博客基本上用不着,我也没有改) 功能及说明 .net全静态化个人博客系统 .net 2.0的内库 access数据库 DIV+CSS 兼容IE ff,其它浏览器未知 前台、后台分离,后台功能强大,简单。前台可根据情况更改 内附文件管理系统 利于优化及收录,内置SEO设置,可自动生成robots.txt及sitemap.xml 可自由新建栏目及分类 可设计属于自己风格的博客(懂HTML+CSS就可以了,内附一套
所属分类:
C#
发布日期:2012-10-18
文件大小:1048576
提供者:
xu0207wei
O-Blog V2.6 Build 0430
修正当没有使用静态页时有这个错误 修正删除的时候ifDel()函数导致在IE5下不能完成跳转 修正在不支持short_open_tag的PHP环境中会报错的问题 修正后台文本框可以输入的字符数过少的问题 修正搜索的一个安全过滤问题 修正编辑日志时发表trackback会出现首页标题错误 修正评论封锁后,最新评论里还会显示出未审核的评论 使用动态方式的页面查看日志时,文章标题的连接仍然是静态地址的错误 修正查看留言时,连接会出现&&的情况 修正删除没有文章的分类会报错 修正了当服务器不支持php
所属分类:
PHP
发布日期:2006-05-17
文件大小:760832
提供者:
chenxh
搜索引擎优化高级编程(PHP版)
作者介绍 作者简介 Jaimie Sirovich是一位搜索引擎营销顾问,致力于与客户一起构建强大的在线展示平 台。虽然Jaimie身为一个计算机程序员,但是他更乐于参与营销方面的工作。他毕业于 Stevens Institute ofTechnology,获得计算机科学学士学位。2005年之前,他任职于RustyBrick. Inc.公司,并在Barry Schwartz的带领下展开工作,在电子商务项目中担任高级程序员。 Jaimie目前担任几个公司的顾问,并且管理热门的搜索引擎营销博客SE
所属分类:
PHP
发布日期:2013-03-20
文件大小:27262976
提供者:
lackyshea
网络爬虫小程序
设计并实现crawler 程序 对 crawler 的功能要求如下,但不限于此: (1) 能够搜集本站内的所有网页,能提取出其中的URL 并加入到待搜集的URL 队列 中,对非本网站域名的URL,只允许搜集首页,记录发现的URL 即可;对搜集的结果,产 生2 个URL 列表:站内搜集URL、非站内(站外)发现URL; (2)使用User-agent 向服务器表明自己的身份; (3)能对HTML 网页进行解析,提取出链接URL,能判别提取的URL 是否已处理过, 不重复下载和解析已搜集过的网页;
所属分类:
Java
发布日期:2013-03-27
文件大小:292864
提供者:
xiongjuntaouestc
杰奇网站地图完整版xml地图html地图自动生成
杰奇网站地图完整版,可以自动生成xml地图,html地图,非常实用,很全吧!而且速度很快! 温馨建议: 1.可以将web链接放到自己服务器后台执行,控制定时生成,如: 0 17 * * * wget "http://www.XXXX.com/map/xml.php?confirm=1" 1 17 * * * wget "http://www.XXXX.com/map/html.php?confirm=1" 则每天17点及17点01分定时生成xml地图及html地图 2.写入网站的robots.
所属分类:
网管软件
发布日期:2013-08-16
文件大小:8192
提供者:
qinshen
phpcms网站地图
网站地图是一个网站所有链接的容器。网站地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,清晰了解网站的架构,网站地图一般存放在robots文件中,为搜索引擎蜘蛛指路,增加网站重要内容页面的收录。网站地图就是根据网站的结构、框架、内容,生成的导航网页文 网站地图件。大多数人都知道网站地图对于提高用户体验有好处:它们为网站访问者指明方向,并帮助迷失的访问者找到他们想看的页面。对于SEO,网站地图的好处就更多了: 1.为搜索引擎蜘蛛提供可以浏览整个网站的链接; 2.为搜索引擎蜘蛛提供一
所属分类:
PHP
发布日期:2014-10-04
文件大小:7168
提供者:
txwh12345678
SitemapX网站地图生成工具 v1.2.7.rar
网站地图Sitemap自动生成工具不仅能帮助您快速制作引导性的、适用于Google、Bing、Yahoo、Baidu等各大搜索引擎的网站地图,更能帮助您分析网站内部链接优化情况、发现网页问题(诸如错链、死链等影响网页SEO排名的因素)。不需要任何技巧,只要几步简单的设置,就能创建符合各大搜索引擎需要的多种网站地图格式(XML、GZ、TXT、HTML等)。 自动生成XML、GZ、TXT以及HTML格式的网站地图制作工具 Sitemap X能根据您的需要,自动生成四种
所属分类:
其它
发布日期:2019-07-15
文件大小:1048576
提供者:
weixin_39841848
PHP**转发源代码.rar
一般的朋友会使用强大的htaccess来做重定向,可是因为我觉得写htaccess比较麻烦,又为了给不支持htaccess的朋友提供方面所以使用php来重定向,使用xml来存储,这样没有方便没有数据库的朋友。 不需要htaccess支持,不需要数据库 1. 将文件上传到你的空间,绑定你想转发的**到这个空间上 2. 没有使用登陆验证,请修改a4.php这个文件名,转发的**在这里配置 3. 同时如果你不想让别人看到你哪些**在使用转发,修改xml文件名,Linux机修改其属性为777 4. 使
所属分类:
其它
发布日期:2019-08-30
文件大小:5120
提供者:
weixin_38744207
robots.txt文件在线生成工具.zip
robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。 此工具本人找了很久,源码很轻量,占地24K,上传到空间更目录即可使用。
所属分类:
其它
发布日期:2019-07-14
文件大小:3072
提供者:
weixin_39840515
Robots:RoboFriends页面!-源码
Create React App入门 该项目是通过引导的。 可用脚本 在项目目录中,可以运行: npm start 在开发模式下运行应用程序。打开在浏览器中查看它。 如果您进行编辑,则页面将重新加载。您还将在控制台中看到任何棉绒错误。 npm test 在交互式监视模式下启动测试运行器。有关更多信息,请参见关于的部分。 npm run build 构建生产到应用程序build文件夹。它在生产模式下正确捆绑了React,并优化了构建以获得最佳性能。 生成被最小化,并且文件名包括哈希值。您的应用已准
所属分类:
其它
发布日期:2021-03-21
文件大小:206848
提供者:
weixin_42117485
Robots-card:像我们用口袋妖怪纸牌玩的机器人纸牌游戏-源码
Create React App入门 该项目是通过引导的。 可用脚本 在项目目录中,可以运行: npm start 在开发模式下运行应用程序。打开在浏览器中查看它。 如果您进行编辑,则页面将重新加载。您还将在控制台中看到任何棉绒错误。 npm test 在交互式监视模式下启动测试运行器。有关更多信息,请参见关于的部分。 npm run build 构建生产到应用程序build文件夹。它在生产模式下正确捆绑了React,并优化了构建以获得最佳性能。 生成被最小化,并且文件名包括哈希值。您的应用已准
所属分类:
其它
发布日期:2021-03-20
文件大小:192512
提供者:
weixin_42131798
wordlists:单词列表及其使用位置-源码
词表 红色分组中常用的词表。 . ├── dirbuster # wordlists bundled with dirbuster └── README.md 单词列表的来历 RAFT(响应分析和进一步测试)单词列表。 这些单词列表是从排名靠前的170万个网站上的robots.txt文件生成的(请参阅Smartfuzzing the Web,BlackHatUSA 2011 ,幻灯片19)。 初始扫描 raft-small-words.txt 扫描文件 扫描目录
所属分类:
其它
发布日期:2021-03-17
文件大小:4194304
提供者:
weixin_42105570
next-sitemap:next.js的站点地图生成器。 为所有静态的预先渲染的动态服务器端页面生成sitemap和robots.txt-源码
下一个站点地图 next.js的站点地图生成器。 为所有静态/预渲染/动态/服务器端页面生成sitemap和robots.txt。 目录 入门 入门 安装 yarn add next-sitemap -D 创建配置文件 next-sitemap在您的项目根目录下需要一个基本的配置文件( next-sitemap.js ) module . exports = { siteUrl : 'https://example.com' , generateRobotsTxt : true , /
所属分类:
其它
发布日期:2021-02-06
文件大小:165888
提供者:
weixin_42166623
gospider:Gospider-用Go编写的快速网络蜘蛛-源码
GoSpider GoSpider-用Go编写的快速网络蜘蛛 无痛地将Gospider集成到您的侦察工作流程中? 喜欢这个工具吗? 支持它的发展,并通过使用将您的游戏提升到一个新的水平 安装 go get -u github.com/jaeles-project/gospider 产品特点 快速的网页抓取 暴力破解并解析sitemap.xml 解析robots.txt 从Javascr ipt文件生成并验证链接 链接查找器 从响应源中找到AWS-S3 从响应源中查找子域 从Waybac
所属分类:
其它
发布日期:2021-02-03
文件大小:33792
提供者:
weixin_42178688
«
1
2
3
»