吉安招标投标网:什么是蜘蛛协议(Robots Exclusion Protocol)
来源:百度文库 编辑:杭州交通信息网 时间:2024/04/27 17:49:36
控制某个站点上的网页是否被一些搜索引擎搜索到的协议。一个站点有唯一的一个Robots.txt文件用来告诉搜索引擎某些网页是否允许访问。
杭州交通信息网是一部内容开放、自由的互动网络百科全书
客观、专业、权威的知识性百科全书
来源:百度文库 编辑:杭州交通信息网 时间:2024/04/27 17:49:36