如何解决如何在robots.txt中禁止所有文件和文件夹,并允许其中一些?
我需要robots.txt
推荐下一个:
- 禁止所有文件和文件夹
- 只允许
index.php
和msub.php
我已经为msub.php
中的RewriteReuls
做过.htaccess
的链接,如下所示:
domain.com/p/subject122
domain.com/p/subject104
所以我想使链接显示在搜索引擎中,就像:domain.com/p/subject122。
我该怎么做?
我尝试了此命令,但效果不佳。.链接:domain.com/p/subject104
未出现在搜索引擎中
User-agent: *
Disallow: /
Allow: /index.php
Allow: /msub.php
.htaccess
Options -Indexes
RewriteEngine On
RewriteBase /
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://www.example.com/$1 [R,L]
RewriteCond %{REQUEST_URI} ^/404/$
RewriteRule ^(.*)$ /error.html [L]
RewriteRule home /index.php
RewriteRule p/(.*)$ msub.php?page=$1
解决方法
robots.txt
应该包含搜寻器看到的URI,无论您如何内部处理它们。因此,您的robots.txt
应该具有:
User-agent: *
Disallow: /
Allow: /p/subject122
Allow: /p/subject104
您的.htaccess也可以重构:
Options -Indexes
RewriteEngine On
RewriteBase /
RewriteCond %{SERVER_PORT} 80
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,NE,L]
RewriteRule ^404/?$$ error.html [L,NC]
RewriteRule ^home/?$ index.php [L,NC]
RewriteRule p/(.*)$ msub.php?page=$1 [L,NC,QSA]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。