如何解决如何防止谷歌网络爬虫将单个页面作为两个不同的页面读取
我有一个网页,上面写着 example.com/blog/news.php,我使用了这个代码:
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME}\.php -f
RewriteRule ^(.*)$ $1.php [NC,L]
在 .htaccess
文件中隐藏文件扩展名。但是 google 爬虫将 example.com/blog/news.php 和 example.com/blog/news 读取为两个不同的页面。请问我如何防止这种情况发生,我试图将 news.php 页面重定向到 news,但它返回了一条错误消息,说要重定向很多或类似的东西。
解决方法
您可以使用以下规则 301 将您的 .php
网址重定向到新的 (non-php
) 格式,这样 Google 只会将您的新网址编入索引。
将以下内容放在 RewriteEngine on
的右侧和现有规则之前:
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteRule ^([^.]+)\.php$ /$1 [L,R=301]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。