如何解决配置 Azure CDN 时如何阻止对源的爬网
使用 Azure CDN 时有些地方不清楚。
我一步一步地解释了自从我的网站创建以来我做了什么。调用我的网站 www.mypublicwebsite.com
。所以:
- 我在 Azure 上创建了一个 Web 应用。该网站具有以下网址:
https://mypublicwebsite.azurewebsites.net
; - 我创建了一个自定义域
www.mypublicwebsite.com
- 我将所有请求从
https://mypublicwebsite.azurewebsites.net
重定向到www.mypublicwebsite.com
。所以我解决了爬虫重复内容的问题。
一切正常。然后,我决定创建 CDN,根据 documentation。混乱由此开始。
- 我创建了 CDN 配置文件
- 我创建了端点。端点有一个新的 url
https://mypublicwebsite.azureedge.net
- 我从网络应用中删除了自定义域;
- 我在 cdn 配置文件中创建了自定义域。
所以当前状态是这样的:
这种情况对于SEO来说真的是有问题!!它不可能是正确的配置。我的内容一式三份。 我部分解决了这种情况:
- 我将所有请求从
https://mypublicwebsite.azureedge.net
重定向到www.mypublicwebsite.com
。所以我解决了爬虫的重复内容问题。
但是爬虫(也许还有用户?)仍然可以导航原始网站。我一直在寻找不同的解决方案:
- 从
https://mypublicwebsite.azurewebsites.net
重定向到www.mypublicwebsite.com
。但这会创建一个 infinite redirects loop between the CDN and the origin。 - 尝试隐藏原点,但如何隐藏?
老实说,我开始认为这不是管理 cdn 的正确方法。 有人可以帮我吗?
谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。