php – 如何没有索引特定的URL？

我正在搜索如何没有索引特定的URL,但我没有找到有关以下内容的任何具体信息.

通过添加以下内容

<?PHP if(is_single(X)): ?>
<Meta name="robots" content="noindex,nofollow">
<?PHP endif; ?>

我将无法索引(X),其中X可以是帖子ID,例如“Hello World”的帖子标题,或者“hello-world”的帖子.

如果可以指定所有以相同的帖子slug或title开头的URL,例如,如下例所示？

www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html

我可以省略所有以REF-123开头的网址吗？

解决方法:

通过使用robots.txt,您可以禁止抓取.

通过使用元机器人(或HTTP标头X-Robots-Tag),您可以禁止索引.

如果您打算禁止索引,you shouldn’t会禁止robots.txt中的网址,否则机器人将永远不会知道您不希望将这些网址编入索引.

如果您想禁止抓取,可以使用此robots.txt：

User-agent: *
Disallow: /REF-123

这适用于路径以REF-123开头的所有URL(区分大小写！).

如果您想禁止索引,可以向所有这些页面添加此元素

<Meta name="robots" content="noindex">

或发送相应的HTTP标头X-Robots-Tag：

X-Robots-Tag: noindex

（编辑：北几岛）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!