Я проходил различные форумы и задавался вопросом, правильно ли это. Я пытаюсь отключить боты от обхода запросов только в определенных подстраницах (например, www.website.com/subpage/?query=sample). Я пытаюсь убедиться, что /subpage/также не может быть запрещен. Пожалуйста, поправьте меня, если я ошибаюсь.
Файл: robots.txt
User-agent: *
Disallow: /subpage/*?
Согласно тому, что я вижу здесь, вы очень близки
User-agent: *
Disallow: /subpage/*?*
Allow: /subpage$
Вы можете проверить это с комфортом своего браузера, используя соответствующее дополнение или расширение.
Я не думаю, что вы можете указать строку запроса в Disallow
. Значение, заданное для Disallow
, ссылается на Directory
в документации (а не на URI
или URL
).
Однако вы можете достичь своей цели, используя Sitemap.xml
. Вы можете исключить URL
из файла Sitemap, который вы не хотите индексировать.
Инструменты Google Webmaster также дают некоторый размерный контроль над тем, как интерпретировать параметры строки запроса. Не уверен, что это послужит вашей цели