Robots.txt Запретить метод

0

Я проходил различные форумы и задавался вопросом, правильно ли это. Я пытаюсь отключить боты от обхода запросов только в определенных подстраницах (например, www.website.com/subpage/?query=sample). Я пытаюсь убедиться, что /subpage/также не может быть запрещен. Пожалуйста, поправьте меня, если я ошибаюсь.

Файл: robots.txt

User-agent: *
Disallow: /subpage/*?
  • 0
    Вы всегда можете загрузить соответствующее дополнение или расширение, чтобы протестировать эти вещи, не выходя из собственного браузера.
  • 0
    @MisterMelancholy Спасибо за комментарий :) Однако мне просто интересно, является ли строка «Disallow: ...» действительной или нет. По сути, я просто не хочу, чтобы боты сканировали запросы в «подстранице».
Теги:
robot

2 ответа

1
Лучший ответ

Согласно тому, что я вижу здесь, вы очень близки

User-agent: *
Disallow: /subpage/*?*
Allow: /subpage$

Вы можете проверить это с комфортом своего браузера, используя соответствующее дополнение или расширение.

  • 0
    Хм .. не хочу запрещать / подстраницу / сам. Поскольку у меня есть / subpage /, у которого есть блок опций, при выборе опции он делает url: / subpage /? Option = 1. И я не хочу, чтобы Google сканировал параметры запроса.
  • 0
    Я обновил свой ответ (включая ссылку здесь).
Показать ещё 1 комментарий
0

Я не думаю, что вы можете указать строку запроса в Disallow. Значение, заданное для Disallow, ссылается на Directory в документации (а не на URI или URL).

Однако вы можете достичь своей цели, используя Sitemap.xml. Вы можете исключить URL из файла Sitemap, который вы не хотите индексировать.

Инструменты Google Webmaster также дают некоторый размерный контроль над тем, как интерпретировать параметры строки запроса. Не уверен, что это послужит вашей цели

Ещё вопросы

Сообщество Overcoder
Наверх
Меню