Я пытаюсь реализовать веб-поиск Sphider на своем сайте и начать индексирование. Есть 2 мнения: URL должен включать /URL не должен включать. Я должен использовать регулярные выражения и хочу индексировать сайт, на котором я знаю структуру ссылок, и я хочу обходить все URL-адреса, которые включают http://example.com/frage/....
Когда я помещаю в поле регулярного выражения */frage/
это не сработает, потому что доступ к индексу запрещен. Я также пробовал *\/frage
и *\/frage\/
.
Как я могу справиться с этим?
Если кто-то ищет решение, я придумал следующее:
/example.com(\/?)($|frage)/