Robots.txt для сайта «косметология» — это правила для поисковых роботов. Неправильные директивы могут закрыть важные страницы или, наоборот, дать доступ к лишним.
Что закрывать
- Страницы благодарности после формы.
- Дубли: /index.php, параметры URL, print-версии.
- Админка и тестовые подкаталоги.
Что открывать
Главное: sitemap.xml (если есть), основные страницы услуг:
Проверьте свой сайт
SEO-аудит покажет, корректен ли robots.txt и не закрывает ли он важные страницы сайта «косметология».