В корне любого сайта должно лежать несколько служебных файлов. Они почти не занимают места, но определяют, попадёт ли сайт в поиск и как его «прочитают» новые ИИ-помощники.
robots.txt: кто и что может читать
Файл robots.txt указывает роботам, какие разделы индексировать не нужно: корзину, личный кабинет, результаты поиска по сайту, служебные API. Здесь же обычно указывают путь к карте сайта строкой Sitemap: https://vash-site.ru/sitemap.xml. Ошибка в robots.txt может закрыть от индексации весь сайт — после правок обязательно проверяйте файл в Яндекс.Вебмастере и Google Search Console.
sitemap.xml: карта сайта
Карта сайта — это список всех страниц, которые вы хотите показать поисковикам, с датами последнего обновления. Она особенно важна для больших сайтов и для новых, на которые ещё нет внешних ссылок. Карту нужно обновлять автоматически при публикации и изменении страниц: статичный файл, забытый два года назад, приносит больше вреда, чем пользы.
llms.txt и llms-full.txt: файлы для ИИ
Формат llms.txt появился для того, чтобы ИИ-ассистенты могли быстро понять структуру сайта: разделы, ключевые страницы, ссылки на материалы. llms.txt содержит краткий обзор и оглавление, llms-full.txt — полный текст ключевых страниц в удобной для машин текстовой форме. Если ваши клиенты всё чаще приходят из ИИ-чатов, эти файлы помогают вам попадать в ответы ассистентов.
С чего начать
Проверьте служебные файлы нашим аудитором: SEO-аудит покажет, доступны ли robots.txt, sitemap.xml, llms.txt и llms-full.txt, и заполнены ли они осмысленно.