Robots.txt: что он регулирует и почему не скрывает конфиденциальные страницы
Как различать обход, индексацию и доступ, проверять правила robots.txt на реальных адресах и не принимать Disallow за защиту закрытых документов.
ПодробнееЖурнал Сутри
Разборы проектов, рабочие процессы и практические инструкции.
Статей в подборке: 3
Как различать обход, индексацию и доступ, проверять правила robots.txt на реальных адресах и не принимать Disallow за защиту закрытых документов.
ПодробнееКак найти действующий генератор карты WordPress, проверить дочерние XML и убедиться, что новые публикации появляются, а черновики остаются закрытыми.
ПодробнееРазбираем, какие URL включать в XML sitemap, как построить HTML-навигацию и проверить обновление обеих карт после публикации или переноса страницы.
Подробнее