Всем привет, задаю ламерский вопрос
В панели вебмастера Яндекс в списке сайтов у моего в колонке "Загружено роботом" показывает 403 стр., а в колонке "Страниц в поиске" - всего 163. Запрещены в роботе 134 стр., остальная часть на допуске в поиск, я так понял.
Вопрос: если страницы запрещены в robots.txt, то поисковый робот их всё равно сканирует и отправляет в загруженные? А те, что разрешены к индексации, то яша загрузил, но ещё не выпустил в поиск? И зачем Яндекс сканирует те странички, что запрещены для индекса?
В панели вебмастера Яндекс в списке сайтов у моего в колонке "Загружено роботом" показывает 403 стр., а в колонке "Страниц в поиске" - всего 163. Запрещены в роботе 134 стр., остальная часть на допуске в поиск, я так понял.
Вопрос: если страницы запрещены в robots.txt, то поисковый робот их всё равно сканирует и отправляет в загруженные? А те, что разрешены к индексации, то яша загрузил, но ещё не выпустил в поиск? И зачем Яндекс сканирует те странички, что запрещены для индекса?
