Размер файла Robots.txt может стать причиной вылета из индексации

 Если Вы не первый день в SEO продвижении ,а может ВЫ в этом деле вообще очень долго, Вы, несомненно, осознает важность файлы robots.txt в определенных обстоятельствах.
  Robots.txt файлы могут быть очень полезными в определении того, как ваш сайт будет рассматриваться Google и другими поисковиками . Вы можете не только запретить поисковым системам увидеть (и, следовательно индексировать ), ваш сайт, вы также можете скрыть отдельные страницы от поиска.
 Для больших сайтов, таких как электронная коммерция, платформ с сотнями и сотнями страниц, это может означать то , что настройка файла  robots.txt имеет большое значение. И это именно тот вариант , когда проблема может возникнуть. Через свою страницу Google, Googler Джон Мюллер недавно напомнил оптимизаторам, какой должен быть в идеале robot.txt файл, то есть robot.txt должен быть размером не более 500кб в размерах.
 По словам Ж. М., Google , будет читать только первые 500кб любого файла роботов. Это означает, что если у вас есть важная информация в файле, но он больше 500кб то скорее всего Google не будет принимать во внимание указанную информацию. Это может привести к серьезным проблемам и даже может означать, что файлу robots.txt не удастся выполнять задачи, для которых вы его настроили - что может привести к большим проблемам в индексации  вашей кампанией при продвижении SEO.
 Более того, неоправданно большие файлы  роботов  являются ненужными  и можно предположить, что все построения и кодирования вашего сайта, возможно, потребуется пересмотреть. С помощью Google и SEO, не забудьте проверить ваши файл роботов после любой работы на сайте, и помните, что чем более прост ваш сайт для навигации, тем лучше Googlebot его проиндексирует.