robot.txt для гугл

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 14:44

Год наверно не заглядывал гуглвебмастер, сегодня посмотрел, там полно сообщений с таким телом:

Цитата

domen.ru/: робот Googlebot не может получить доступ к вашему сайту
19 сентября 2012 г.
Число ошибок за последние 24 ч. при попытке робота Googlebot получить доступ к файлу robots.txt: 1410. Чтобы исключить сканирование страниц, доступ к которым заблокирован в этом файле, сканирование было отложено. Частота возникновения ошибок при попытке доступа к файлу robots.txt на сайте: 100.0%.

Сайт работает не на апаче, и нет возможности положить файл в движок. Точнее есть, но оно все равно не будет доступен к публике, дизайн, контент формируется динамически. Можно ли просто создать страницу с УРЛом /robots.txt, то есть полный урл новой страницы будет domen.ru/robots.txt? И катит ли такое, вед откроется страница с шапкой сайта, подвалом и пустым телом. Или лучше сделать редирект в куда либо, что бы отдать файл на скачивание? И последний вопрос, что бы гугл успокоился, пойдет пустой robots.txt, или пару строк чего то надо написать? Мне особо не надо что либо запрещать индекцировать

Изменено: Джек - 13 Октября 2012 14:47

Джек

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 15:52

Сделал редирект на совсем левый сайт, на http://otherssite.ru/robots.txt на пустой txt файл. Это логически верно. И еще, файл пустой, но через браузер показывает содержимое :

Код
User-agent: * Disallow: /

Это нормально?

Изменено: Джек - 13 Октября 2012 15:53

mozambik

Сообщений: 652 Регистрация: Ноя 2011

13 Октября 2012 16:20

Мазохист?
_http://otherssite.ru не открывается и robots.txt вообще не при делах.
ИМХО, если есть возможность, пропишите в метатегах для роботов сontent аll, чем так самоудовлетворяться.

При этом учтите, что метатеги имеют приоритет. Тобишь: написанное в robots.txt второстепенно по отношению к метатегам.

Заранее извиняюсь, если что не так. Сегодня в подъезде, где я живу, какой-то день похорон.
Грустно. Накушался...
Впрочем, вроде всё верно изложил.

Джек

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 17:01

Спасибо за ответ.

_otherssite.ru это смысле другой сайт, а получилось как ссылка на конкретный сайт smile:)

Для метатегов, как раз есть возможность.
То есть, если написать<META content=all name=robots>

[SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? И все делов то?[/SIZE]

[SIZE=2]этот метатег нужно ставить в шаблон, то бишь на все страницы, или нужно только в главной страницы?[/SIZE]

Изменено: Джек - 13 Октября 2012 17:08

Злой Админ

Сообщений: 466 Регистрация: Апр 2012

13 Октября 2012 18:06

Цитата
Джек пишет: Для метатегов, как раз есть возможность. То есть, если написать<META content=all name=robots> [SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? И все делов то?[/SIZE]

Не перестанут

Подумайте как открыть файл robots.txt на сервере - не верю, что сервак нельзя настроить на отдачу robots.txt , а фактически не верю что он его не отдает даже с теми настройками что сейчас. Вы его пробовали создать и кинуть в корень ?

То что сервер не apache - это совсем не аргумент, в конче концов robots.txt - это вовсе не .htaccess smile:D

Изменено: Злой Админ - 13 Октября 2012 18:12

mozambik

Сообщений: 652 Регистрация: Ноя 2011

13 Октября 2012 19:01

Цитата
Джек пишет: Спасибо за ответ. [SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? [/SIZE]

Без вариантов - перестанут ругаться, если вообще не будет robots.txt.

Джек

Сообщений: 43 Регистрация: Май 2012

14 Октября 2012 01:32

Да, сделал robots.txt Оказывается через conf.xml возможно разрешить. Дальше что, оставить пустым, или так лучше:

Код
User-Agent: * Disallow: # test

21.06.2022 18:41	Подскажите как выбрать хорошего спеца по СЕО продвижению сайта в Яндекс и Гугл?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
06.10.2020 15:28	Есть ли инструмент для сбора данных о доходов с рся, гугл adsense и тд
25.03.2020 20:53	Прекратили показ объявлений в гугл.
03.02.2020 21:20	Падает посещаемость с Гугла и Яндекса

Новые темы	Объявления	Свободное общение
15:08 Стоит ли добавлять сайт в Rambler топ 100? 14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:02 Как продвигать сайт с неуникальным контентом 08:57 Absence в Армении 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз	10:29 local-pay.com - быстрый и надежный обменник криптовалюты Local-Pay 04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 17:33 Скрипт обменника валют 17:11 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 16:38 Продам копию сайта. 12:52 swapsfera.com 12:38 Volna.money	20:48 Точные прогнозы на футбол 19:04 Ну что, кто куда деваете свои сайты? 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди