robot.txt для гугл

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 14:44

Год наверно не заглядывал гуглвебмастер, сегодня посмотрел, там полно сообщений с таким телом:

Цитата

domen.ru/: робот Googlebot не может получить доступ к вашему сайту
19 сентября 2012 г.
Число ошибок за последние 24 ч. при попытке робота Googlebot получить доступ к файлу robots.txt: 1410. Чтобы исключить сканирование страниц, доступ к которым заблокирован в этом файле, сканирование было отложено. Частота возникновения ошибок при попытке доступа к файлу robots.txt на сайте: 100.0%.

Сайт работает не на апаче, и нет возможности положить файл в движок. Точнее есть, но оно все равно не будет доступен к публике, дизайн, контент формируется динамически. Можно ли просто создать страницу с УРЛом /robots.txt, то есть полный урл новой страницы будет domen.ru/robots.txt? И катит ли такое, вед откроется страница с шапкой сайта, подвалом и пустым телом. Или лучше сделать редирект в куда либо, что бы отдать файл на скачивание? И последний вопрос, что бы гугл успокоился, пойдет пустой robots.txt, или пару строк чего то надо написать? Мне особо не надо что либо запрещать индекцировать

Изменено: Джек - 13 Октября 2012 14:47

Джек

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 15:52

Сделал редирект на совсем левый сайт, на http://otherssite.ru/robots.txt на пустой txt файл. Это логически верно. И еще, файл пустой, но через браузер показывает содержимое :

Код
User-agent: * Disallow: /

Это нормально?

Изменено: Джек - 13 Октября 2012 15:53

mozambik

Сообщений: 652 Регистрация: Ноя 2011

13 Октября 2012 16:20

Мазохист?
_http://otherssite.ru не открывается и robots.txt вообще не при делах.
ИМХО, если есть возможность, пропишите в метатегах для роботов сontent аll, чем так самоудовлетворяться.

При этом учтите, что метатеги имеют приоритет. Тобишь: написанное в robots.txt второстепенно по отношению к метатегам.

Заранее извиняюсь, если что не так. Сегодня в подъезде, где я живу, какой-то день похорон.
Грустно. Накушался...
Впрочем, вроде всё верно изложил.

Джек

Сообщений: 43 Регистрация: Май 2012

13 Октября 2012 17:01

Спасибо за ответ.

_otherssite.ru это смысле другой сайт, а получилось как ссылка на конкретный сайт smile:)

Для метатегов, как раз есть возможность.
То есть, если написать<META content=all name=robots>

[SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? И все делов то?[/SIZE]

[SIZE=2]этот метатег нужно ставить в шаблон, то бишь на все страницы, или нужно только в главной страницы?[/SIZE]

Изменено: Джек - 13 Октября 2012 17:08

Злой Админ

Сообщений: 466 Регистрация: Апр 2012

13 Октября 2012 18:06

Цитата
Джек пишет: Для метатегов, как раз есть возможность. То есть, если написать<META content=all name=robots> [SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? И все делов то?[/SIZE]

Не перестанут

Подумайте как открыть файл robots.txt на сервере - не верю, что сервак нельзя настроить на отдачу robots.txt , а фактически не верю что он его не отдает даже с теми настройками что сейчас. Вы его пробовали создать и кинуть в корень ?

То что сервер не apache - это совсем не аргумент, в конче концов robots.txt - это вовсе не .htaccess smile:D

Изменено: Злой Админ - 13 Октября 2012 18:12

mozambik

Сообщений: 652 Регистрация: Ноя 2011

13 Октября 2012 19:01

Цитата
Джек пишет: Спасибо за ответ. [SIZE=2]поисковики перестанут ругаться на не доступность robots.txt ? [/SIZE]

Без вариантов - перестанут ругаться, если вообще не будет robots.txt.

Джек

Сообщений: 43 Регистрация: Май 2012

14 Октября 2012 01:32

Да, сделал robots.txt Оказывается через conf.xml возможно разрешить. Дальше что, оставить пустым, или так лучше:

Код
User-Agent: * Disallow: # test

21.06.2022 18:41	Подскажите как выбрать хорошего спеца по СЕО продвижению сайта в Яндекс и Гугл?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
06.10.2020 15:28	Есть ли инструмент для сбора данных о доходов с рся, гугл adsense и тд
25.03.2020 20:53	Прекратили показ объявлений в гугл.
03.02.2020 21:20	Падает посещаемость с Гугла и Яндекса

Новые темы	Объявления	Свободное общение
20:47 Как поймать партнера на «сливе» бренда? 20:40 Мошенники-копирайтеры 19:31 Очередной взлом через плагин. Хакеры получают админку без пароля 19:18 AI под надзором. Минцифры готовят клеймо для контента 17:52 Подскажите ТОП 5-10 ИМ с современным дизайном? 17:42 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 17:38 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?	18:14 Bardo — Бюро развития и координации цифровых операций. 17:32 Вериф аккаунты АВИТО + платежи 13:09 Продажа аккаунтов HH.RU 12:03 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 11:57 Мониторинг обменников Сrypto-scout.io 08:54 Monitex: Мониторинг с кэшбэком 80% в USDT 05:07 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков	19:04 Какой фильм вы любите посмотреть перед сном? 19:03 О природе путешествий. 19:02 Огородники 17:50 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 01:47 Точные прогнозы на футбол 17:45 молодильные яблоки и живая вода 15:04 Сайты Рунета