Файл robots.txt содержит директиву, запрещающую роботу Яндекса

Сообщений: 172 Регистрация: Авг 2011

23 Сентября 2011 22:35

Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву.

Как ее определить и удалить?

Валерий Добров

Сообщений: 1285 Регистрация: Авг 2011

23 Сентября 2011 22:44

Разве в вебмастере не прописыват строку?

Глупый пингвин робко прячет, умный - смело достаёт...)

serjoo

Сообщений: 172 Регистрация: Авг 2011

23 Сентября 2011 22:50

Цитата
Валерий Добров пишет: Разве в вебмастере не прописыват строку?

Внимание! Убедитесь, пожалуйста, что страницы, содержащие персональные данные ваших пользователей, закрыты от индексации директивой Disallow.

Arte

Сообщений: 1458 Регистрация: Янв 2011

24 Сентября 2011 00:59

То serjoo объясните что вы хотите.

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

Wsewolod

Сообщений: 487 Регистрация: Апр 2010

24 Сентября 2011 06:48

serjoo,
User-agent: Yandex
Disallow: / полный запрет индексации Яндексом (или перечислите какие папки здесь нужно закрыть.)
User-agent: *
Disallow: / (для других поисковиков)
Host: www.site.ru

Общение без границ

Александр Гладун

Сообщений: 1 Регистрация: Авг 2011

24 Сентября 2011 12:57

Смотри как составляется http://zonakms.ru/stati/robottxt.html

Изменено: Александр Гладун - 24 Сентября 2011 13:01

LeGna

Сообщений: 298 Регистрация: Окт 2010

24 Сентября 2011 14:14

В первую очередь хотелось бы узнать, что за движок Вы используете, м !?

Моя личная почта на www.8ox.ru

serjoo

Сообщений: 172 Регистрация: Авг 2011

24 Сентября 2011 15:38

Цитата
LeGna пишет: В первую очередь хотелось бы узнать, что за движок Вы используете, м !?

вордпресс

Arte

Сообщений: 1458 Регистрация: Янв 2011

24 Сентября 2011 15:47

Цитата

serjoo пишет:

Цитата
LeGna пишет: В первую очередь хотелось бы узнать, что за движок Вы используете, м !?

вордпресс

C вас вытягивать нужно? А ваш роботс на данный момент можете написать или домен?

serjoo

Сообщений: 172 Регистрация: Авг 2011

#10

24 Сентября 2011 16:19

Цитата

Arte пишет:

Цитата

serjoo пишет:

Цитата
LeGna пишет: В первую очередь хотелось бы узнать, что за движок Вы используете, м !?

вордпресс

C вас вытягивать нужно? А ваш роботс на данный момент можете написать или домен?

получается что нужно, я не шарю, сори
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: домен.ru

Sitemap: http://домен.ru/sitemap.xml.gz
Sitemap: http://домен.ru/sitemap.xml

Изменено: serjoo - 24 Сентября 2011 16:21

Новые темы	Объявления	Свободное общение
00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	13:23 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 13:08 AlwaysMoney - платформа для обмена криптовалют 13:11 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 00:56 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 15:26 TETChange-Обменник криптовалют	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
22:23 Подскажите нормальный сервис накрутки ПФ
09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг

13:23 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
13:08 AlwaysMoney - платформа для обмена криптовалют
13:11 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
00:56 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
15:26 TETChange-Обменник криптовалют

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2020 14:09	Ссылка с pdf файла на сайте.. Стоит ли?
07.04.2020 01:55	SEO, WP медиафайлы- картинки, вредят?
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt