Подскажите что не так.

Сообщений: 254 Регистрация: Апр 2012

15 Января 2014 05:41

Чет бот на сайт заходит каждые два, три дня. Но чет как месяц назад попала только одна гл страница в индекс так и не чего не меняется. В гугл все конечно прогрессивнее. Вот сам robots.txt

Код

User-Agent: Googlebot
Allow: /
Sitemap: http://dagstudent.ru/google_sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: http://dagstudent.ru/yandex_sitemap.xml

User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/

http://goo.gl/YO1HyI Онлайн город в сети интернета.

Вячелав Прокоса

Сообщений: 574 Регистрация: Сен 2013

15 Января 2014 07:04

А зачем писать одно и тоже сначала для каждого бота по отдельности потом для всех вместе? Можно же написать для всех сразу. Думаю файл тут не при чем, у яндекса свои особенности

Недорогой хостинг + Отзывчивая служба поддержки

Халявное продвижение вконтакте

Уникальные тексты - 1 тыс по 15 руб не миф

Илья Гудков

Сообщений: 674 Регистрация: Дек 2010

15 Января 2014 08:55

Я думаю, что надо сначала сделать для всех, а потом уже отдельно для яши. Ну это для WordPress'a, для другого движка соответственно другие папки прикрывать надо. Примерно так:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /page/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /2013/
Disallow: /2014/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /page/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /2013/
Disallow: /2014/
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap_любой префикс.xml

Изменено: Илья Гудков - 15 Января 2014 08:56

Проверка позиций за копейки

Тематическте бэки от 5р навечно

Хостинг

Dudu Dudka

Сообщений: 169 Регистрация: Авг 2012

15 Января 2014 09:07

Gman, поменяй dagstudent.ru на свой домен и будет тебе счастье smile:)

Олег Сообщений: 2799 Регистрация: Сен 2011	#5 15 Января 2014 10:13 Dudu Dudka, гениально

Новые темы	Объявления	Свободное общение
07:34 биржи в 26-м окончательно сдохли или кто-то еще ковыряет этот шлак? 06:47 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 06:34 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 06:21 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 05:34 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 21:29 Без просмотра рекламы к контенту не пустят? AdSense вводит Offerwall для всех 20:37 Claude Design - ИИ, который сам делает дизайн (прототипы, лендинги, слайды). Кто-нибудь уже смотрел?	19:29 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 17:16 buyingproxy.com \| $0.95/GB Residential Proxies - 80M+ IPs \| No Bandwidth Expiry 14:22 E-currency.exchange — ваш помощник в мире обменов 11:35 Mixmasters - Exchange without AML and KYC 08:33 Swapwatch.org — Мониторинг криптовалютных обменников 06:26 HH.ru Работадателя вериф 20:38 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC)	18:58 Ставки на супер тренды в спорте 07:46 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 23:50 Точные прогнозы на футбол 21:08 Подтягиваем физкультурку 16:29 С юмором по жизни! 16:24 Всех с праздником! 12:47 Добро пожаловать в цифровой мир...

Новые темы

Объявления

Свободное общение

07:34 биржи в 26-м окончательно сдохли или кто-то еще ковыряет этот шлак?
06:47 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее
06:34 Что такое Яндекс Икс / Как накрутить Яндекс ИКС
06:21 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта
05:34 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче
21:29 Без просмотра рекламы к контенту не пустят? AdSense вводит Offerwall для всех
20:37 Claude Design - ИИ, который сам делает дизайн (прототипы, лендинги, слайды). Кто-нибудь уже смотрел?

19:29 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
17:16 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry
14:22 E-currency.exchange — ваш помощник в мире обменов
11:35 Mixmasters - Exchange without AML and KYC
08:33 Swapwatch.org — Мониторинг криптовалютных обменников
06:26 HH.ru Работадателя вериф
20:38 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC)

18:58 Ставки на супер тренды в спорте
07:46 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
23:50 Точные прогнозы на футбол
21:08 Подтягиваем физкультурку
16:29 С юмором по жизни!
16:24 Всех с праздником!
12:47 Добро пожаловать в цифровой мир...

сегодня, 07:46	Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
вчера, 21:08	Подтягиваем физкультурку
вчера, 16:29	С юмором по жизни!
вчера, 16:24	Всех с праздником!
16.04.2026 12:47	Добро пожаловать в цифровой мир...