Подскажите что не так.

Сообщений: 254 Регистрация: Апр 2012

15 Января 2014 05:41

Чет бот на сайт заходит каждые два, три дня. Но чет как месяц назад попала только одна гл страница в индекс так и не чего не меняется. В гугл все конечно прогрессивнее. Вот сам robots.txt

Код

User-Agent: Googlebot
Allow: /
Sitemap: http://dagstudent.ru/google_sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: http://dagstudent.ru/yandex_sitemap.xml

User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/

http://goo.gl/YO1HyI Онлайн город в сети интернета.

Вячелав Прокоса

Сообщений: 574 Регистрация: Сен 2013

15 Января 2014 07:04

А зачем писать одно и тоже сначала для каждого бота по отдельности потом для всех вместе? Можно же написать для всех сразу. Думаю файл тут не при чем, у яндекса свои особенности

Недорогой хостинг + Отзывчивая служба поддержки

Халявное продвижение вконтакте

Уникальные тексты - 1 тыс по 15 руб не миф

Илья Гудков

Сообщений: 674 Регистрация: Дек 2010

15 Января 2014 08:55

Я думаю, что надо сначала сделать для всех, а потом уже отдельно для яши. Ну это для WordPress'a, для другого движка соответственно другие папки прикрывать надо. Примерно так:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /page/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /2013/
Disallow: /2014/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /page/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /2013/
Disallow: /2014/
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap_любой префикс.xml

Изменено: Илья Гудков - 15 Января 2014 08:56

Проверка позиций за копейки

Тематическте бэки от 5р навечно

Хостинг

Dudu Dudka

Сообщений: 169 Регистрация: Авг 2012

15 Января 2014 09:07

Gman, поменяй dagstudent.ru на свой домен и будет тебе счастье smile:)

Олег Сообщений: 2799 Регистрация: Сен 2011	#5 15 Января 2014 10:13 Dudu Dudka, гениально

Новые темы	Объявления	Свободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 08:23 Rotapost прикрыли! Чем пользоваться? 17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:01 Скрипт обменника валют 20:45 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 17:06 TETChange-Обменник криптовалют 14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница) 14:43 Onechange.me — надежный обменник криптовалют и фиатных средств	03:32 Точные прогнозы на футбол 13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду

Новые темы

Объявления

Свободное общение

13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense?
08:23 Rotapost прикрыли! Чем пользоваться?
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг

04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:01 Скрипт обменника валют
20:45 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
17:06 TETChange-Обменник криптовалют
14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница)
14:43 Onechange.me — надежный обменник криптовалют и фиатных средств

03:32 Точные прогнозы на футбол
13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду

17.11.2025 13:08	Бесплатный майнинг Tether (USDT)
14.11.2025 10:29	С юмором по жизни!
03.11.2025 16:49	monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
29.10.2025 20:43	Добро пожаловать в цифровой мир...
21.10.2025 23:09	ПП от PMS remote.team - 200$ за команду