Правильно ли составлен robots.txt

Сообщений: 161 Регистрация: Дек 2012

1 Мая 2013 12:20

Здравствуйте, правильно ли составлен роботс для всех поисковых систем.

User-agent: Googlebot

Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /igro.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /2013/

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /igro.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /2013/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

repente

Сообщений: 270 Регистрация: Фев 2012

1 Мая 2013 12:26

User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru

Вот такой юзай

http://goo.gl/6JBDP $500 за 1000 трафика

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 13:00

Смотря для какой CMS/конструктора Роботс. Для uCoz совсем не то нужно, для Длешки тоже тяжеловатый будет, разве что на Дмуле попрет, но... слишком тяжкий Роботс, делайте попроще, совет выше поможет, но.. делайте не в точности также, а аналогично, эскпереминтируйте и все будет ровно smile;)

Цитата
Учатся на своих ошибках и недочетах

Coder

Сообщений: 10609 Регистрация: Мар 2013

1 Мая 2013 13:01

Посмотрите:

robotstxt.org.ru/robotsexclusion/guide

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 13:04

P.S. почитайте Даваку или Шакина, поможет, однозначно!

Ak Zhol

Сообщений: 161 Регистрация: Дек 2012

1 Мая 2013 13:08

Движок DLE

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

1 Мая 2013 15:34

Цитата
Ak Zhol пишет: правильно ли составлен роботс для всех поисковых систем

не правильно

Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 15:36

Цитата
Алексей SP пишет: не правильно

КЭП

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

1 Мая 2013 15:40

Цитата
Цепляй Крепче пишет: КЭП

ага

По теме: - где другие боты?

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 05:30 CoinCapital 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:53 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 19:52 Trustpilot Reviews \| Подниму рейтинг вашей компании	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

14:31 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
22:23 Подскажите нормальный сервис накрутки ПФ

16:15 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
16:04 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
05:30 CoinCapital
04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
19:53 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
19:52 Trustpilot Reviews | Подниму рейтинг вашей компании

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

21.05.2019 14:56	Поддомены сайта: как правильно настроить?
25.01.2018 14:07	Привет помогите пожалуйста проанализировать лендинг в структуре сайта с тчк зрения сео: правильно ли я сделал?
03.01.2018 16:45	почему яндекс не правильно выдает DESCRIPTION
17.12.2017 17:38	Как правильно продвигать сайт ссылками ?
06.11.2017 23:10	Кулинарный сайт - яндекс не видит микроразметку, хотя сделано все правильно