Правильно ли составлен robots.txt

Сообщений: 161 Регистрация: Дек 2012

1 Мая 2013 12:20

Здравствуйте, правильно ли составлен роботс для всех поисковых систем.

User-agent: Googlebot

Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /igro.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /2013/

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /igro.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /2013/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

repente

Сообщений: 270 Регистрация: Фев 2012

1 Мая 2013 12:26

User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Sitemap: http://www.site.ru/sitemap.xml
Host: www.site.ru

Вот такой юзай

http://goo.gl/6JBDP $500 за 1000 трафика

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 13:00

Смотря для какой CMS/конструктора Роботс. Для uCoz совсем не то нужно, для Длешки тоже тяжеловатый будет, разве что на Дмуле попрет, но... слишком тяжкий Роботс, делайте попроще, совет выше поможет, но.. делайте не в точности также, а аналогично, эскпереминтируйте и все будет ровно smile;)

Цитата
Учатся на своих ошибках и недочетах

Coder

Сообщений: 10778 Регистрация: Мар 2013

1 Мая 2013 13:01

Посмотрите:

robotstxt.org.ru/robotsexclusion/guide

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 13:04

P.S. почитайте Даваку или Шакина, поможет, однозначно!

Ak Zhol

Сообщений: 161 Регистрация: Дек 2012

1 Мая 2013 13:08

Движок DLE

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

1 Мая 2013 15:34

Цитата
Ak Zhol пишет: правильно ли составлен роботс для всех поисковых систем

не правильно

Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.

Цепляй Крепче

Сообщений: 74 Регистрация: Апр 2013

1 Мая 2013 15:36

Цитата
Алексей SP пишет: не правильно

КЭП

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

1 Мая 2013 15:40

Цитата
Цепляй Крепче пишет: КЭП

ага

По теме: - где другие боты?

Новые темы	Объявления	Свободное общение
21:31 Всем привет! 20:37 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 14:06 Слипание слов в блоке 14:02 APK на паузе. Google убивает быстрый конверт 11:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 19:37 Xrumer-полезный софт или нет? 17:26 AI под надзором. Минцифры готовят клеймо для контента	05:07 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 23:14 E-currency.exchange — ваш помощник в мире обменов 22:34 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 17:33 Продам жирный аккаунт fl.ru 17:25 Подключение к API слотов! Connecting to the slots API! 14:10 Авито аккаунты ИП и физик 13:34 AllCharge.online. Современный, быстрый и надёжный обменник	01:47 Точные прогнозы на футбол 21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 17:45 молодильные яблоки и живая вода 15:04 Сайты Рунета 08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 20:23 Панель Кнопки соцсетей 14:03 Огородники

Новые темы

Объявления

Свободное общение

21:31 Всем привет!
20:37 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки
14:06 Слипание слов в блоке
14:02 APK на паузе. Google убивает быстрый конверт
11:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
19:37 Xrumer-полезный софт или нет?
17:26 AI под надзором. Минцифры готовят клеймо для контента

05:07 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
23:14 E-currency.exchange — ваш помощник в мире обменов
22:34 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные
17:33 Продам жирный аккаунт fl.ru
17:25 Подключение к API слотов! Connecting to the slots API!
14:10 Авито аккаунты ИП и физик
13:34 AllCharge.online. Современный, быстрый и надёжный обменник

01:47 Точные прогнозы на футбол
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
17:45 молодильные яблоки и живая вода
15:04 Сайты Рунета
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
20:23 Панель Кнопки соцсетей
14:03 Огородники

21.05.2019 14:56	Поддомены сайта: как правильно настроить?
25.01.2018 14:07	Привет помогите пожалуйста проанализировать лендинг в структуре сайта с тчк зрения сео: правильно ли я сделал?
03.01.2018 16:45	почему яндекс не правильно выдает DESCRIPTION
17.12.2017 17:38	Как правильно продвигать сайт ссылками ?
06.11.2017 23:10	Кулинарный сайт - яндекс не видит микроразметку, хотя сделано все правильно