Правильно ли составлен Robots ?

Сообщений: 335 Регистрация: Июн 2010

4 Марта 2012 03:20

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: --

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: --
Host: --
ничего лишнего нету?

FreakMurderer

Сообщений: 43 Регистрация: Окт 2011

4 Марта 2012 04:02

Для начала:
Лучше так :

Код
Disallow: /*print:

Не имеет смысла два раза для гугла и яндекса прописывать по полроботса
Лучше :

Код
User-agent: * ***** Sitemap: -- Host: --

А вообще, не лишним будет зайти в инструменты вебмастера Яши и ГУгла и там вручную еще раз проверить..

fobos234

Сообщений: 15 Регистрация: Дек 2011

4 Марта 2012 10:39

можно разве что картинки закрыть, а так можно почитать примеры - http://kapon.com.ua/str1.php

Изменено: fobos234 - 4 Марта 2012 10:46

dimakusch

Сообщений: 335 Регистрация: Июн 2010

4 Марта 2012 14:13

Или такой поставить?

Код

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site.ru

Напишите пожалуйста кто-то правильный робот.тхт для кино сайта. Что нужно оставить,а что убирать.
Буду очень благодарен

dimakusch Сообщений: 335 Регистрация: Июн 2010	#5 4 Марта 2012 14:32 И в вебмастере написано что исключены страницы типа /user/Admin/news/21-klyatva.htmlЭто нормально? 30 страниц исключено

Новые темы	Объявления	Свободное общение
22:28 ver aqui 22:12 ТОП-15 Реальных ОНЛАЙН-КАЗИНО За 24-2025 года* Рейтингам +220 Лучших Сайтов с Лицензией В России и*СНГ 01:55 Нужна помощь советом! 09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 12:22 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 06:06 Яндекс прекращает поддержку технологии Турбо 20:01 Работаем в P2P платежах BYBIT \| USDT - RUB , RUB - USDT \| Ищем постоянных клиентов , выгодные условия.	21:15 anyexchange.best - обменный пункт электронных валют AnyExchange 20:10 Cryptonet.pro - быстрый и надежный обмен электронных валют! 17:30 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 15:56 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:18 24bitbank.io - Анонимный обмен криптовалют 13:45 FatAds — Оптимизируй трафик и увеличь прибыль с AI! 13:20 STREAM X CASH — Ваш амбициозный и надежный партнер в сфере криптообмена	23:07 Точные прогнозы на футбол 10:54 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 11:58 Куплю проигрышные букмекерские аккаунты 00:12 Огородники 10:59 Новости искусственного интеллекта 04:26 Хром ругается на форум

Новые темы

Объявления

Свободное общение

22:28 ver aqui
22:12 ТОП-15 Реальных ОНЛАЙН-КАЗИНО За 24-2025 года* Рейтингам +220 Лучших Сайтов с Лицензией В России и*СНГ
01:55 Нужна помощь советом!
09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель...
12:22 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
06:06 Яндекс прекращает поддержку технологии Турбо
20:01 Работаем в P2P платежах BYBIT | USDT - RUB , RUB - USDT | Ищем постоянных клиентов , выгодные условия.

21:15 anyexchange.best - обменный пункт электронных валют AnyExchange
20:10 Cryptonet.pro - быстрый и надежный обмен электронных валют!
17:30 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые.
15:56 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
14:18 24bitbank.io - Анонимный обмен криптовалют
13:45 FatAds — Оптимизируй трафик и увеличь прибыль с AI!
13:20 STREAM X CASH — Ваш амбициозный и надежный партнер в сфере криптообмена

23:07 Точные прогнозы на футбол
10:54 Добро пожаловать в цифровой мир...
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
11:58 Куплю проигрышные букмекерские аккаунты
00:12 Огородники
10:59 Новости искусственного интеллекта
04:26 Хром ругается на форум

26.06.2019 18:48	Сайт неправильно отдаёт 404
25.10.2017 05:49	Помогите разобраться,как правильно переехать с dle в wordpress
12.01.2017 22:21	Как правильно настроить 301 редирект?
21.11.2016 15:09	Правильно ли составил robots.txt?
09.04.2016 08:05	Правильно ли настроено .htaccess и robots.txt