Правильно ли сделан Robots.txt для Dle
Страницы: 1
[ Закрыто ] Правильно ли сделан Robots.txt для Dle, Правильно ли сделан Robots.txt для Dle
Помогите! Правильный ли такой вариант
 Robots.txt для Dle


User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2011/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: урл сайта
Sitemap: http://урл сайта/sitemap.xml
Disallow: /page/
Disallow: */page/*
Эти две строчки равносильны, у меня стоит только первый вариант

Так же в моем имеются вот такие строчки:
Disallow: /*print
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /index.php?subaction=*
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
Цитата
Katrin пишет:
Disallow: /page/
Disallow: */page/*
Эти две строчки равносильны, у меня стоит только первый вариант
Но разницы не ту, будет две или одна, правильно ? Просто лишнее место занимает.
Изменено: Юра Юрченко - 31 Декабря 2013 23:23
Цитата
Katrin пишет:
Disallow: /page/
Disallow: */page/*
Эти две строчки равносильны, у меня стоит только первый вариант

Так же в моем имеются вот такие строчки:
Disallow: /*print
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /index.php?subaction=*
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /addnews.html
А что они запрещают ? Именно вот Disallow: /*print
Изменено: Юра Юрченко - 31 Декабря 2013 23:26
Юра Юрченко, smile:) искать не буду, с проиндексированных страниц вылавливала и убирала, все что мне не нужно в поиске.
Цитата
Katrin пишет:
Юра Юрченко, smile:) искать не буду, с проиндексированных страниц вылавливала и убирала, все что мне не нужно в поиске.
Понятно, и еще один вопрос. С Robots.txt сразу затупил, и теперь в индексе не нужные страницы. Сейчас вроде их запретил, если их не удалять через вебмастер гугла и яши, как быстро они сами отпадут.
Юра Юрченко,  в яше обычно в течении месяца отваливаются, гугл быстро хавает, но трудно расстается, от чего в гугле вечно соплями все висит)))
Цитата
Katrin пишет:
Юра Юрченко, в яше обычно в течении месяца отваливаются, гугл быстро хавает, но трудно расстается, от чего в гугле вечно соплями все висит)))
Спасибо большое Katrin за помощь. Вы ответили на все что мне нужно было. Ветку можно закрывать smile:)
Пожалуйста.
Тема закрыта.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
05:20 ссылка на сайт 
22:12 Яху Скаут и китайцы - есть там вообще жизнь для новичка в 2026? 
21:57 Бесплатное получение бэклинков 
12:25 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
12:15 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 
12:13 Хватит ныть про смерть сайтов и нейроответы - почему мы всё еще в деле 
12:11 С чего сейчас проще начать? 
07:17 HH.ru Работадателя вериф 
04:18 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
23:11 TETChange-Обменник криптовалют 
21:52 [Comcash.io] Анонимный обмен и чистка крипты без AML/KYC 
15:41 Trustpilot Reviews | Подниму рейтинг вашей компании 
15:40 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
15:39 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
06:38 Точные прогнозы на футбол 
22:16 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
22:08 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
22:05 Всех с праздником! 
21:56 Сайты Рунета 
21:53 Добро пожаловать в цифровой мир... 
15:42 Список обновленных тем пуст...