Помгите пожалуйста
Страницы: Пред. 1 2
Помгите пожалуйста
Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:
User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /
Вообще удалил этот роботс, но результата ноль
Цитата
Олег+ Кандагаров+ пишет:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Вот часть моего роботса, а если вы не указали, что именно Дисаалоить, то он будет дисаллоить все smile:wall:
у автора дле вобще-то
Анкорные прогоны по Dle сайтам
Цитата
Netro пишет:
http://cospi.ru/robots/
http://www.stasv.ru/articles/robotstxt/
и что вы это показываете?

http://cospi.ru/robots.txt
Цитата
Авантюрист пишет:
дайте источник откуда такой совет взяли
Вот сайты, где взял данные настройки
Цитата
Netro пишет:
Цитата
Авантюрист пишет:
дайте источник откуда такой совет взяли
Вот сайты, где взял данные настройки
вот и гляньте какие у них роботсы
Авантюрист,  зачем мне их роботсы? Я искал именно настройки для DLE сайта, а какие там у них SMCя не знаю
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /user/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*page/*
Allow: /
Host: cs-liga.ru
Sitemap: http://cs-liga.ru/sitemap.xml
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:00 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 
15:56 SEO под нейро 
15:53 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 
15:50 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
15:49 Плагин ответа 
15:44 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
09:49 Исходящие ссылки из файлов .swf 
18:39 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 
17:25 SMS.PRO - площадка для продажи твоих номеров 
16:14 Все услуги в Телеграм 
14:16 Nexulume.com Обменник без AML и KYC 
13:43 Anonflare - Приватные IPv4 прокси от 0.39 USD 
10:52 Mixmasters - Exchange without AML and KYC 
10:29 Admaker.tech - Конструктор ботов | Магазин | Подписки | Обратная связь 
16:35 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
15:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
09:05 Точные прогнозы на футбол 
05:31 Ставки на супер тренды в спорте 
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
08:25 Отвратительное поведение 
11:00 Кто может дать инвайт на WebMasters?