robots.txt
Страницы: 1
robots.txt, Как составить правильный robots.txt для WordPress
Пока страна пьет и гуляет, я изучаю, как правильно составить robots.txt
Вот что у меня получилось

Правильный robots.txt для WordPress

Не знаю, насколько я правильно все составило, но Яндекс ошибок не нашел, Гуглу тоже понравилось. Посмотрим, чем все это обернется. Пока все мои усилия избавиться от "соплей" результата не принесли. Нет, Гугл, конечно, уменьшил существенно число проиндексированных страниц, но Яндекс меня по-прежнему в упор не видит.
можеш помоч составить robot.txt ??а то я ток начал учитса этому и не очень выходит
Я составляла для вордпресса. Что и как - написано здесь, пока вроде ошибок нет, а ту, что допустила, поисковик потихоньку исправляет. Удачи!

P.S. У меня есть тоже вопросы по robots.txt, в частности, что касается /. Но ответа пока не нашла. Пока стоит такой:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /category/
Disallow: /page/
Disallow: /tag/
Disallow: /archive/
Disallow: /trackback
Disallow: /feed
Disallow: /feed/atom/
Disallow: /feed/rss/
Disallow: /comments
Disallow: /?s=

Sitemap: http://olejnikova.ru/sitemap.xml
Sitemap: http://olejnikova.ru/sitemap.xml.gz

Запретила папку /wp-content/ полностью, потому что картинки храню в другой. Если как обычно, то нужно разрешить доступ к папке с картинками.
Изменено: scorpionsakh - 19 Января 2011 00:25
Посмотрела что к чему и пришла к выводу, что я все же правильно составила robots.txt smile:D
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 
19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 
17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 
17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 
16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
18:46 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 
14:52 Прошу оценить сайт 
13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 
13:39 Вериф аккаунты АВИТО + платежи 
10:26 Мониторинг обменников Сrypto-scout.io 
00:15 Ставки на супер тренды в спорте 
00:07 Точные прогнозы на футбол 
23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 
21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 
17:20 Список обновленных тем пуст... 
19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
17:02 арбитражники