Файл robots для вордпресс

Файл robots для вордпресс, Правильное заполнение файла robots

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 12:27

Добрый день всем!
Помогите, пожалуйста, гляньте - я правильно robots заполнила (составляла по аналогам, выложенным в Интернете) - ничего не перемудрила?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: мой сайт

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://мой сайт//sitemap.xml.gz
Sitemap: http://мой сайт//sitemap.xml

Контент-маркетолог

Master95

Сообщений: 126 Регистрация: Ноя 2010

22 Августа 2011 13:06

Я себе такой составил:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sitename.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://www.sitename.ru/sitemap.xml

Прошло 3 дня, гоша уже 5 страничек скушал и одну картинку, вроде нормально пока.

Изменено: Master95 - 22 Августа 2011 13:07

Angelina M.

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 13:13

Master95

Спасибо за ответ!

Изменено: Angelina M. - 22 Августа 2011 13:13

Ольга

Сообщений: 15 Регистрация: Июн 2011

1 Декабря 2011 21:56

А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

qweds

Сообщений: 15 Регистрация: Апр 2010

2 Декабря 2011 21:44

Цитата

Ольга пишет:
А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?
У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

Ольга, Adsense реклама будет везде показываться, где установишь код, не зависимо, есть ли страница в индексе или нет.

Дубли обычно образуются из категорий (меню), страниц поиска, feed, архивы. Если используешь плагин All in One SEO, то там есть такие пункты - Use noindex for Categories, Use noindex for Archives, Use noindex for Tag Archives - поставь там галочки и сохрани!

А вот robots.txt:

Код

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Андрей

Сообщений: 6 Регистрация: Окт 2011

14 Декабря 2011 14:41

Я тоже долго мучился с этим вопросом, но как-то задал этот вопрос Алексею Козымаеву (толковый парень) и он написал мне отличный вариант. Поставил и все работает просто супер!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads
Host: gazoninfo.com

Sitemap: http://gazoninfo.com/sitemap.xml
Sitemap: http://gazoninfo.com/sitemap.xml.gz

Ольга

Сообщений: 15 Регистрация: Июн 2011

15 Декабря 2011 01:29

Спасибо всем за ответы. Столько вариантов, что не знаешь на каком остановиться.

Александр Розанов

Сообщений: 422 Регистрация: Янв 2012

21 Февраля 2012 12:23

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Это означает, что комментарии к заметкам не будут индексироваться?

Партнерка, из которой я вывел более 1 млн руб

Yapy

Сообщений: 583 Регистрация: Дек 2011

22 Февраля 2012 18:32

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Цитата
qweds пишет: Disallow: */feed Disallow: /feed/

Не понимаю, зачем так писать. Первая строчка уже включает вторую. Или я не прав?

О сколько нам открытий чудных готовит продвиженья путь:
И Google, сын ошибок трудных, и Yandex, парадоксов друг :)
Дешёвый хостинг для новичков и про

Похожие темы:

07.05.2021 01:48	Страницы медиафайлов vs. обычные
24.02.2020 13:18	Нужен файл роботс для вордпресс.
12.02.2019 12:26	Помогите вынести скрипт в отдельный файл и запретить его загрузку на мобильный устройствах
24.06.2018 15:24	Как автоматически реализовать скачку файлов с задержкой 9-15 секунд
24.05.2018 14:10	Хелпаните с размещением rar файлов на сайте.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
17:00 Ссылки с сайтов РБ 15:33 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 13:21 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 11:06 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 10:22 25.12.25 Апдейт Яндекс выдача 09:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 09:11 Продвижение-2022: Гугл все? Нет – Гугл не все!	13:00 Mixmasters - Exchange without AML and KYC 10:24 Размещение статей, ссылок и постовых на качественных ресурсах 08:49 Продвижение на Авито 08:48 xpoint.pro - быстрый и надежный криптообменный сервис Xpoint 18:09 Onechange.me — надежный обменник криптовалют и фиатных средств 14:59 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 10:06 CryptoGraph — Анонимный обмен криптовалют без KYC и AML	16:15 Стряхнуть обыденность - об Агасфере 16:13 Осторожно! Криптовалюта 12:20 Компьютерная мышь 12:08 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 10:21 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут? 23:08 Физические сим-карты 22:52 37 противникам прививок от COVID грозят уголовные дела