Файл robots для вордпресс

Файл robots для вордпресс, Правильное заполнение файла robots

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 12:27

Добрый день всем!
Помогите, пожалуйста, гляньте - я правильно robots заполнила (составляла по аналогам, выложенным в Интернете) - ничего не перемудрила?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: мой сайт

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://мой сайт//sitemap.xml.gz
Sitemap: http://мой сайт//sitemap.xml

Контент-маркетолог

Master95

Сообщений: 126 Регистрация: Ноя 2010

22 Августа 2011 13:06

Я себе такой составил:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sitename.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://www.sitename.ru/sitemap.xml

Прошло 3 дня, гоша уже 5 страничек скушал и одну картинку, вроде нормально пока.

Изменено: Master95 - 22 Августа 2011 13:07

Angelina M.

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 13:13

Master95

Спасибо за ответ!

Изменено: Angelina M. - 22 Августа 2011 13:13

Ольга

Сообщений: 15 Регистрация: Июн 2011

1 Декабря 2011 21:56

А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

qweds

Сообщений: 15 Регистрация: Апр 2010

2 Декабря 2011 21:44

Цитата

Ольга пишет:
А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?
У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

Ольга, Adsense реклама будет везде показываться, где установишь код, не зависимо, есть ли страница в индексе или нет.

Дубли обычно образуются из категорий (меню), страниц поиска, feed, архивы. Если используешь плагин All in One SEO, то там есть такие пункты - Use noindex for Categories, Use noindex for Archives, Use noindex for Tag Archives - поставь там галочки и сохрани!

А вот robots.txt:

Код

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Андрей

Сообщений: 6 Регистрация: Окт 2011

14 Декабря 2011 14:41

Я тоже долго мучился с этим вопросом, но как-то задал этот вопрос Алексею Козымаеву (толковый парень) и он написал мне отличный вариант. Поставил и все работает просто супер!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads
Host: gazoninfo.com

Sitemap: http://gazoninfo.com/sitemap.xml
Sitemap: http://gazoninfo.com/sitemap.xml.gz

Ольга

Сообщений: 15 Регистрация: Июн 2011

15 Декабря 2011 01:29

Спасибо всем за ответы. Столько вариантов, что не знаешь на каком остановиться.

Александр Розанов

Сообщений: 422 Регистрация: Янв 2012

21 Февраля 2012 12:23

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Это означает, что комментарии к заметкам не будут индексироваться?

Партнерка, из которой я вывел более 1 млн руб

Yapy

Сообщений: 583 Регистрация: Дек 2011

22 Февраля 2012 18:32

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Цитата
qweds пишет: Disallow: */feed Disallow: /feed/

Не понимаю, зачем так писать. Первая строчка уже включает вторую. Или я не прав?

О сколько нам открытий чудных готовит продвиженья путь:
И Google, сын ошибок трудных, и Yandex, парадоксов друг :)
Дешёвый хостинг для новичков и про

Похожие темы:

07.05.2021 01:48	Страницы медиафайлов vs. обычные
24.02.2020 13:18	Нужен файл роботс для вордпресс.
12.02.2019 12:26	Помогите вынести скрипт в отдельный файл и запретить его загрузку на мобильный устройствах
24.06.2018 15:24	Как автоматически реализовать скачку файлов с задержкой 9-15 секунд
24.05.2018 14:10	Хелпаните с размещением rar файлов на сайте.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	13:23 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 13:08 AlwaysMoney - платформа для обмена криптовалют 13:11 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 00:56 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 15:26 TETChange-Обменник криптовалют	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?