Файл robots для вордпресс

Файл robots для вордпресс, Правильное заполнение файла robots

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 12:27

Добрый день всем!
Помогите, пожалуйста, гляньте - я правильно robots заполнила (составляла по аналогам, выложенным в Интернете) - ничего не перемудрила?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: мой сайт

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://мой сайт//sitemap.xml.gz
Sitemap: http://мой сайт//sitemap.xml

Контент-маркетолог

Master95

Сообщений: 126 Регистрация: Ноя 2010

22 Августа 2011 13:06

Я себе такой составил:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sitename.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://www.sitename.ru/sitemap.xml

Прошло 3 дня, гоша уже 5 страничек скушал и одну картинку, вроде нормально пока.

Изменено: Master95 - 22 Августа 2011 13:07

Angelina M.

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 13:13

Master95

Спасибо за ответ!

Изменено: Angelina M. - 22 Августа 2011 13:13

Ольга

Сообщений: 15 Регистрация: Июн 2011

1 Декабря 2011 21:56

А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

qweds

Сообщений: 15 Регистрация: Апр 2010

2 Декабря 2011 21:44

Цитата

Ольга пишет:
А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?
У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

Ольга, Adsense реклама будет везде показываться, где установишь код, не зависимо, есть ли страница в индексе или нет.

Дубли обычно образуются из категорий (меню), страниц поиска, feed, архивы. Если используешь плагин All in One SEO, то там есть такие пункты - Use noindex for Categories, Use noindex for Archives, Use noindex for Tag Archives - поставь там галочки и сохрани!

А вот robots.txt:

Код

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Андрей

Сообщений: 6 Регистрация: Окт 2011

14 Декабря 2011 14:41

Я тоже долго мучился с этим вопросом, но как-то задал этот вопрос Алексею Козымаеву (толковый парень) и он написал мне отличный вариант. Поставил и все работает просто супер!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads
Host: gazoninfo.com

Sitemap: http://gazoninfo.com/sitemap.xml
Sitemap: http://gazoninfo.com/sitemap.xml.gz

Ольга

Сообщений: 15 Регистрация: Июн 2011

15 Декабря 2011 01:29

Спасибо всем за ответы. Столько вариантов, что не знаешь на каком остановиться.

Александр Розанов

Сообщений: 422 Регистрация: Янв 2012

21 Февраля 2012 12:23

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Это означает, что комментарии к заметкам не будут индексироваться?

Партнерка, из которой я вывел более 1 млн руб

Yapy

Сообщений: 583 Регистрация: Дек 2011

22 Февраля 2012 18:32

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Цитата
qweds пишет: Disallow: */feed Disallow: /feed/

Не понимаю, зачем так писать. Первая строчка уже включает вторую. Или я не прав?

О сколько нам открытий чудных готовит продвиженья путь:
И Google, сын ошибок трудных, и Yandex, парадоксов друг :)
Дешёвый хостинг для новичков и про

Похожие темы:

07.05.2021 01:48	Страницы медиафайлов vs. обычные
24.02.2020 13:18	Нужен файл роботс для вордпресс.
12.02.2019 12:26	Помогите вынести скрипт в отдельный файл и запретить его загрузку на мобильный устройствах
24.06.2018 15:24	Как автоматически реализовать скачку файлов с задержкой 9-15 секунд
24.05.2018 14:10	Хелпаните с размещением rar файлов на сайте.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:03 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче 16:22 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:40 BYTIK.shop – сервис по продвижению в популярных социальных сетях 14:38 Покупные ссылки 14:30 Gogetlinks - ссылки навсегда на качественных сайтах с гарантией индексации! - 2 13:18 Google покинул Россию: Сервисы под угрозой! 15:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	20:23 Продажа аккаунтов HH.RU 17:36 GoodsMoney.io 17:09 swapsfera.com 16:54 Эксклюзивные FOREX\|CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта -Чарджбек -Лайф Трафик 13:54 Аккаунты AVITO/АВИТО 12:45 4G/LTE Mobile Proxy 30+ geo 10:50 Современный скрипт обменника электронных валют	16:22 Компьютерная мышь 16:08 Ну что, кто куда деваете свои сайты? 23:55 Добро пожаловать в цифровой мир... 20:47 Точные прогнозы на футбол 13:13 О природе путешествий. 00:15 Накрутка поисковых подсказок 19:56 Union Pharm - топовая фарма-партнерка для профессионалов!