Файл robots для вордпресс

Файл robots для вордпресс, Правильное заполнение файла robots

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 12:27

Добрый день всем!
Помогите, пожалуйста, гляньте - я правильно robots заполнила (составляла по аналогам, выложенным в Интернете) - ничего не перемудрила?

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: мой сайт

User-Agent: MJ12bot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://мой сайт//sitemap.xml.gz
Sitemap: http://мой сайт//sitemap.xml

Контент-маркетолог

Master95

Сообщений: 126 Регистрация: Ноя 2010

22 Августа 2011 13:06

Я себе такой составил:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sitename.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://www.sitename.ru/sitemap.xml

Прошло 3 дня, гоша уже 5 страничек скушал и одну картинку, вроде нормально пока.

Изменено: Master95 - 22 Августа 2011 13:07

Angelina M.

Сообщений: 118 Регистрация: Июл 2011

22 Августа 2011 13:13

Master95

Спасибо за ответ!

Изменено: Angelina M. - 22 Августа 2011 13:13

Ольга

Сообщений: 15 Регистрация: Июн 2011

1 Декабря 2011 21:56

А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?

У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

qweds

Сообщений: 15 Регистрация: Апр 2010

2 Декабря 2011 21:44

Цитата

Ольга пишет:
А как правильно составить robots.txt на Word Press, чтобы правильно закрыть дублирующие страницы, и чтобы реклама Google Adsense везде показывалась ?
У меня идет сильный перекос проиндексированных страниц: в Яндексе - 106, а в Гугле - 4500. Всего на сайте - 150 статей.

Ольга, Adsense реклама будет везде показываться, где установишь код, не зависимо, есть ли страница в индексе или нет.

Дубли обычно образуются из категорий (меню), страниц поиска, feed, архивы. Если используешь плагин All in One SEO, то там есть такие пункты - Use noindex for Categories, Use noindex for Archives, Use noindex for Tag Archives - поставь там галочки и сохрани!

А вот robots.txt:

Код

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=

User-agent: Yandex
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: */feed
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /trackback
Disallow: */comments
Disallow: /comments
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Андрей

Сообщений: 6 Регистрация: Окт 2011

14 Декабря 2011 14:41

Я тоже долго мучился с этим вопросом, но как-то задал этот вопрос Алексею Козымаеву (толковый парень) и он написал мне отличный вариант. Поставил и все работает просто супер!

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /tag
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: /comments
Allow: /wp-content/uploads
Host: gazoninfo.com

Sitemap: http://gazoninfo.com/sitemap.xml
Sitemap: http://gazoninfo.com/sitemap.xml.gz

Ольга

Сообщений: 15 Регистрация: Июн 2011

15 Декабря 2011 01:29

Спасибо всем за ответы. Столько вариантов, что не знаешь на каком остановиться.

Александр Розанов

Сообщений: 422 Регистрация: Янв 2012

21 Февраля 2012 12:23

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Это означает, что комментарии к заметкам не будут индексироваться?

Партнерка, из которой я вывел более 1 млн руб

Yapy

Сообщений: 583 Регистрация: Дек 2011

22 Февраля 2012 18:32

Цитата
Андрей пишет: Disallow: */comments Disallow: /comments

Цитата
qweds пишет: Disallow: */feed Disallow: /feed/

Не понимаю, зачем так писать. Первая строчка уже включает вторую. Или я не прав?

О сколько нам открытий чудных готовит продвиженья путь:
И Google, сын ошибок трудных, и Yandex, парадоксов друг :)
Дешёвый хостинг для новичков и про

Похожие темы:

07.05.2021 01:48	Страницы медиафайлов vs. обычные
24.02.2020 13:18	Нужен файл роботс для вордпресс.
12.02.2019 12:26	Помогите вынести скрипт в отдельный файл и запретить его загрузку на мобильный устройствах
24.06.2018 15:24	Как автоматически реализовать скачку файлов с задержкой 9-15 секунд
24.05.2018 14:10	Хелпаните с размещением rar файлов на сайте.

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:42 Гугл уходит из России: почему интернет тормозит и что делать 00:29 SEO под нейро 00:02 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 21:30 kraken зеркало рабочее 20:33 Телега на ручнике: РКН включил замедление и логи админок покраснели 17:48 Ютуб - все: РКН вырубил свет через DNS и НСДИ 16:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	18:49 CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта 18:13 Portfel.cc - современный помощник в Ваших финансовых операциях. 18:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 16:56 Сервис смс активаций и аренды мобильных номеров ALISMS 16:09 Bardo — Бюро развития и координации цифровых операций. 13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 13:14 BestChange – обменивать электронную валюту можно быстро и выгодно	00:40 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 00:36 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 00:18 Точные прогнозы на футбол 00:12 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 23:59 Сайты Рунета 20:42 Отвратительное поведение 20:35 Туалетные секреты: Замурчательная тема