Robots.txt для WordPress - правильная версия.
Страницы: 1
[ Закрыто ] Robots.txt для WordPress - правильная версия., Что и как?
С толкнулся с проблемой выбора файла роботс для блога. В интернете большое количество разных вариантов, но какой из них правильный? На данный момент сделал все по этой pro-wordpress.ru/chast-2-raskrutka-bloga/kak-izbavitsya-ot-dublej-stranic.php]инструкции  но вот тут есть опасения хоть и стоит 301 редиректор но робот то открыт полностью, может по мимо этого и в роботсе все закрыть? Мне нужно только что бы записи,изображения и страници были в поиске. Я понимаю что таких тем куча. но я не нашел нормальный фаил роботс. Буду очень признателен если поделиться, и если есть возможность ссылку на сайт где он стоит.
40 просмотров и не одного ответа, всем лень писать?smile:confused:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /redirect/
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: /*?*
Disallow: /*?
Disallow: */comments
Disallow: /author/*
Disallow: /tag/*
Disallow: /xmlrpc.php
Host: сайт.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /redirect/
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /author/*
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: */comments
Disallow: /tag/*
Disallow: /xmlrpc.php

Sitemap: http://сайт.com/sitemap.xml
Цитата
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
что это закрывает?
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /*rss

User-agent: Mail.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /*rss

Host: site.site

Sitemap: site.site/sitemap.xml
Sitemap: site.site/sitemap.xml.gz попробуйте такой вариант
Изменено: Александр - 21 Апреля 2015 12:09
Цитата
[COLOR=#ffffff]Robots.txt для WordPress - правильная версия., Что и как?[/COLOR]


много разных потому что у каждого свои задачи и настройки сайта разные, Вам дают примеры как закрывать ненужные страницы, конкретно для своего сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
Цитата
desertFox пишет:
сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
опыта нету, по этому и помощь нужна. Сейчас посоветовали сделать вот так alaev.info/blog/post/4143сижу разбираюсь..
советую почитать официальные мануалы, например этот - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
когда знаешь, как это работает, для любого проекта без проблем составишь роботс
Цитата
slonikk пишет:
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*что это закрывает?
Закрывает так называемые DeepLink, ссылки для анализа источников откуда пришел человек, по типу афилат линков в партнерках но от гугла
Не хотел создать тему, так как мой вопрос тоже связан по роботсу.
Яндекс пишет что страницы закрыты для индексации, посмотрите на мой роботс.
Где я закрыл "Страницы". CMS WP

Цитата


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /page/*
Disallow: /author/*
Disallow: /2015/*

Изменено: Zeekrewards * - 26 Апреля 2015 17:50
https://surudi.com Таджикские песни
slonikk, utm метки ссылок, но если вы не знаете, что это, значит вы их и не делали, закрывать не надо
Цитата

Где я закрыл "Страницы". CMS WP
Цитата
Disallow: /page/*


вот))
По просьбе ТС в ЛС
Тему закрыл.

* обращение к пользователям - > если Ваша тема потеряла свою актуальность, то, пожалуйста, отпишитесь об этом в теме и скиньте ссылку на тему мне в ЛС.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
01:46 Настроить поставщиков в программе E-Trade PriceList Importer 
15:26 Найти элемент в коде 
11:51 Bropush - твой бро в монетизации сайта push-уведомлениями 
03:12 Сайты-копипасты 
21:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
09:59 Ошибка после размещения кода HTML! 
15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик 
20:17 4G/LTE Mobile Proxy 30+ geo  
18:03 Обмен без AML и верификации Aztor.pro 
17:30 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
16:34 Phoenix - Выгодный обмен электронных валют, без верификации 
16:11 ZennoPoster - софт №1 для автоматизации любых SEO задач! 
13:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
13:22 Burzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ) 
12:48 Каспкрски ОС 
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
01:05 Точные прогнозы на футбол 
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 
15:24 Добро пожаловать в цифровой мир... 
22:58 У меня дикая просадка по РСЯ за последние 3 суток 
21:51 Linux - это максимальная свобода