Robots.txt для WordPress - правильная версия.
Страницы: 1
[ Закрыто ] Robots.txt для WordPress - правильная версия., Что и как?
С толкнулся с проблемой выбора файла роботс для блога. В интернете большое количество разных вариантов, но какой из них правильный? На данный момент сделал все по этой pro-wordpress.ru/chast-2-raskrutka-bloga/kak-izbavitsya-ot-dublej-stranic.php]инструкции  но вот тут есть опасения хоть и стоит 301 редиректор но робот то открыт полностью, может по мимо этого и в роботсе все закрыть? Мне нужно только что бы записи,изображения и страници были в поиске. Я понимаю что таких тем куча. но я не нашел нормальный фаил роботс. Буду очень признателен если поделиться, и если есть возможность ссылку на сайт где он стоит.
40 просмотров и не одного ответа, всем лень писать?smile:confused:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /redirect/
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: /*?*
Disallow: /*?
Disallow: */comments
Disallow: /author/*
Disallow: /tag/*
Disallow: /xmlrpc.php
Host: сайт.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /redirect/
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /author/*
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: */comments
Disallow: /tag/*
Disallow: /xmlrpc.php

Sitemap: http://сайт.com/sitemap.xml
Цитата
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
что это закрывает?
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /*rss

User-agent: Mail.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /*rss

Host: site.site

Sitemap: site.site/sitemap.xml
Sitemap: site.site/sitemap.xml.gz попробуйте такой вариант
Изменено: Александр - 21 Апреля 2015 12:09
Цитата
[COLOR=#ffffff]Robots.txt для WordPress - правильная версия., Что и как?[/COLOR]


много разных потому что у каждого свои задачи и настройки сайта разные, Вам дают примеры как закрывать ненужные страницы, конкретно для своего сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
Цитата
desertFox пишет:
сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
опыта нету, по этому и помощь нужна. Сейчас посоветовали сделать вот так alaev.info/blog/post/4143сижу разбираюсь..
советую почитать официальные мануалы, например этот - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
когда знаешь, как это работает, для любого проекта без проблем составишь роботс
Цитата
slonikk пишет:
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*что это закрывает?
Закрывает так называемые DeepLink, ссылки для анализа источников откуда пришел человек, по типу афилат линков в партнерках но от гугла
Не хотел создать тему, так как мой вопрос тоже связан по роботсу.
Яндекс пишет что страницы закрыты для индексации, посмотрите на мой роботс.
Где я закрыл "Страницы". CMS WP

Цитата


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /page/*
Disallow: /author/*
Disallow: /2015/*

Изменено: Zeekrewards * - 26 Апреля 2015 17:50
https://surudi.com Таджикские песни
slonikk, utm метки ссылок, но если вы не знаете, что это, значит вы их и не делали, закрывать не надо
Цитата

Где я закрыл "Страницы". CMS WP
Цитата
Disallow: /page/*


вот))
По просьбе ТС в ЛС
Тему закрыл.

* обращение к пользователям - > если Ваша тема потеряла свою актуальность, то, пожалуйста, отпишитесь об этом в теме и скиньте ссылку на тему мне в ЛС.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:34 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
23:07 Как Яндекс индексирует ваш сайт? | АПдейт выдача 8.12.2025 
22:52 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 
18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:12 Покупные ссылки 
12:57 Rotapost прикрыли! Чем пользоваться? 
17:00 Стоит ли добавлять сайт в Rambler топ 100? 
23:01 Ру трафик с джоб сайтов 
17:24 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
16:38 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
15:31 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
15:31 Trustpilot Reviews | Подниму рейтинг вашей компании 
15:30 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
15:29 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
00:02 С юмором по жизни! 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb 
16:50 Компьютерная мышь 
23:03 Точные прогнозы на футбол