Robots.txt для WordPress - правильная версия.
Страницы: 1
[ Закрыто ] Robots.txt для WordPress - правильная версия., Что и как?
С толкнулся с проблемой выбора файла роботс для блога. В интернете большое количество разных вариантов, но какой из них правильный? На данный момент сделал все по этой pro-wordpress.ru/chast-2-raskrutka-bloga/kak-izbavitsya-ot-dublej-stranic.php]инструкции  но вот тут есть опасения хоть и стоит 301 редиректор но робот то открыт полностью, может по мимо этого и в роботсе все закрыть? Мне нужно только что бы записи,изображения и страници были в поиске. Я понимаю что таких тем куча. но я не нашел нормальный фаил роботс. Буду очень признателен если поделиться, и если есть возможность ссылку на сайт где он стоит.
40 просмотров и не одного ответа, всем лень писать?smile:confused:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /redirect/
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: /*?*
Disallow: /*?
Disallow: */comments
Disallow: /author/*
Disallow: /tag/*
Disallow: /xmlrpc.php
Host: сайт.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /redirect/
Disallow: /wp-content
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /author/*
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
Disallow: */comments
Disallow: /tag/*
Disallow: /xmlrpc.php

Sitemap: http://сайт.com/sitemap.xml
Цитата
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*
что это закрывает?
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /*rss

User-agent: Mail.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /*rss

Host: site.site

Sitemap: site.site/sitemap.xml
Sitemap: site.site/sitemap.xml.gz попробуйте такой вариант
Изменено: Александр - 21 Апреля 2015 12:09
Цитата
[COLOR=#ffffff]Robots.txt для WordPress - правильная версия., Что и как?[/COLOR]


много разных потому что у каждого свои задачи и настройки сайта разные, Вам дают примеры как закрывать ненужные страницы, конкретно для своего сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
Цитата
desertFox пишет:
сайта Вы сами должны составить правильный robots.txt, тупо копировать чужие настройки выглядит глупо и смешно smile:D
опыта нету, по этому и помощь нужна. Сейчас посоветовали сделать вот так alaev.info/blog/post/4143сижу разбираюсь..
советую почитать официальные мануалы, например этот - https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
когда знаешь, как это работает, для любого проекта без проблем составишь роботс
Цитата
slonikk пишет:
batyanya пишет:
Disallow: /*?utm_source*
Disallow: *?utm_medium*
Disallow: *?utm_content*что это закрывает?
Закрывает так называемые DeepLink, ссылки для анализа источников откуда пришел человек, по типу афилат линков в партнерках но от гугла
Не хотел создать тему, так как мой вопрос тоже связан по роботсу.
Яндекс пишет что страницы закрыты для индексации, посмотрите на мой роботс.
Где я закрыл "Страницы". CMS WP

Цитата


User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /page/*
Disallow: /author/*
Disallow: /2015/*

Изменено: Zeekrewards * - 26 Апреля 2015 17:50
https://surudi.com Таджикские песни
slonikk, utm метки ссылок, но если вы не знаете, что это, значит вы их и не делали, закрывать не надо
Цитата

Где я закрыл "Страницы". CMS WP
Цитата
Disallow: /page/*


вот))
По просьбе ТС в ЛС
Тему закрыл.

* обращение к пользователям - > если Ваша тема потеряла свою актуальность, то, пожалуйста, отпишитесь об этом в теме и скиньте ссылку на тему мне в ЛС.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:17 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
19:40 adsense в 2026: кто реально выводит копейку через киргизию? 
14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 
12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
23:05 Раскрутка форума 
17:18 SOCKS5 приватные прокси на 30 дней для PayPal 
17:16 Google Voice аккаунты для бесплатных SMS и звонков 
17:16 PayPal аккаунты для любых целей 
15:11 HH.ru Работадателя вериф 
14:49 4G/LTE Mobile Proxy 30+ geo  
14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса 
13:32 Мониторинг обменников Сrypto-scout.io 
23:48 Точные прогнозы на футбол 
22:38 Огородники 
19:36 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
16:47 Какой фильм вы любите посмотреть перед сном? 
15:46 молодильные яблоки и живая вода 
10:11 О природе путешествий. 
15:04 Сайты Рунета