Правильно ли создан роботс

Правильно ли создан роботс, 100-раз спрашивают и я спрошу))

Сообщений: 7178 Регистрация: Дек 2011

17 Января 2012 21:11

Вечер добрый! Подсказали что на моем сайте хреновый роботс, погуглил и пояндексил, подучился чуть и вот создал:

Цитата

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /tag/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: /archives

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /tag/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: /archives

подскажите правильно или нет? Что добавить, а что убрать если лишнее?
Иэто всё залить в стоку роботс в ВМ?? и всё???(и можно ту жуть стандартные строки с # удалить???)

50 т.р. в месяц на киносайте РЕГИСТРАЦИЯ - обучаю рефералов, в ЛС

Лучшая партнерка - 25 т.р. в месяц РЕГИСТРАЦИЯ

Качественные дешевые статьи КУПИТЬ

admiral

Сообщений: 3 Регистрация: Дек 2011

17 Января 2012 21:30

User-agent: *

и не надо гугль или яшка, это распространяется на все роботы.

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

17 Января 2012 21:33

нет я просто хочу только гошу и яшу

sindoyun

Сообщений: 1301 Регистрация: Ноя 2011

17 Января 2012 21:45

Цитата
Влад Мищенко пишет: нет я просто хочу только гошу и яшу

А остальные поисковики чем тебе не нравятся?

Изменено: sindoyun - 17 Января 2012 21:45

Профессиональный Хостинг по низкой цене

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

17 Января 2012 21:51

дайте я хотя бы в яндекс попаду(из-за этого роботс, АГС выхватил), а с остальных поисковиков(зарубеж 1-5 посетителей, сайт не международный не вижу смысла), mail.ru с гугла выдачу берет, а рамблер(мое мнение), с Яши, так что этого достаточно)

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

17 Января 2012 21:52

И скажет кто нибудь, роботс правильный?

Цитата
Влад Мищенко пишет: Иэто всё залить в стоку роботс в ВМ?? и всё???(и можно ту жуть стандартные строки с # удалить???)

ryudzaki

Сообщений: 461 Регистрация: Янв 2011

17 Января 2012 22:16

Вродь норм, но я бы убрал эту строчку

Цитата
Disallow: /category/

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

17 Января 2012 22:20

Цитата
ryudzaki пишет: Вродь норм, но я бы убрал эту строчку

че так? это ж тоже приведетъ к дублированию страниц по моему???

cstrife

Сообщений: 1642 Регистрация: Ноя 2011

17 Января 2012 23:02

добавь еще строчки
host
sitemap

на счет категорий - вопрос конечно тот еще. На моем сайте они открыты, сайт гороскопов и категории - это знаки зодиака.
а вообще рекомендуют закрывать.
Кстати, про архивы всегда было интересно, а можно ли открыть какой то определенный месяц? к примеру (сейчас февраль) значит июнь и июль прошлого года) думаю дополнять такими строчками не помешает. но это имхо. эксперимент не ставил)

я нармальный, не маньяк, чесна.
пытаюсь поднять сайт о гороскопах csrtife.ru

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

#10

17 Января 2012 23:17

Цитата
cstrife пишет: host

в смысле www.хостинг.ru????

KylukovAV

Сообщений: 1276 Регистрация: Май 2011

#11

17 Января 2012 23:20

Цитата

Влад Мищенко пишет:

Цитата
cstrife пишет: host

в смысле www.хостинг.ru????

Код
Sitemap: http://football-week.ru/sitemap.xml Host: football-week.ru

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

#12

17 Января 2012 23:24

Цитата
Sitemap: http://football-week.ru/sitemap.xml Host: football-week.ru

это ниже роботс вставить и всё???

Изменено: Влад Мищенко - 17 Января 2012 23:24

KylukovAV

Сообщений: 1276 Регистрация: Май 2011

#13

17 Января 2012 23:26

Да обычно ставят в самый низ можно и в самый верх перед User-agent роботу без разницы

Изменено: KylukovAV - 17 Января 2012 23:27

Влад Мищенко

Сообщений: 7178 Регистрация: Дек 2011

#14

17 Января 2012 23:36

а не подскажете куда на wp sitemap залить?(ЧЕРЕЗ РЕДАКТОР В КАКОЙ ШАБЛОН????)

KylukovAV Сообщений: 1276 Регистрация: Май 2011	#15 17 Января 2012 23:43 с WP не работаю но заливают ее в корень сайта туда же где находится ваш робот.тхт

Похожие темы:

23.09.2023 11:44	Правильно ли сделано на сайте?
27.12.2022 15:45	Как правильно перенести статьи на сайт из другого сайта
17.05.2021 17:21	Как правильно сделать seo-анализ сайта?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
05.12.2020 10:20	Как правильно перенести сайт на международный домен?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:11 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 23:34 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 23:32 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 23:26 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 19:04 SEO под нейро 17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом)	23:54 GoodsMoney.io 23:51 Volna.money 20:20 Mixmasters - Exchange without AML and KYC 17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 16:49 Nexulume.com Обменник без AML и KYC 15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 11:12 AllCharge.online. Современный, быстрый и надёжный обменник	00:27 Точные прогнозы на футбол 23:37 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 23:30 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 23:21 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 19:06 Отвратительное поведение 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...