Небольшой вопрос про robots.txt

Сообщений: 94 Регистрация: Июн 2011

2 Июня 2011 15:16

Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

leon_need

Сообщений: 132 Регистрация: Май 2011

2 Июня 2011 15:47

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

2 Июня 2011 15:56

спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка

Prostoi

Сообщений: 777 Регистрация: Мар 2011

2 Июня 2011 16:55

User-agent: *....это значит разрешено всё.

SovaBarmak85

Сообщений: 107 Регистрация: Июн 2010

2 Июня 2011 16:57

Disallow: /sitemap.html

имхо, как то это тупо)

Arte

Сообщений: 1458 Регистрация: Янв 2011

2 Июня 2011 17:00

Цитата
Prostoi пишет: User-agent: *....это значит разрешено всё.

Это значит правило для всех агентов. А не разрешено все.

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

8 Июня 2011 23:44

Цитата
SovaBarmak85 пишет: Disallow: /sitemap.html имхо, как то это тупо)

Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)

Павел

Сообщений: 791 Регистрация: Авг 2010

9 Июня 2011 00:12

Цитата
Анна Андреева пишет: Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

Есть поздравительный сайт? Заработай на нем!

igoryanzx1

Сообщений: 392 Регистрация: Июл 2010

9 Июня 2011 00:23

Цитата
Prostoi пишет: User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?

down

Сообщений: 64 Регистрация: Авг 2010

#10

9 Июня 2011 00:51

Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)

Изменено: down - 9 Июня 2011 01:09

Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

#11

9 Июня 2011 01:16

Цитата

down пишет:

Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут

http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

#12

9 Июня 2011 01:23

Цитата

Павел пишет:

Цитата
Анна Андреева пишет: Пожалуйста, скажи почему тупо.

Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?

alexsey9999

Сообщений: 271 Регистрация: Ноя 2010

#13

9 Июня 2011 02:18

Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..

Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997

down

Сообщений: 64 Регистрация: Авг 2010

#14

9 Июня 2011 02:49

Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.

sanek Сообщений: 338 Регистрация: Май 2011	#15 9 Июня 2011 03:16 Меняй свой роботс.тхт на этот: User-agent: * Disallow: /search Disallow: /gallery/ Disallow: /userpanel/ Disallow: /articles/ Disallow: /shop_old/ Disallow: /shop/ Disallow: /dk? Disallow: /news_pi/ Disallow: /ucp.php Sitemap: http://www.pbnation.ru/sitemap.xml User-agent: Yandex Host: www.pbnation.ru Доска бесплатных объявлений

Похожие темы:

28.08.2023 17:28	Вопрос знатокам AVE.cms
09.12.2016 18:24	Вопрос к веб мастерам
28.07.2016 13:53	Вопрос по title раздела у xenforo
31.03.2016 13:44	Пару вопрос по instantcms 2
30.09.2014 04:42	Вопросы по ipb

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
15:26 Найти элемент в коде 11:51 Bropush - твой бро в монетизации сайта push-уведомлениями 03:12 Сайты-копипасты 21:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 09:59 Ошибка после размещения кода HTML! 15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик 14:43 Партнерская программа OWNR WALLET	20:17 4G/LTE Mobile Proxy 30+ geo 18:03 Обмен без AML и верификации Aztor.pro 17:30 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 16:34 Phoenix - Выгодный обмен электронных валют, без верификации 16:11 ZennoPoster - софт №1 для автоматизации любых SEO задач! 13:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 13:22 Burzh.top\|Партнерская программа под любой вид трафика (email, спам, УБТ)	12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 01:05 Точные прогнозы на футбол 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир... 22:58 У меня дикая просадка по РСЯ за последние 3 суток 21:51 Linux - это максимальная свобода