Небольшой вопрос про robots.txt

Сообщений: 94 Регистрация: Июн 2011

2 Июня 2011 15:16

Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

leon_need

Сообщений: 132 Регистрация: Май 2011

2 Июня 2011 15:47

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

2 Июня 2011 15:56

спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка

Prostoi

Сообщений: 777 Регистрация: Мар 2011

2 Июня 2011 16:55

User-agent: *....это значит разрешено всё.

SovaBarmak85

Сообщений: 107 Регистрация: Июн 2010

2 Июня 2011 16:57

Disallow: /sitemap.html

имхо, как то это тупо)

Arte

Сообщений: 1458 Регистрация: Янв 2011

2 Июня 2011 17:00

Цитата
Prostoi пишет: User-agent: *....это значит разрешено всё.

Это значит правило для всех агентов. А не разрешено все.

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

8 Июня 2011 23:44

Цитата
SovaBarmak85 пишет: Disallow: /sitemap.html имхо, как то это тупо)

Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)

Павел

Сообщений: 791 Регистрация: Авг 2010

9 Июня 2011 00:12

Цитата
Анна Андреева пишет: Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

Есть поздравительный сайт? Заработай на нем!

igoryanzx1

Сообщений: 392 Регистрация: Июл 2010

9 Июня 2011 00:23

Цитата
Prostoi пишет: User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?

down

Сообщений: 64 Регистрация: Авг 2010

#10

9 Июня 2011 00:51

Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)

Изменено: down - 9 Июня 2011 01:09

Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

#11

9 Июня 2011 01:16

Цитата

down пишет:

Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут

http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете

Анна Андреева

Сообщений: 94 Регистрация: Июн 2011

#12

9 Июня 2011 01:23

Цитата

Павел пишет:

Цитата
Анна Андреева пишет: Пожалуйста, скажи почему тупо.

Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?

alexsey9999

Сообщений: 271 Регистрация: Ноя 2010

#13

9 Июня 2011 02:18

Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..

Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997

down

Сообщений: 64 Регистрация: Авг 2010

#14

9 Июня 2011 02:49

Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.

sanek Сообщений: 338 Регистрация: Май 2011	#15 9 Июня 2011 03:16 Меняй свой роботс.тхт на этот: User-agent: * Disallow: /search Disallow: /gallery/ Disallow: /userpanel/ Disallow: /articles/ Disallow: /shop_old/ Disallow: /shop/ Disallow: /dk? Disallow: /news_pi/ Disallow: /ucp.php Sitemap: http://www.pbnation.ru/sitemap.xml User-agent: Yandex Host: www.pbnation.ru Доска бесплатных объявлений

Похожие темы:

28.08.2023 17:28	Вопрос знатокам AVE.cms
09.12.2016 18:24	Вопрос к веб мастерам
28.07.2016 13:53	Вопрос по title раздела у xenforo
31.03.2016 13:44	Пару вопрос по instantcms 2
30.09.2014 04:42	Вопросы по ipb

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
21:31 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 20:24 Влияет ли кодировка на индексацию позиции в поиске? 13:29 Buymedia.biz - рекламная сеть 17:12 Bropush - твой бро в монетизации сайта push-уведомлениями 15:02 Adtrafico - Правильная партнёрская сеть под бурж трафик 09:06 Подскажите сервис который подскажет по каким самым нелепым запросам страница в топ-10 18:35 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!	20:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 19:39 Ural-obmen.ru — выгодный сервис обмена 19:30 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 15:39 Обмен без AML и верификации Aztor.pro 13:38 XMLSEO сервис купли-продажи Яндекс.XML лимитов и выдачи Яндекс, Wordstst и Google 10:49 USMobileSMSBot - 06:03 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	03:26 Точные прогнозы на футбол 21:12 Каспкрски ОС 22:58 У меня дикая просадка по РСЯ за последние 3 суток 21:51 Linux - это максимальная свобода 21:33 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 14:38 Продажи российских компьютеров в РФ выросли вдвое 12:29 Карпаты