Небольшой вопрос про robots.txt
Страницы: 1 2 След.
Небольшой вопрос про robots.txt
Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

Бесплатная контекстная реклама

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.
спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка
User-agent: *....это значит разрешено всё.
Disallow: /sitemap.html

имхо, как то это тупо)
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.


Это значит правило для всех агентов. А не разрешено все.
Цитата
SovaBarmak85 пишет:
Disallow: /sitemap.html
имхо, как то это тупо)


Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете
Есть поздравительный сайт? Заработай на нем!
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)
Изменено: down - 9 Июня 2011 01:09
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
down пишет:
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут


http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете
Цитата
Павел пишет:
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете


Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?
Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..
Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997
Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.
Меняй свой роботс.тхт на этот:

User-agent: *
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Sitemap: http://www.pbnation.ru/sitemap.xml
User-agent: Yandex
Host: www.pbnation.ru
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:16 Движок Web-Sat CMS. Как добавить шапку на главную страницу ? 
23:34 Нужно ли делать редирект с HTTP на HTTPS? 
23:27 Апдейт Яндекса 07.12.2016 
22:52 Интересует мнение профессионалов по сайту 
22:52 Биржи ссылок живы? ( ггл, мира, пр.сапа 2016-2017 ) 
22:25 Неправильный Роботс.тхт 
22:21 Яндекс тИЦ 03.12.2016 
00:36 Продам домены РУС 
23:54 нужно сделать сайта-визитку 
23:33 Требуется накрутить подписчиков на Google+ 
22:59 Рерайт 30 р за 1000 символов без пробелов 
21:40 Новинка! Комплексная услуга Black Mamba! 
21:31 Продвижение в соц. сетях: ВК, YouTube, Одноклассники, Twitter, Facebook, Instagram 
21:17 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
23:32 Дом 2 закрывают! Отличная новость! 
23:28 Внимание КИДАЛЫ (ccc.mn) 
22:52 В бизнес приглашается специалисты, контракт, удаленно 
22:41 ЭВРИКА! Стань быстрее и сильнее! Одержи победу над конкурентом! 
21:32 Бесплатно 1 000 просмотров Youtube c удержанием аудитории 70-100% 
20:26 Профессиональная настройка кампании в Яндекс Директ | Web-context.biz 
19:45 Опрос: родители проводят в два раза больше времени онлайн, чем их дети