Небольшой вопрос про robots.txt
Страницы: 1 2 След.
Небольшой вопрос про robots.txt
Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

Бесплатная контекстная реклама

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.
спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка
User-agent: *....это значит разрешено всё.
Disallow: /sitemap.html

имхо, как то это тупо)
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.


Это значит правило для всех агентов. А не разрешено все.
Цитата
SovaBarmak85 пишет:
Disallow: /sitemap.html
имхо, как то это тупо)


Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете
Есть поздравительный сайт? Заработай на нем!
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)
Изменено: down - 9 Июня 2011 01:09
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
down пишет:
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут


http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете
Цитата
Павел пишет:
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете


Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?
Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..
Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997
Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.
Меняй свой роботс.тхт на этот:

User-agent: *
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Sitemap: http://www.pbnation.ru/sitemap.xml
User-agent: Yandex
Host: www.pbnation.ru
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
08:02 Сверстаю бесплатно 
07:27 Снижение траста на молодом сайте 
07:10 Апдейт 29.05.2017 
06:43 Adsense личный опыт 
22:01 Ищу код для замены капчи в форме обратной связи 
20:37 Proleed - партнерская CPS сеть. Тематика трафика: «Образование», «Курсы обучения» 
18:55 AffiliateCube 3.0 - усовершенствованная платформа 
01:24 Мегапарсер номеров Вконтакте. 
01:21 Программа для рассылки сообщений Viber -Mass Advert Viber Pro 3.0 
01:11 СЕРВИС ДЛЯ РАССЫЛКИ СООБЩЕНИЙ В ИНСТАГРАМ ДИРЕКТ. 
00:01 Индивидуальная Web Графика для вас. Макеты, логотипы, баннеры, иконки 
23:15 2 сайта азартной тематики 
20:58 Продвижение в Яндексе 
19:14 Рерайт, копирайт, переводы, авторские статьи. 
07:40 Топ самых лучших книг 
06:02 Топ-6 самых мотивирующих фильмов 
21:39 Не могу продвинуться в топе 
21:21 Восхождение на Эльбрус 
20:30 MFA сайтами еще занимаються? 
20:21 Трансляции спорта 
19:04 Веселые картинки