Небольшой вопрос про robots.txt
Страницы: 1 2 След.
Небольшой вопрос про robots.txt
Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.
спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка
User-agent: *....это значит разрешено всё.
Disallow: /sitemap.html

имхо, как то это тупо)
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.


Это значит правило для всех агентов. А не разрешено все.
Цитата
SovaBarmak85 пишет:
Disallow: /sitemap.html
имхо, как то это тупо)


Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете
Есть поздравительный сайт? Заработай на нем!
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)
Изменено: down - 9 Июня 2011 01:09
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
down пишет:
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут


http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете
Цитата
Павел пишет:
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете


Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?
Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..
Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997
Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.
Меняй свой роботс.тхт на этот:

User-agent: *
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Sitemap: http://www.pbnation.ru/sitemap.xml
User-agent: Yandex
Host: www.pbnation.ru
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:25 ЧПУ ссылки: актуальны на 2017 год? 
22:03 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
19:39 Работа с графикой [Бесплатно] 
18:47 Сохраните Ваше время и деньги с помощью нашего сервиса! 
18:40 Смена домена как скажется на сайте 
18:32 Дубли страниц 
18:31 Выгрузка ссылок в ЯВМ 
22:38 На оценку для продажи 
22:22 Услуги рерайтера по низкой цене или журналиста на сайт 
21:56 Продам грабер образовательного сайта 
21:46 Мультиязычный download сайт 
21:35 Размещение статей, ссылок и постовых на качественных ресурсах 
21:25 Статейное продвижение ваших сайтов 
21:08 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
22:30 Посещаемости с 80 на 8000 за сутки! 
21:29 Копируют сайт. Нужна помощь (с оплатой) 
20:37 CPA сеть. Отзывы 
17:46 Роман Челлер: миллион в неделю, или как перестать бояться экспериментировать?! 
17:43 CPA Life 2017 – 12 Апреля в Санкт-Петербурге 
15:47 (Опрос) "Яндекс. Деньги": Во время каникул россияне покупали бижутерию и аккумуляторы 
15:41 Порнопираты нашли способ загружать на YouTube видео для взрослых