правильный robots.txt?
Страницы: 1
правильный robots.txt?, правильный robots.txt?
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт




dle 9.2
Изменено: Федя Федеров - 1 Мая 2011 23:54

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

смотря какой движок и смотря какие директивы нужно закрыть)
движок dle 9.2
Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/
вот у меня стоит:
User-agent:*
Crawl-delay: 2

User-agent: Unknown robot
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /category/
Disallow: /feed/
Disallow: /comments/
Disallow: */comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://in4cars.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /category/
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */comments/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: in4cars.ru
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
07:03 Битрикс малый бизнес за 25к 
06:51 на чем можно создать форум? 
06:02 Апдейт 30.09.16 
06:00 Сайт падает в выдаче яндекса, теперь совсем упал! 
05:15 Иерархия h1-h2 помогите исправить 
00:04 Авто обмен ссылками с сайтами от Тиц 10 
23:28 Adsense личный опыт 
05:53 Куплю пару сайтов бюджет до 5000 
04:44 Что будет если ... 
01:57 Куплю сайт на музыкальной тематике с модулями для автонаполнения(парсеры) 
00:10 Программа для ддос атак. 
23:57 Сервис по YouTube, Вконтакте, Twitter, Instagram, Facebook, G+, ОД 
23:48 Куплю сайты Download тематики 
23:25 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
05:40 ZerocooL 
00:20 Что за внешние ссылки 
22:10 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
19:57 В чём ошибка? Почему люди не хотят заработать ~24 500 руб.?) 
18:44 Получение контента бесплатно 
17:49 "Блогосфера" отторгается? 
17:12 Нужно 800 рублей яндексденег!