правильный robots.txt?
Страницы: 1
правильный robots.txt?, правильный robots.txt?
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://Ваш_сайт/sitemap.xml
Host: Ваш_сайт




dle 9.2
Изменено: Федя Федеров - 1 Мая 2011 23:54

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

смотря какой движок и смотря какие директивы нужно закрыть)
движок dle 9.2
Disallow: /*page/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /tags/
вот у меня стоит:
User-agent:*
Crawl-delay: 2

User-agent: Unknown robot
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /tag/
Disallow: /category/
Disallow: /feed/
Disallow: /comments/
Disallow: */comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://in4cars.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /category/
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */comments/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: in4cars.ru
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:11 Объявления гугл выходят за пределы страницы. 
22:08 Google делает подляну сайту 
21:09 Невероятное открытие – Nofollow ссылки улучшают ваши позиции 
21:02 "Белый экран" при попытке установки или обновления компонентов (j3.6.2) 
20:02 Скрывать ли категории (рубрики) 
19:18 Текстовый апдейт: выложен индекс по 16 сентября 2016 
17:34 Adsense личный опыт 
20:29 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
20:08 3 совета по Юзабилити и Конверсии / SEO аудит 
19:50 Dark Sender - новая программа для рассылки в Вконтакте 
19:15 Дизайн: сайтов, баннеров, шапок, логотипов,оформление групп вконтакте 
18:14 Куплю аккаунты Adsense 
16:36 Доходный онлайн кинотеатр с трафиком 
16:24 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
22:24 Нужен баннер для популяризации раздела "Интересные темы" (безвозмездно) 
21:49 Есть тут те, кто вообще не умеет создавать сайты и сейчас не имеет ни одного? У кого не было первого раза? 
21:37 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
21:11 Доска объявлений ищет нового хозяина 
20:11 TrustLink и SeoPult запускают увлекательную игру / "SeoМонстры" 
19:34 Бесплатно 1 000 просмотров Youtube c удержанием аудитории 70-100% 
18:27 «Угадай дату апдейта тИЦ» — получи Xneolinks + 500 рублей!