Правильно ли настроено .htaccess и robots.txt
Страницы: 1
Правильно ли настроено .htaccess и robots.txt
Код
User-agent: Yandex 
Disallow: /engine/download.php 
Disallow: /engine/go.php 
Disallow: /user/ 
Disallow: /to/? 
Disallow: /newposts/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /favorites/ 
Disallow: /tags/ 
Disallow: /*page/ 
Disallow: /page/ 
Disallow: /statistics.html 
Disallow: /*subaction=userinfo 
Disallow: /*subaction=newposts 
Disallow: /*do=lastcomments 
Disallow: /*do=feedback 
Disallow: /*do=register 
Disallow: /*do=lostpassword 
Disallow: /*do=addnews 
Disallow: /*do=stats 
Disallow: /*do=pm 
Disallow: /*print 
Disallow: /*userinfo 
Disallow: /index.php?subaction=userinfo 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /index.php?do=rules 
Host: 
Sitemap: 

User-agent: * 
Disallow: /engine/download.php 
Disallow: /engine/go.php 
Disallow: /user/ 
Disallow: /to/? 
Disallow: /newposts/ 
Disallow: /engine/ 
Disallow: /language/ 
Disallow: /templates/ 
Disallow: /upgrade/ 
Disallow: /favorites/ 
Disallow: /tags/ 
Disallow: /*page/ 
Disallow: /page/ 
Disallow: /statistics.html 
Disallow: /*subaction=userinfo 
Disallow: /*subaction=newposts 
Disallow: /*do=lastcomments 
Disallow: /*do=feedback 
Disallow: /*do=register 
Disallow: /*do=lostpassword 
Disallow: /*do=addnews 
Disallow: /*do=stats 
Disallow: /*do=pm 
Disallow: /*print 
Disallow: /*userinfo 
Disallow: /index.php?subaction=userinfo 
Disallow: /index.php?do=pm 
Disallow: /index.php?do=search 
Disallow: /index.php?subaction=newposts 
Disallow: /index.php?do=rules 
 

Код
 DirectoryIndex index.php

RewriteEngine On

# Редиректы
RewriteRule ^page/([0-9]+)(/?)$ index.php?cstart=$1 [L]

# Сам пост
RewriteBase /
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*)\.(.*)$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*)\.(.*)$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]
 
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$2 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$2&newsid=$3 [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/([0-9]+)-(.*)$ index.php?newsid=$2 [L]
 
RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*)$ index.php?newsid=$2&news_page=$1 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*)$ engine/print.php?news_page=$1&newsid=$2 [L]
RewriteRule ^([0-9]+)-(.*)$ index.php?newsid=$1 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1&seourl=$2 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1&seourl=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1&seourl=$1 [L]
AddDefaultCharset cp1251
AddType 'text/html; charset=cp1251' .html .htm .shtml

RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L] 

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Кстати меня тоже интересует, какой robots.txt должен быть на DLE? У меня он такого вида:


Код
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:45 WebVisitor - улучшение и накрутка поведенческих факторов ранжирования вашего сайта. 
09:29 Lottery Partner в поиске партнеров! Самые высокие ставки! 
22:14 АП ИКС 27.03.2020 | Апдейт Яндекс ИКС 27 марта 2020 
21:31 Быстрое продвижение сайта в ТОП Яндекса. Рост трафика и позиций. 
19:15 Продвижение запросов для интернет-магазина - Яндекс Коллекции - 3000 ссылок 
17:36 Какие ещё есть поисковики типа sveta (тайный знак) online 
16:39 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
14:09 Куплю zennoposter pro 
13:52 Трафик на Ваш зайт - целевой - Яндекс.Дзен 
10:48 Продам сайт займы 
08:17 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
21:27 Накрутка рейтинга Web of trust (mywot) 
20:28 Нужна оценка сайта 
20:17 Продажа быстрых SSH туннелей. Любые страны с гарантией! 
10:57 Ваш сайт блокируют гос органы? Есть решение! 
10:02 Конкурс статей XRumer 2020 
19:03 Что с трафиком? 
15:52 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:19 Новостной сайт с ноля 
08:45 Вопрос о курсах 
18:19 Plussy - лучшая партнерка для гемблинг