Значит у него есть свой робот. И тогда для написания robot.txt следует учитывать и прописывать Alexa?
Тогда вопрос как прописать в robot.txt показатель Alexa?
Например,
User-agent: Alexa
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
.......
.....
......
......
........и т.д.
Вот и попробуй разгадать все это?
* Прописывал и тестировал - роботы Google and Yandex резко "упали" с заходов свыше 60 до 8......(((((
Удалил User-agent: Alexa - повыслись, но до 30 заходов (не считая просмотры).
Так момент истины: какой код прописывать в User-agent????
Тогда вопрос как прописать в robot.txt показатель Alexa?
Например,
User-agent: Alexa
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
.......
.....
......
......
........и т.д.
Вот и попробуй разгадать все это?
* Прописывал и тестировал - роботы Google and Yandex резко "упали" с заходов свыше 60 до 8......(((((
Удалил User-agent: Alexa - повыслись, но до 30 заходов (не считая просмотры).
Так момент истины: какой код прописывать в User-agent????