Здравствуйте уважаемые вебмастера!
Очень нужна ваша помощь в настройке файла robots.txt для двуязычного сайта в которого второй язык сделан в директории. Тоесть на основной движок еще установлен один для второго языка. ПОлучается вот что: site.com/ru/
Карты сайта site.com/sitemap.xml и site.com/ru/sitemap.xml нормально добавились в гугл и яшу. Вот теперь постает вопрос с robots.txt, что там нужно дописать? Просто роботы гугл и яндекс не заходят на страницы и посты на втором языке сайта.
Правильным ли будет просто продублировать записи в данном файле, только в начало добавить адрес директории, в результать получится что-то такое:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /ru/cgi-bin
Disallow: /ru/wp-admin
Disallow: /ru/wp-includes