Как я парсил информацию с известного тур. сайта
Страницы: 1
Как я парсил информацию с известного тур. сайта, и смех и грех
Понадобилось мне собрать некоторую определенного рода инфу, нашел сайт, где она в максимально удобном виде (вебмастер там явный неадекват, ужас что творится в исходниках страниц, прям так и хочется бревном по башке дать, если бы не прямая мне выгода от его безграмотности). CMS битрикс. Инфа прям на полочках лежит, прям поля подписаны комментариями в исходнике, даже для тех полей, для которых значения для определенной страницы отсутствуют - есть комментарий, что оно там располагалось бы. Вообщем - находка для парсинга. Не стал бросаться в крайности с екселями и зенками, яжумамыпрограммист, решил не менять текущий темп работы и принялся руками на пхп ковырять всё это дело. Смотрим в анализаторы - в индексе около 20 тысяч страниц. Нормально! Мне это "за глаза"! Сайтмап отсутствует на нужном месте и не прописан в роботсе. Не беда, юзаем ксену, сами вытащим список страниц.
Ставим фильтр на технические страницы и картинки и поехали! Через час примерно Xenu радостно надыбала 128 тысяч страниц! Не больше не меньше. Как так? Разбираемся: превращаем сайтмап в список страниц, смотрим беглым взглядом - мусора много, шаблонного. Залезли какие-то непонятные генерируемые битриксой по фиг знает какой логике адреса, переход по которым вообще никуда не ведет, даже на 404 smile:) . Наблюдаем закономерности, фильтруем. Остается 35 тысяч страниц. Мне нужны страницы с данными, проверяю на дубли - страницы дублируются несколько раз под разными адресами. Блин... Замутил сравнивалку, отфильтровал одинаковое. 7000 страниц на выходе. Анализирую дальше - много страниц archive с убитыми ключевыми данными (адреса). Фильтруем - 5000 страниц на выходе. Но почему-то на некоторых страницах данные снова дублируются - смотрю, а это тупо подзапросная шелуха! Или в некоторых CMS так теги вылазят. Т.е. есть 10 объектов чего-нибудь, получаем из них: 10 нормальных полновесных страниц, страницу с их списком и ещё 20-30 страниц с этим же списком, но с измененным описанием и порядком сортировки объектов. И Всё это дело в индексе! Я в афиге, фильтрую эти списки для получения чистой выжимки и получаю... 2000 нормальных значимых страниц. 2000, Карл! При этом в индексе 20 000, а всего 120 000 без картинок и шелухи. Сайт отлично видим в поиске, имеет огромную (для меня) посещалку в такой тематике. Многое понял, моя жизнь теперь никогда не будет прежней...


Это было сочинение на тему "Как я провел одну летнюю ночь" smile;)
Однажды я играл в СССР в песочнице, а тут вдруг хобана! - и совок сломался.

Бесплатная контекстная реклама

Да, после такого невольно захочется махнуть коньяку и закусить чем-нибудь.
Битрикс у меня вызывает дрожь и пот.
Я давно понял что такое яндекс, когда создал 1 сайт и сделал три его клона на других доменах, затем смотрел, как посещалка то росла то падала то на одном то на другом) причем нехилая посещалка.
Да черт его знает. На последнем сайте Яндекс скушал 38000 страниц, в индексе было около 8000 стр., сейчас 5700 стр. И всего 3 стр. - 404 причем ссылки остались от предыдущего владельца домена - стоял другой движок и они имеют другой вид. Никак я их не прибью. И еще примерно 11 000 стр. я сам закрыл от индексации.
Изменено: sharkson - 7 Июля 2016 04:56
Цитата
Krol пишет:
Я давно понял что такое яндекс, когда создал 1 сайт и сделал три его клона на других доменах
smile:) Есть такое дело. Взяли на вооружение или забросили это дело?
У меня есть клиенты которые заплатили немеренные деньги своей бригаде сеошников и програмистов, чтобы они сделали качественный сайт, по всем правилам Яндекса.
Так вот самое забавное сателлит (откровенный ГС) который я им продал, чтобы он осуществлял функцию сателита для главного сайта.
Находится выше в выдаче, чем главный сайт, как утверждает клиент абсолютно по всем запросам.
Свой сайт отвечающий всем правилам яндекса выше второй страницы не подымался

Я давно в каждой теме о АПе яндекса твержу. Яндекс *амно у которого алгоритмы работают через одно место.

Не нужно бояться о дублях и прочей шолухе он это хавает на раз, два.

Такое ощущение, что яндекс считает, что самый лучший сайт это сайт сделанный некомпетентным вебмастером (этого некомпетентного вебмастера яндекс считает за любителя), якобы только любитель не будет продвигать сайт левыми методами (так как любитель и ничего не понимает в этом) поэтому и выставляет его на верхние позиции
Торопись успеть!!!!


Летние скидки на прогоны - Дешевле только бесплатно ◄ !


Продвижение сателлитами


Цитата
span4bob пишет:
Такое ощущение, что яндекс считает, что самый лучший сайт это сайт сделанный некомпетентным вебмастером (этого некомпетентного вебмастера яндекс считает за любителя), якобы только любитель не будет продвигать сайт левыми методами (так как любитель и ничего не понимает в этом) поэтому и выставляет его на верхние позиции
Не думаю) На яндекс работают десятки/сотни классных спецов - неужто они хуже других разбираются?

Думается, причина в том, что этих самых требований в действительности, не знает никто (кроме яндекса).
И когда делают сайт "по всем канонам", то влепляют туда столько искусственного и неправильного, что отдает "химией".

С другой стороны, если делается сайт, где все, что априори, на своем месте и без излишеств (футер внизу, заголовок вверху) и т.д.), то сайт естественнее, чем супер-пупер оптимизированный.

Второй вопрос - что дает реально сайт пользователю - классный ресурс, дорогой, на котором найти нужное в ворохе всего правильно сложно - кому нужен?

Плохо оформленный (не модно) сайт, дающий бОльше нужного - предпочтительней. И не важно, копипаст или еще что... Не?)
Цитата
Coder пишет:
И не важно, копипаст или еще что... Не?)
У меня один из сайтов - 70% копипаст, 30% рерайт и копирайт. В выдаче Я и Г по всем ключам, кроме одного он на 2-6 месте, по одному ключу уехал на 2 стр. Яндекса. Но, трафик уже год примерно выше 100 чел. в сутки не подмается, чтобы я не делал. И дело не в копипасте. Онлайн-кинотеатры с копипастным контентом имеют и 1000-2000 чел.\сутки и намного больше.
В чем дело понять не могу, 2 анализатора (человека) ничего не смогли подсказать, кроме как поправить примерно 20 ошибок верстки - о которых я и так знаю.
И что надо его наполнять уник. контентом. Но, новостник наполнять уником тяжело.
Цитата
span4bob пишет:
Я давно в каждой теме о АПе яндекса твержу. Яндекс *амно у которого алгоритмы работают через одно место.
поддерживаю
No pain, no gain
Цитата
sharkson пишет:
Цитата
Coder пишет:
И не важно, копипаст или еще что... Не?)
Но, трафик уже год примерно выше 100 чел. в сутки не подмается, чтобы я не делал. 
Такая же беда(((
Всегда удивлялся крикам из апдейтовых тем, мол 100500 страниц залетело. Вон оно чё!
Starik, многие тут просто  берут количеством копипастом синонимайзом и т.д в большинстве это те кто с комерчискими не работал гг
создание продвижение сайтов ! качество и доступная цена
serogo evgo, против ничего не имею. ) Если это сделано с умыслом, трафик оправдывает себя? Что если дубли проспамить или прогнать по соц.сетям - долго пробудут в выдаче с хорошими ПФ, проверяли?
Изменено: Starik - 8 Июля 2016 00:20
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:25 Запись данных + отправка на почту 
17:16 нужен грамотный юрист\адвокат по вопросу авторских прав, индексации. 
16:24 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
16:02 Partnerearn.net - прибыльная гемблинг партнерка 
15:49 Малополезный контент 
15:33 Обновление сайта -> Обрушатся ли ссылки, если убрать .html 
14:08 Фавиконка и Яндекс 
17:30 Продам сайт кино траф 26к 
17:20 Продаю игровой сайт! 10000 трафика 
15:59 Тексты премиум - качества! Доступные условия для бизнеса и удар по поисковым алгоритмам! 
15:55 Вкусные тексты от профессионального копирайтера 
15:54 Прогон по профилям 300 рублей, 170 сайтов, ТИЦ от 10 
12:35 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
11:47 Копирайт и SEO-копирайт - всё будет all right 
17:14 Местного Шерлока больше не будет! 
17:10 Есть ли у вас самый самый любимый сайт, который вы создали не для дохода 
17:01 Интересно интересно 
16:32 Заработок на спортивном сайте 
15:47 Как максимум выжить траф (нужен совет или партнерки) 
09:17 Хацкеры с телдери ? 
08:42 Какой домен правильней выбрать?