Дописал еще несколько конкурсных статей. Вкратце их опишу чтобы не скидывать просто ссылки и не выглядеть как спамер, но быть участником форума и поддерживать живую дискуссию в ветке.
Итак Первая статья
Поиск уникального контента. Связка AntiPlagiarism.NET и XEvil https://seofann.blogspot.com/2020/03/antiplagiarismnet-xevil.html
Ищем забаненные сайты в гугл
1 Способ парсим бинг парсером
2. Проверяем спаршеное проверялкой
в нашем случае AntiPlagiarism.NET
3. Разгадываем капчи капчегадалкой
в нашем случае XEvil 4.0
Тема не новая но простота реализации на уровне 3 класа.
Вторая статья
Парсим яндекс в промышленных масштабах X-Parser-Light +XEvil https://seofann.blogspot.com/2020/03/x-parser-light-xevil.html
Вкратце, проще не куда. Берем X-Parser-Light прикручиваем к нему XEvil прикручиваем пару сот хороших прокси рвем выдачу яндекса как тузик грелку. Яндекс даже не пытался сопротивляться, за день почти 100к статей получилось.
Третья статья
Парсим google в 2020 Hrefer и его модификация https://seofann.blogspot.com/2020/03/google-2020-hrefer.html Вкратце Взяли старый добрый Xrefer опять же напихали туда проксей, гугл все забанил. Полез ковырять настройки. Сравнил чем отличается строка запроса Xrefer от того что есть у меня в браузере. Добавил cookie. Провел кучу небольших экспериментов (в основном безрезультатных). В итоге нашел способ распарсить google не настолько в промышленных масштабах, конечно, как яндекс но все же парой свежих баз обзавелся. Читаем, просвещаемся.