Есть некий вопрос к программистам: язык не важен, важна логика написания. Есть идея умного пасера, но столкнулся с проблемой. Многие парсеры настраиваются на конкретный сайт, но можно ли каким либо методом, шагая по каждой странице сайта, выдергивать именно материал (статью, запись), чтобы обойтись без настройки. Понимаю, что 100 процентной работы тут не добиться и ошибки в выдергивании будут.
Например, заходим на сайт, сканируем все страницы, ищем совпадения в контенте, тот контент что совпадает и есть - меню, похожие записи и т. д. А то, что отличается и будет нужный контент... Такой принцип, конечно, можно взять за основу, но он не верный, предполагаю, что есть лучшие варианты... Кто знает?! Прошу помощи