Всем привет!
Проблема поиска по сайту является сложнорешаемой и не всегда реализуемой в рамках тех бюджетов, с которыми сталкиваются вебмастера. А если попытаться организовать поиск по собственной сетке сайтов, это становится совсем нерентабельным предприятием. Например, у такого сервиса как elastic за поиск только по одному домену до 5К страниц необходимо будет заплатить $79/month, а если вам нужен поиск по большему количеству сайтов и страниц, то это уже $199/month + $30 за каждый сайт и столько же за каждые дополнительные 5К страниц.
Да, есть бесплатные решения у того же Elastic и Sphinx, но они требуют подключения к базе данных сайтов и тонкой настройки для каждого сайта (в каких полях искать, какой вес должен быть у найденной информации, как ранжировать). Для создания небольшой поисковой системы необходимо создать свои краулеры, разработать стратегию сканирования, сохранить полученную информацию в свою базу и там уже применить бесплатные решения Elastic или Sphinx. Но такой путь очень длинный и может дать не совсем тот результат, который мы ожидаем. Например, банальный поисковый запрос «саженцы абрикосов» дает 0 результатов, в то время как на запрос «саженеЦ абрикосА» поисковый движок выдаст множество результатов.
Учитывая вышесказанное, можно сделать вывод, что в мире сайтостроения не хватает простого, быстрого и максимально дешевого решения для организации поиска по сайтам, что позволило бы создавать небольшие поисковые системы.
Приглашаю всех желающих протестировать движок поисковой системы, которую можно легко установить на VPS сервере или на обычном ПК для поиска по одному сайту или по группе сайтов. С помощью Kavunka 2.1 вы можете создать маленькую поисковую систему по тематическим сайтам: интернет-магазины, продажа недвижимости, авто-мото и.т.д. Также Вы сможете настроить выдачу таким образом, что пользователь сразу будет видеть картинку, цену, рейтинг товара или услуги.
Kavunka написана на Си и работает под управлением ContOS 7 (с помощью VMware Workstation можно использовать в Windows), легко масштабируется (от VPS 1 Core 1GB RAM до высокопроизводительного сервера). Управление и настройка поисковой системой производится через веб-интерфейс. Kavunka распознает язык текста (ru, en, it, fr, pt, es, pl, uk), может исправлять ошибки в запросах пользователя и делать подсказки во время ввода поискового запроса, реализован стемминг. Kavunka автоматически собирает ключи и определяет уникальность текста, может пошагово пропускать HTML-код страницы скандируемого сайта через регулярные выражения и отдельно сохранять результат вебскрепинга в виде JSON-строки, тем самым давая возможность получать данные в виде отчета. Присутствует возможность сканировать не весь сайт, а только страницы с определенными ключевыми словами или urlами, которые содержат определенные признаки. Так же стоит упомянуть об интеграции с технологией Selenium (взаимодействие с реальным браузером Firefox) и возможности использовать proxy. Это делает данный софт еще и мощным парсером.
Демонстрацию возможностей Kavunka 2.1 вы можете увидеть на примере созданной мною агропоисковой системы - https://kavunka.com.ua/draw.php?filerequest=saghenciy-abryikosov-abryikos-1
Как видите, у слова абрикос и саженец есть много словоформ. Выдача приобретает совсем другой вид, если выводить: цену, рейтинг и картинку. На момент написания этого поста в индексе данной поисковой системы присутствует всего 43 сайта, общее количество страниц составляет 31 317. Это далеко не предел, так как в предыдущей версии Kavunka 2.0 в индексе было 1200+ сайтов с общим количеством страниц около миллиона, но из-за того, что были изменены алгоритмы сканирования и парсинга, всю информации пришлось удалить.
Ознакомиться и установить поисковую систему - https://kavunka.biz/started.php
Со своей стороны гарантирую поддержку и маленькие бонусы в виде годичных лицензий первым десяти установившим Kavunka 2.1, а на период бета-тестирования лицензии будут продлеваться бесплатно по запросу в службу поддержки.
Проблема поиска по сайту является сложнорешаемой и не всегда реализуемой в рамках тех бюджетов, с которыми сталкиваются вебмастера. А если попытаться организовать поиск по собственной сетке сайтов, это становится совсем нерентабельным предприятием. Например, у такого сервиса как elastic за поиск только по одному домену до 5К страниц необходимо будет заплатить $79/month, а если вам нужен поиск по большему количеству сайтов и страниц, то это уже $199/month + $30 за каждый сайт и столько же за каждые дополнительные 5К страниц.
Да, есть бесплатные решения у того же Elastic и Sphinx, но они требуют подключения к базе данных сайтов и тонкой настройки для каждого сайта (в каких полях искать, какой вес должен быть у найденной информации, как ранжировать). Для создания небольшой поисковой системы необходимо создать свои краулеры, разработать стратегию сканирования, сохранить полученную информацию в свою базу и там уже применить бесплатные решения Elastic или Sphinx. Но такой путь очень длинный и может дать не совсем тот результат, который мы ожидаем. Например, банальный поисковый запрос «саженцы абрикосов» дает 0 результатов, в то время как на запрос «саженеЦ абрикосА» поисковый движок выдаст множество результатов.
Учитывая вышесказанное, можно сделать вывод, что в мире сайтостроения не хватает простого, быстрого и максимально дешевого решения для организации поиска по сайтам, что позволило бы создавать небольшие поисковые системы.
Приглашаю всех желающих протестировать движок поисковой системы, которую можно легко установить на VPS сервере или на обычном ПК для поиска по одному сайту или по группе сайтов. С помощью Kavunka 2.1 вы можете создать маленькую поисковую систему по тематическим сайтам: интернет-магазины, продажа недвижимости, авто-мото и.т.д. Также Вы сможете настроить выдачу таким образом, что пользователь сразу будет видеть картинку, цену, рейтинг товара или услуги.
Kavunka написана на Си и работает под управлением ContOS 7 (с помощью VMware Workstation можно использовать в Windows), легко масштабируется (от VPS 1 Core 1GB RAM до высокопроизводительного сервера). Управление и настройка поисковой системой производится через веб-интерфейс. Kavunka распознает язык текста (ru, en, it, fr, pt, es, pl, uk), может исправлять ошибки в запросах пользователя и делать подсказки во время ввода поискового запроса, реализован стемминг. Kavunka автоматически собирает ключи и определяет уникальность текста, может пошагово пропускать HTML-код страницы скандируемого сайта через регулярные выражения и отдельно сохранять результат вебскрепинга в виде JSON-строки, тем самым давая возможность получать данные в виде отчета. Присутствует возможность сканировать не весь сайт, а только страницы с определенными ключевыми словами или urlами, которые содержат определенные признаки. Так же стоит упомянуть об интеграции с технологией Selenium (взаимодействие с реальным браузером Firefox) и возможности использовать proxy. Это делает данный софт еще и мощным парсером.
Демонстрацию возможностей Kavunka 2.1 вы можете увидеть на примере созданной мною агропоисковой системы - https://kavunka.com.ua/draw.php?filerequest=saghenciy-abryikosov-abryikos-1
Как видите, у слова абрикос и саженец есть много словоформ. Выдача приобретает совсем другой вид, если выводить: цену, рейтинг и картинку. На момент написания этого поста в индексе данной поисковой системы присутствует всего 43 сайта, общее количество страниц составляет 31 317. Это далеко не предел, так как в предыдущей версии Kavunka 2.0 в индексе было 1200+ сайтов с общим количеством страниц около миллиона, но из-за того, что были изменены алгоритмы сканирования и парсинга, всю информации пришлось удалить.
Ознакомиться и установить поисковую систему - https://kavunka.biz/started.php
Со своей стороны гарантирую поддержку и маленькие бонусы в виде годичных лицензий первым десяти установившим Kavunka 2.1, а на период бета-тестирования лицензии будут продлеваться бесплатно по запросу в службу поддержки.
