В переводе с английского языка слово "Шингл" означает буквально – кирпичик, ячейка, небольшая частица. То есть, это небольшая часть чего-то большого, без чего построить это что-то большое невозможно. В интернете данное понятие появилось в 1997-ом году, когда стал очень актуальным вопрос по возможности определения уникальности размещаемых текстов. Впервые этот термин применил Andrei Broder (сотрудник известной компании Yahoo!), который собственно и разработал основы методики, используемые сегодня различными программами, предназначенными для поиска плагиата.

В контексте сетевой деятельности человека понятие "Шингл" означает несколько слов, вырванных из текста и расположенных по порядку. Важно отметить, что при составлении шингла не учитываются те части предложения, которые можно считать несущественными. К последним относятся: междометия, союзы и предлоги. 

То есть, если человек хочет разбить предложение на шинглы, то изначально его требуется подготовить. Например, есть предложение:

Вася из всех бутербродов любил только с колбасой. 

После обработки этого предложения получается такой окончательный вариант:

Вася всех бутербродов любил только колбасой.

Почему шингл так важен при проверке уникальности контента?

Когда появилась потребность в проверке текстов на уникальность, сразу возник вопрос – как это эффективно осуществить на программном уровне? Ведь понятно, что в ручном режиме пересмотреть весь контент, размещенный в интернете, нереально.

Сравнивать тексты целиком также не эффективно. Почему? Допустим, программа берет два текста и начинает анализировать их в таком виде на схожесть. Если человек, скопировавший полностью первый текст, поменяет в нем всего одно слово, то программный анализ выдаст результат о несхожести двух материалов, хотя на самом деле их похожесть будет равна практически ста процентам. Именно по этой причине была разработана методика, позволяющая проверять тексты на уникальность, сравнивая последовательно отдельные куски контента, то есть шинглы.

Шинглы бывают разных размеров. Минимальный состоит из трех слов, максимальный – из восьми. Чем меньше размер шингла, тем более качественнее будет проведен анализ, но и время на работу программы увеличится в несколько раз. При высоких показателях шингла существует большой процент погрешности. Поэтому разработчики подобных программ обычно рекомендуют устанавливать этот параметр на значениях 4-5.

Как работает алгоритм антиплагиатов? Допустим, требуется проверить некий текст, который начинается с предложения:

Сегодня с утра отец решил устроить себе выходной и пошел на рыбалку. 

Первоначально, как уже писалось выше, убираются несущественные части текста. Получается:

Сегодня утра отец решил устроить себе выходной пошел рыбалку.

Дальше контент разбивается на шинглы. Для повышения эффективности проводимого анализа, программы делят текст на кусочки, каждый из которых начинается с последнего слова предыдущего шингла.

Допустим, шингл был установлен на три. В таком случае программа начнет поочередно анализировать такие куски:

• Сегодня утра отец.

• Отец решил устроить.

• Устроить себе выходной.

• Выходной пошел рыбалку.

И так далее. В некоторых программах, кроме этого варианта, используется более усложненный способ. То есть, текст изначально разбивается на куски по три последовательно расположенных слова, плюс части, расписанные выше.

Конечно, это только приблизительное описание работы специализированных программ, тем не менее, именно благодаря такому способу сравнения текстов, неуникальные материалы сразу выявляются. Не удивительно, что значение такого понятия, как шингл, сегодня очень высоко. Кстати, именно по причине использования этого метода рекомендуется не использовать при написании текстов расхожих выражений. Это не программа сразу находит их среди других - это алгоритм работает так, что попадание такого выражения в отдельный шингл приводит к тому, что схожий кусок обнаруживается в другом месте. Исходя из выше написанного, можно сразу дать ответ на еще один довольно популярный вопрос:

Почему я пишу текст про рыбалку, а программа находит совпадения на сайте, посвященном детским подгузникам? И там и там просто использовали одни и те же словосочетания.