Хранение данных и частое обращение к ним
Страницы: 1
Хранение данных и частое обращение к ним
Здравствуйте! Хочу услышать мнение профессионалов.

Суть вопроса:

Ищу оптимальное решение, для сервиса счетчиков тиц и пр сайтов.

Суть в том что мало того хранить их, эти данные будут браться для информеров которые установят на свои сайты пользователи, поэтому обращений будет много.Как и где лучше хранить данные тиц и пр сайта. Т.е конечно в текстовом файле вполне нормально, но вот проблема количества файлов в директории если их будет например 100к не вариант. В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.

Вот думаю может использовать NoSQL решения?

Жду ваше мнение.
Цитата
Юрий Ушаков пишет:
В SQL тоже, можно кешировать результаты, но опять же. при изменении базы (добавление нового сайта в бд, изменение уже существующего и тд) обнуляет кеш бд.
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.

Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
В действительности вы знаете предмет только в той степени, в которой можете научить других, с тем чтобы они его поняли и применили в своей жизни.
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Цитата
Андрей П-Студия пишет:
Ну так в чем сложность пусть обновляет кеш бд. не так уж и часто обновляются тИЦ и ПР. И добавление нового сайта, тоже не так часто, относительно запросов счетчиков всеми сайтами.
ПР и тИЦ обновляются не так часто, но суть то в том что сайты которые будут анализироваться и в свою очередь добавлять сайты в бд или изменять их, в следствии чего кеш бд будет уж очень часто обновятся.
Цитата
WSairus пишет:
SQL с Partition отлично справится с задачей, конечно же понадобится дедик, но лучшего решения попусту нет.
Выделенный сервер пока нет возможности взять.
Цитата
Андрей П-Студия пишет:
Можно например, вести статистику и выявлять сайты с большой посещаемостью и только для них делать текстовый файл, а остальным с малой посещаемостью выдавать из БД.
Интересная мысль, но ведь все на автомате, а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Цитата
Юрий Ушаков пишет:
Выделенный сервер пока нет возможности взять.     
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет

А уж когда наберете, к примеру 50 000 сайтов, то можно начать задумываться о переходе на выделенный сервер.
Цитата
Андрей П-Студия пишет:
В таком случае самый простой способ это создать 26+30+10 папок = два алфавита и десять цифр
И размещать текстовые файлы для сайтов по первому символу в названии.
Так хоть какой-то порядок будет
Согласен, способ в принципе не плох! Как из вариантов можно будет. Но все равно, пока ищу другие решения, если найду, отпишусь, может кому и пригодится.
Цитата
Юрий Ушаков пишет:
а тут нужно постоянно следить за сайтами которые будут использовать счетчики.
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт

Каждое обращение сайта проверяет наличие своего файла в папке, если файла нет, то запрос делается из БД.
Цитата
Андрей П-Студия пишет:
Считать количество обращений, установить порог, после которого инфа из базы переходит в файл.тхт
Опять же, считать. А подсчет тоже нужно хранить, где? будет 100к сайтов, и для каждого считать:) Тогда уже свою метрику можно открывать xD
А

Цитата
Юрий Ушаков пишет:
Опять же, считать.
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Цитата
Андрей П-Студия пишет:
А если счет вести в двухмерном массиве, который объявить как глобальный, а потом к примеру этот массив в конце дня сбрасывается в БД.
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Цитата
Вариант, но я думаю что понадобится выделенный сервер для обработок таких данных и объемов.
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Цитата
Михаил Сусанин пишет:
Угу, еще кластер зарядить для кнопки ТИЦ и PR
Никаких сервисов не требуется, просто зайдите в яндекс и гугл - там и PR и ТИЦ посмотреть можно.
Что правда? А я то думал... Вон оно как) Речь идет о своем таком сервисе. Вы если не поняли сути, то не надо тут острить! А на счет кластера и его заряжения вы сами то поняли что написали?
Изменено: Юрий Ушаков - 16 Марта 2014 20:35
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:44 Гугл уходит из России: почему интернет тормозит и что делать 
19:18 Раскрутка форума 
19:14 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
18:37 Телега на ручнике: РКН включил замедление и логи админок покраснели 
15:28 Как получать уведомления о распродажах и новинках на кракен площадка каталог 
15:27 Путеводитель по покупкам на кракен площадка каталог: как найти надежных продавцов 
13:45 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
20:31 Mixmasters - Exchange without AML and KYC 
16:15 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
15:57 Новый сайт 
15:47 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 
14:04 Trustpilot Reviews | Подниму рейтинг вашей компании 
14:01 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
14:01 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
21:13 Добро пожаловать в цифровой мир... 
19:33 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
19:11 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
15:51 Сайты Рунета 
11:06 Туалетные секреты: Замурчательная тема 
11:04 Отвратительное поведение 
09:48 Ставки на супер тренды в спорте