Задача
Цена на один и тот же товар на kaspi.kz меняется по нескольку раз в неделю. Чтобы поймать снижение, приходится заходить на страницу товара каждый день. Сервис делает это за человека: запоминает цену, показывает её историю и пишет в Telegram, когда она упала.
Решение
Человек присылает боту ссылку на товар или вставляет её на сайте. Сервис регулярно узнаёт минимальную цену среди продавцов, сохраняет её в историю и сравнивает с прошлой. Можно следить за любым снижением или задать целевую цену.
Бот, сайт и проверка цен работают в одном процессе на одной базе SQLite, интерфейс — на казахском, русском и английском. Сервис живёт на сервере в Казахстане за Cloudflare. Каждое изменение выкатывается через GitHub Actions только после прохождения тестов, а база каждую ночь копируется в облачное хранилище.
Сервис независимый и не связан с Kaspi: kaspi.kz для него только источник цен.
Сложности
- Бережный темп. Источник задаёт темп в
robots.txt: не чаще одного запроса в 10 секунд, фоновые обходы — в отведённое окно. Сервис держит этот темп всегда. Если источник отвечает отказом, цикл проверки прерывается, и сервис надолго затихает, а не повторяет запросы. - Уровни частоты. Растёт сервис не за счёт частоты, а за счёт приоритетов. Товары с подписчиками, закреплённые администратором и недавно открытые на сайте проверяются примерно раз в 4 часа. Открытые в последний месяц — раз в сутки, остальные — раз в неделю. Товар, который три месяца никто не открывал, не проверяется вовсе.
- Одна очередь запросов. Бот и сайт делят один клиент и одну очередь, поэтому суммарная нагрузка на источник не зависит от того, откуда пришёл человек. Просмотр страницы сайта к источнику не обращается совсем.
- Один запрос на товар. Сколько бы людей ни следило за товаром, цена запрашивается один раз за цикл. Товар с подписчиками не перезапрашивается вне цикла, иначе «прошлая цена» перезаписалась бы, и подписчики не узнали бы о снижении.
- Одна цена вместо цены по городам. Сначала цены хранились отдельно для каждого города. Замер показал, что из 16 товаров в Алматы и Астане цена отличалась у одного, и всего на 15 ₸. Сервис перешёл на одну цену по Астане: запросов и записей в каталоге стало вдвое меньше. Подписки и история цен при этом перенеслись автоматически при запуске новой версии.
- Весь доступ к источнику — в одном файле. API неофициальное, поэтому запросы и разбор ответов собраны в одном модуле с запасным разбором HTML. Когда формат изменится, чинится один файл.
- Короткие ссылки из приложения. Кнопка «Поделиться» в приложении даёт короткую ссылку — сервис раскрывает её сам.
Архитектура
- Telegram-бот и сайтaiogram и FastAPI + Jinja в одном процессе
- Каталогдобавление товара, общее для бота и сайта
- Очередь запросоводин клиент, пауза 10 с между запросами
- Проверка ценуровни частоты, решение об уведомлении
- SQLiteтовары, подписки, история цен; ночная копия в облако
- СерверDocker на VPS в Казахстане, Caddy за Cloudflare, выкатка через GitHub Actions
Фрагменты кода
Очередь запросов. Под замком запрос только бронирует время отправки, а ждёт уже снаружи. Так запросы бота, сайта и фоновой проверки выстраиваются друг за другом и не держат замок, пока ждут:
async def _throttle(self) -> None:
# Под замком только бронируем слот; ждём уже снаружи.
async with self._lock:
now = self._clock()
wait = self._next_slot - now
self._next_slot = (
max(now, self._next_slot)
+ self._min_interval
+ random.uniform(0, self._interval_jitter)
)
if wait > 0:
await self._sleep(wait)Правило «нужно ли уведомлять подписчика». С целевой ценой повторное сообщение уходит, только если цена опустилась ещё ниже уже сообщённой:
def decide_notification(
old_price: int | None,
new_price: int | None,
target_price: int | None,
last_notified_price: int | None,
) -> tuple[bool, int | None]:
"""Нужно ли уведомлять подписчика -> (уведомлять, новое last_notified_price)."""
if new_price is None:
return False, last_notified_price
if target_price is None:
return (old_price is not None and new_price < old_price), None
if new_price > target_price:
return False, None
if last_notified_price is None or new_price < last_notified_price:
return True, new_price
return False, last_notified_priceКак пользоваться
- В приложении магазина откройте товар, нажмите «Поделиться» и скопируйте ссылку.
- Отправьте ссылку боту @kz_pricebot или вставьте её на сайте.
- Бот покажет текущую цену. Кнопкой «Целевая цена» можно задать порог — тогда сообщение придёт, только когда цена опустится до него.
- Когда цена снизится, бот пришлёт уведомление. Кнопка «История» покажет минимум, максимум и график; на сайте у товара есть страница с графиком за 7, 30 и 90 дней.