Бекарыс

KZ Price

Telegram-бот и сайт, которые следят за ценами товаров с kaspi.kz, хранят историю, рисуют график и присылают уведомление о снижении. Не связан с Kaspi.

  • Python
  • aiogram
  • FastAPI
  • SQLAlchemy
  • SQLite
  • Docker
  • GitHub Actions

Задача

Цена на один и тот же товар на kaspi.kz меняется по нескольку раз в неделю. Чтобы поймать снижение, приходится заходить на страницу товара каждый день. Сервис делает это за человека: запоминает цену, показывает её историю и пишет в Telegram, когда она упала.

Решение

Человек присылает боту ссылку на товар или вставляет её на сайте. Сервис регулярно узнаёт минимальную цену среди продавцов, сохраняет её в историю и сравнивает с прошлой. Можно следить за любым снижением или задать целевую цену.

Бот, сайт и проверка цен работают в одном процессе на одной базе SQLite, интерфейс — на казахском, русском и английском. Сервис живёт на сервере в Казахстане за Cloudflare. Каждое изменение выкатывается через GitHub Actions только после прохождения тестов, а база каждую ночь копируется в облачное хранилище.

Сервис независимый и не связан с Kaspi: kaspi.kz для него только источник цен.

Сложности

  • Бережный темп. Источник задаёт темп в robots.txt: не чаще одного запроса в 10 секунд, фоновые обходы — в отведённое окно. Сервис держит этот темп всегда. Если источник отвечает отказом, цикл проверки прерывается, и сервис надолго затихает, а не повторяет запросы.
  • Уровни частоты. Растёт сервис не за счёт частоты, а за счёт приоритетов. Товары с подписчиками, закреплённые администратором и недавно открытые на сайте проверяются примерно раз в 4 часа. Открытые в последний месяц — раз в сутки, остальные — раз в неделю. Товар, который три месяца никто не открывал, не проверяется вовсе.
  • Одна очередь запросов. Бот и сайт делят один клиент и одну очередь, поэтому суммарная нагрузка на источник не зависит от того, откуда пришёл человек. Просмотр страницы сайта к источнику не обращается совсем.
  • Один запрос на товар. Сколько бы людей ни следило за товаром, цена запрашивается один раз за цикл. Товар с подписчиками не перезапрашивается вне цикла, иначе «прошлая цена» перезаписалась бы, и подписчики не узнали бы о снижении.
  • Одна цена вместо цены по городам. Сначала цены хранились отдельно для каждого города. Замер показал, что из 16 товаров в Алматы и Астане цена отличалась у одного, и всего на 15 ₸. Сервис перешёл на одну цену по Астане: запросов и записей в каталоге стало вдвое меньше. Подписки и история цен при этом перенеслись автоматически при запуске новой версии.
  • Весь доступ к источнику — в одном файле. API неофициальное, поэтому запросы и разбор ответов собраны в одном модуле с запасным разбором HTML. Когда формат изменится, чинится один файл.
  • Короткие ссылки из приложения. Кнопка «Поделиться» в приложении даёт короткую ссылку — сервис раскрывает её сам.

Архитектура

  1. Telegram-бот и сайтaiogram и FastAPI + Jinja в одном процессе
  2. Каталогдобавление товара, общее для бота и сайта
  3. Очередь запросоводин клиент, пауза 10 с между запросами
  4. Проверка ценуровни частоты, решение об уведомлении
  5. SQLiteтовары, подписки, история цен; ночная копия в облако
  6. СерверDocker на VPS в Казахстане, Caddy за Cloudflare, выкатка через GitHub Actions

Фрагменты кода

Очередь запросов. Под замком запрос только бронирует время отправки, а ждёт уже снаружи. Так запросы бота, сайта и фоновой проверки выстраиваются друг за другом и не держат замок, пока ждут:

async def _throttle(self) -> None:
    # Под замком только бронируем слот; ждём уже снаружи.
    async with self._lock:
        now = self._clock()
        wait = self._next_slot - now
        self._next_slot = (
            max(now, self._next_slot)
            + self._min_interval
            + random.uniform(0, self._interval_jitter)
        )
    if wait > 0:
        await self._sleep(wait)

Правило «нужно ли уведомлять подписчика». С целевой ценой повторное сообщение уходит, только если цена опустилась ещё ниже уже сообщённой:

def decide_notification(
    old_price: int | None,
    new_price: int | None,
    target_price: int | None,
    last_notified_price: int | None,
) -> tuple[bool, int | None]:
    """Нужно ли уведомлять подписчика -> (уведомлять, новое last_notified_price)."""
    if new_price is None:
        return False, last_notified_price
    if target_price is None:
        return (old_price is not None and new_price < old_price), None
    if new_price > target_price:
        return False, None
    if last_notified_price is None or new_price < last_notified_price:
        return True, new_price
    return False, last_notified_price

Как пользоваться

  1. В приложении магазина откройте товар, нажмите «Поделиться» и скопируйте ссылку.
  2. Отправьте ссылку боту @kz_pricebot или вставьте её на сайте.
  3. Бот покажет текущую цену. Кнопкой «Целевая цена» можно задать порог — тогда сообщение придёт, только когда цена опустится до него.
  4. Когда цена снизится, бот пришлёт уведомление. Кнопка «История» покажет минимум, максимум и график; на сайте у товара есть страница с графиком за 7, 30 и 90 дней.