Задача
Сравнение курсов выглядит просто ровно до момента, когда источников становится больше трёх. Одни отдают данные по API, другие только страницей, у третьих формат меняется без предупреждения, а четвёртые периодически молчат.
При этом читателю нужна таблица, которой можно верить прямо сейчас. Устаревшая на час строка хуже отсутствующей.
Решение
Систему построили как конвейер сбора, а не как набор скриптов.
Каждый источник опрашивается по своему расписанию и своим способом, ответ приводится к единому виду, и только после проверки на достоверность попадает в общую таблицу. Источник, который замолчал или начал отдавать чушь, помечается и не портит сравнение остальных.
Отдельно считается свежесть: у каждой строки видно, когда она получена, и данные старше допустимого не показываются как актуальные.
Архитектура и реализация
Как устроено:
· опрос десятков независимых источников по расписанию
· разные способы получения данных: программный интерфейс и разбор страницы
· приведение к общему справочнику направлений
· проверка достоверности и отсев выбросов
· пометка источников, которые молчат или отдают ошибку
· отметка свежести у каждой строки
· таблица сравнения с сортировкой и фильтрами
Результат
Сервис запущен в 2017 году и был устроен так же, как устроены современные агрегаторы: сбор, нормализация, проверка, сравнение.
Эта компетенция переносится целиком. Мониторинг цен конкурентов, сводка остатков от нескольких поставщиков, сравнение тарифов — задача та же, меняется только предметная область.
