Задача
Одно и то же объявление живёт сразу на четырёх площадках и ещё в трёх каналах мессенджера, каждый раз с другим текстом, другими фотографиями и другой ценой. Человек, который ищет машину, вынужден обойти всё это руками и всё равно упустит половину.
Сложность агрегатора не в том, чтобы собрать объявления. Она в том, чтобы понять, что четыре записи — это один и тот же автомобиль.
Решение
Система разложена на три слоя: сбор, обработка, выдача.
Дедупликация держится на трёх независимых сигналах. Телефон продавца работает как сильный признак, отпечаток текста ловит переписанные описания, хеш изображения находит те же фотографии в другом порядке и другом размере. Ни один сигнал в одиночку не надёжен, вместе они дают устойчивый результат.
Характеристики вытаскивает языковая модель. Продавец пишет свободным текстом, а поиску нужны поля: год, объём, коробка, состояние. Регулярные выражения здесь проигрывают на первой же нестандартной формулировке.
Архитектура и реализация
Как устроено:
· сбор из четырёх внешних площадок и каналов мессенджера, каждая площадка в своей очереди
· нормализация и приведение к общему справочнику
· дедупликация по телефону, отпечатку текста и хешу изображений
· извлечение характеристик языковой моделью
· поисковый индекс с фильтрами по характеристикам
· фильтр свежести, отсекающий протухшие объявления
· фронтенд с серверной отрисовкой ради поисковых систем
Стек: Python с очередями Celery, PostgreSQL, поисковый движок Meilisearch, объектное хранилище, Next.js, Docker, языковая модель для разбора текста.
Результат
Три направления в одном поиске: машины, телефоны, дома. Проект работает на проде и активно развивается.
Здесь же наш рабочий пример того, что означает «внедрение ИИ» на практике. Не чат на сайте, а модель внутри конвейера обработки, у которой есть измеримая работа: превратить свободный текст продавца в поля, по которым можно фильтровать.
