Perplexity представила Photon — собственный движок поиска для ИИ-агентов

Perplexity разработала собственный поисковый движок Photon и перевела на него основной поисковый конвейер компании. Система пришла на смену адаптированному open-source решению, которое перестало справляться с ростом индекса и увеличением нагрузки.

По данным Perplexity, Photon сократил задержку на 99-м перцентиле примерно с 800 до 65 мс. Движок также стал основой быстрого режима Search API, предназначенного прежде всего для ИИ-агентов, которым приходится многократно обращаться к поиску во время выполнения одной задачи.

Как устроен Photon

В основе Photon лежит инвертированный индекс: для каждого слова система хранит список документов, где оно встречается. Короткие списки размещаются непосредственно в индексе, а длинные разбиваются на блоки и сохраняются в виде разреженных массивов или битовых карт.

Для ранжирования используется отдельная компактная запись документа. В ней хранятся частоты слов, их позиции и поля, в которых они встречаются. Благодаря такой архитектуре движку не требуется полностью распаковывать все данные: он извлекает только информацию, необходимую для обработки конкретного запроса.

Кандидатов для выдачи отбирает алгоритм, похожий на WAND. Он позволяет пропускать документы, которые заведомо не смогут попасть в итоговые результаты. Данные читаются асинхронно, а построение индекса выполняется отдельно от обработки запросов. Это уменьшает задержки при работе с диском и обновлении поисковой базы.

Photon хранит примерно в 2,5 раза больше данных на один документ, чем прежняя система, однако для обслуживания запросов ему требуется примерно на 20% меньше серверов.

Быстрее и дешевле, но с компромиссами

В быстром режиме Search API медианная задержка одного поискового вызова составляет 160 мс, а 95% запросов укладываются в 230 мс. В тесте на 3554 задачах из шести агентных бенчмарков этот режим набрал 64,3% при оценочной совокупной стоимости модели и поиска в $59,73.

Стандартный режим показал 64,0%, но обошёлся в $187,60 на том же наборе задач. Таким образом, расчётная экономия быстрого режима составила около 68%.

Снижение стоимости сопровождается некоторым падением качества отдельных результатов. Во внутренних тестах Perplexity показатель релевантности DCG снизился с 2,45 до 2,21, а доля запросов, для которых найденные страницы содержали ответ, — с 59,6% до 56,7%.

Быстрый режим рассчитан на типовые агентные сценарии, где важны скорость и стоимость большого числа обращений к поиску. Для сложных исследований, требующих широкого охвата источников и максимально релевантной выдачи, стандартный режим может оставаться более подходящим.