AWS обновила Amazon OpenSearch для ускорения анализа логов и снижения затрат на хранение

AWS обновила Amazon OpenSearch, сделав акцент на анализе логов и работе с растущими объёмами данных. Как пишет ITPro, в компании связывают рост нагрузки с распространением ИИ: по данным AWS, объёмы логов у корпоративных клиентов увеличиваются на 30–40% год к году. AWS заявляет, что новый специализированный движок для лог-аналитики способен сократить расходы на хранение данных до 70% и при этом заметно повысить производительность без дополнительной платы.

После обновления OpenSearch перешёл на хранение данных в формате Apache Parquet вместо прежнего подхода с inverted indexing. В AWS считают, что это ускоряет поиск и обработку данных. Для выполнения запросов система использует Apache Calcite, Apache DataFusion и Lucene, распределяя операции между движками в зависимости от типа запроса. Кроме того, OpenSearch получил нативную поддержку языков запросов Piped Processing Language (PPL) и SQL.

По внутренним тестам AWS, сервис обеспечивает до четырёхкратного улучшения соотношения цены и производительности по сравнению с предыдущим движком. Аналитические запросы выполняются до двух раз быстрее, а скорость ingest-операций выросла примерно вдвое. В одном из тестов оптимизированный движок обрабатывал 1,78 млн документов в секунду при меньшем потреблении CPU.

Новый движок уже доступен в регионах AWS с поддержкой OpenSearch Optimized instances. При этом включить его в существующем домене не получится: для перехода нужно создать новый домен и перенести ingestion pipelines. В AWS отдельно уточнили, что сами ingestion pipelines и код приложений менять не требуется.