В ClickHouse считают, что AI-приложения меняют требования к инфраструктуре хранения и обработки данных. По словам компании, агенты, LLM-интерфейсы, рекомендательные системы и аналитические инструменты генерируют заметно больше операционных данных, чем традиционное ПО. При этом пользователи ждут ответов в реальном времени на основе этих данных.
Как сообщает Hacker News, в ClickHouse заявили: граница между транзакционными и аналитическими нагрузками постепенно размывается. По данным компании, у AI-native-компаний, использующих Postgres и ClickHouse, объём данных в среднем вырос более чем на 1000% за шесть месяцев, а совокупный прирост превысил 85 ТБ. В компании добавили, что классические ETL-процессы с обновлением раз в час или даже минуту уже не подходят для сценариев, где аналитика должна срабатывать почти сразу после записи данных.
В материале также говорится, что команды пересматривают подход к инфраструктуре из-за опасений, связанных с зависимостью от проприетарных LLM и ростом затрат на токены. В ClickHouse считают, что открытые базы данных дают возможность разворачивать инфраструктуру самостоятельно или в managed-формате, а ещё упрощают смену поставщика, если требования со временем меняются. Связку Postgres и ClickHouse в компании называют всё более распространённым вариантом для AI-native-нагрузок, где нужно одновременно поддерживать транзакционную обработку и аналитику в реальном времени.
Ключевые факты
В выборке AI-native-компаний объём данных вырос более чем на 1000% за шесть месяцев
Совокупный прирост данных в исследуемой выборке превысил 85 ТБ
В ClickHouse считают, что обновление аналитики через ETL раз в час или минуту уже недостаточно для AI-нагрузок
В материале упоминаются сценарии с LLM-приложениями, системами рекомендаций, anomaly detection и natural language интерфейсами