Аналітика мережі на 2,6 млрд показників щодня
Python, Kafka і ClickHouse для нідерландського оператора мережі
Python, Kafka і ClickHouse для нідерландського оператора мережі
Voltgrid · NetherlandsПоказники
2.6B
Readings per day
4 s
Anomaly alert latency
-68%
Storage cost per billion rows
340 ms
p95 dashboard query
Аналітика Voltgrid працювала на нічних пакетних завданнях. Оператори бачили аномалії мережі наступного ранку, що надто пізно для реакції на дисбаланс навантаження, а вартість зберігання зростала на 40% щороку.
Прийом через Kafka зі schema registry, потокова обробка на Python і ClickHouse для зберігання з багаторівневим збереженням. Виявлення аномалій працює на ковзних вікнах і надсилає алерти в диспетчерську менш ніж за чотири секунди. Ми переписали розкладку зберігання й скоротили вартість на мільярд рядків на 68%.
Оператори бачать аномалії за чотири секунди замість наступного дня. Вартість зберігання впала на 68% на мільярд рядків попри потроєння обсягу прийому.
“Вони втричі збільшили обсяг даних і скоротили витрати на зберігання на дві третини.”
Sanne de Vries
Керівниця платформи даних, Voltgrid
Наступний кейс
Низьколатентний торговий термінал
Надішліть бриф — архітектор рішень відповість протягом одного робочого дня. Запитаннями, а не шаблоном.