Например, можно создать правило: если количество HTTP 5xx превышает 10 за минуту — отправить уведомление. Важно настраивать не только само условие, но и порог, длительность его выполнения и уведомления так, чтобы не создавать лишний шум и не провоцировать «усталость от алертов».
Нужно создать правило алерта (alert rule): выбрать источник данных и запрос, задать условие срабатывания и порог, указать, как часто проверять условие, а затем настроить способ уведомления — например, Telegram, трекер или почту.
Достаточно поставить галочку «Alert» на нужном графике — Grafana сама определит, когда показатель является проблемой.