English
Alerts & Schwellenwerte

Fehlalarm (False Positive)

Auch genannt: False Positive, falsch positiver Alarm, Falschalarm

Ein Fehlalarm (False Positive) ist ein Alert, der ein Problem meldet, obwohl keines vorliegt. Im Monitoring kostet er Aufmerksamkeit und senkt das Vertrauen in künftige Meldungen.

Fehlalarm und übersehenes Problem

Wikipedia beschreibt falsch positive Ergebnisse allgemein: Ein Objekt wird der positiven Klasse zugeordnet, obwohl es tatsächlich negativ ist. Übertragen auf Monitoring heißt das, der Alert schlägt an, die Website ist aber in Ordnung. Das Gegenstück ist das falsch negative Ergebnis, bei dem ein echtes Problem keinen Alert auslöst.

Beides lässt sich nicht gleichzeitig auf null drücken. Wer Schwellenwerte senkt, damit nichts durchrutscht, erhält mehr Fehlalarme. Wer sie anhebt, riskiert übersehene Probleme (Einschätzung).

Warum Fehlalarme problematisch sind

Das Google SRE Book beschreibt die Folge: Wenn Meldungen zu oft kommen, hinterfragen die Empfänger sie, überfliegen sie oder ignorieren sie. Gute Alerting-Systeme haben demnach ein starkes Signal und sehr wenig Rauschen. Das Buch empfiehlt, jede Regel zu prüfen: Erkennt sie einen dringenden Zustand, der sonst unentdeckt bliebe, und kann jemand darauf reagieren?

Typische Ursachen im SEO-Monitoring

  • Kurze Ausfälle oder Zeitüberschreitungen, die sich beim nächsten Abruf erledigt haben.
  • Geplante Änderungen wie Releases oder Relaunches, die als Fehler erscheinen.
  • Schwellenwerte, die zu eng gesetzt sind.
  • Dynamische Inhalte wie Zähler, Datum oder Werbung, die als Änderung gelten.
  • Ein Alert für etwas, das sich nicht beheben lässt.

Beispiel

Ein Monitoring prüft eine Produktseite auf Textänderungen. Auf der Seite steht im Footer das aktuelle Datum, daher meldet es jeden Tag eine „Änderung“. Nach zwei Wochen liest niemand die Meldungen mehr. Als sich der Canonical Tag tatsächlich ändert, geht auch dieser Alert unter. Das Beispiel ist erfunden.

Normalbereich, Ausreißer, Fehlalarm (Beispieldaten, erfunden)Liniendiagramm mit erfundenen Beispieldaten über 56 Tage, als Index (100 = üblicher Werktag). Ein Erwartungsband zeigt den Normalbereich je Wochentag, an Wochenenden liegt er niedriger. Die Linie schwankt meist innerhalb des Bandes, das ist normales Rauschen. An Tag 24, einem Feiertag, fällt der Wert unter das Band. Das löst eine Meldung aus, obwohl die Ursache bekannt ist. Es handelt sich um einen Fehlalarm. Ab Tag 44 fällt der Wert deutlich und bleibt unter dem Band. Das ist ein echter Einbruch und ein berechtigter Alarm. Die untere Bandgrenze dient als Schwelle.Beispieldaten, erfundenErwartungsbandMesswertAlarmFehlalarmIndex(100 = üblicher Werktag)6080100120Tag 1Tag 14Tag 28Tag 42Tag 56untere Grenze= Schwellenormales Rauschen im BandTag 24, Feiertag: unter dem Band,Ursache bekannt → Fehlalarmab Tag 44: deutlich undanhaltend unter dem Band→ AlarmErfundene Werte zur Veranschaulichung. Band = erwarteter Wert je Wochentag ± Toleranz.Beispieldaten, erfunden.
Erfundene Beispieldaten. Ein Messwert schwankt meist innerhalb des erwarteten Bereichs. Ein Feiertag fällt aus dem Band und löst einen Fehlalarm aus, ein anhaltender Einbruch einen berechtigten Alarm. Beispiel aus der Praxis, kein Standardverfahren. Schematische Darstellung.

Wie lassen sich Fehlalarme verringern?

Regeln lassen sich enger fassen, etwa auf bestimmte Bereiche der Seite. Eine Mindestdauer verlangt, dass die Bedingung mehrfach in Folge zutrifft. Ein zweiter Abruf vor dem Alert bestätigt das Problem. Bekannte, geplante Änderungen werden ausgenommen. Ob ein Alert beachtet wird, hängt auch davon ab, ob er eindeutig sagt, was zu tun ist.

Quellen

  1. Monitoring Distributed Systems – Google SRE Booksre.google
  2. Falsch positiv und falsch negativ – Wikipediade.wikipedia.org

Stand: