Praxis

Wie Sie Ringversuche auswählen und auswerten

Ein zufriedenstellender z-Score ist noch kein gutes Ergebnis. Die Aussage steckt im Verlauf über mehrere Runden — und dort sehen die wenigsten hin.

Einschätzung anfragen Zum Inhalt

Teilnehmende bei einer schriftlichen Prüfung

Sie wählen einen Ringversuch danach aus, ob er Ihre Matrix, Ihren Messbereich und Ihre Methode abbildet — nicht danach, ob er den Parameter im Titel führt. Ausgewertet wird er über eine Leistungskennzahl, meist den z-Score, und die eigentliche Aussage entsteht erst im Verlauf über mehrere Runden. Ein einzelner unauffälliger Wert belegt wenig; eine Folge von Werten, die alle leicht in dieselbe Richtung abweichen, belegt einen systematischen Fehler.

Die Auswahl: vier Prüfpunkte

Ein Programm, das nicht zu Ihrem Verfahren passt, erzeugt Aufwand ohne Nachweiswert. Prüfen Sie vor der Anmeldung vier Punkte.

Matrix. Der Parameter allein genügt nicht. Ein Programm für Trinkwasser bildet Ihre Abwasseranalytik nicht ab, weil Aufschluss und Störeinflüsse anders sind. Bei komplexen Matrices ist das der häufigste Grund, warum ein Nachweis in der Begutachtung nicht anerkannt wird.

Messbereich. Liegt der zu erwartende Gehalt in dem Bereich, in dem Sie routinemäßig arbeiten? Ein Programm mit Gehalten weit oberhalb Ihrer üblichen Aufträge sagt nichts über Ihre Leistung nahe der Bestimmungsgrenze aus — und genau dort entstehen die Probleme.

Methode. Manche Programme werten nach Methodengruppen getrennt aus. Das ist wertvoll, weil Sie sich dann mit Laboren vergleichen, die dasselbe Verfahren fahren, statt mit einem gemischten Kollektiv.

Anbieter. Ein nach der einschlägigen Norm für Anbieter von Eignungsprüfungen akkreditiertes Programm erspart Ihnen die Begründung, warum das Programm geeignet ist. Bei nicht akkreditierten Anbietern müssen Sie Herkunft des Referenzwerts, Homogenität und Stabilität der Proben sowie das Auswerteverfahren selbst bewerten.

Der Unterschied zwischen Ringversuch und Eignungsprüfung ist dabei kein Wortspiel: Ringversuch bezeichnet die Methode, Eignungsprüfung den Zweck. Nicht jeder Ringversuch bewertet die Teilnehmer; manche dienen der Methodenvalidierung oder der Festlegung eines Referenzwerts. Die Abgrenzung ist im Eintrag zur Eignungsprüfung beschrieben.

Wie die Kennzahlen zu lesen sind

KennzahlWofürGrenzen
z-ScorePrüflaboratorien, Abweichung bezogen auf eine festgelegte Standardabweichungbis 2 zufriedenstellend, 2 bis 3 fraglich, über 3 nicht zufriedenstellend
z’-Scorewie z, berücksichtigt zusätzlich die Unsicherheit des Referenzwertsgleiche Bewertungsstufen
Zeta-Scorevergleicht die Abweichung mit den kombinierten Messunsicherheitengleiche Stufen, prüft zugleich das Unsicherheitsbudget
E-Zahlüberwiegend im KalibrierbereichBetrag bis 1 gilt als bestanden

Die Grenzen sind Konvention aus der international üblichen Auswertung, keine Naturkonstanten — aber Begutachter erwarten sie und lesen Ihre Bewertung daran.

Der Zeta-Score verdient besondere Aufmerksamkeit, weil er zwei Dinge auf einmal prüft. Wenn Ihr z-Score unauffällig ist, der Zeta-Score aber nicht, liegt das Problem nicht am Messwert, sondern an Ihrer angegebenen Messunsicherheit: Sie ist zu klein geschätzt. Dieser Fall wird regelmäßig übersehen, weil die Aufmerksamkeit beim z-Score bleibt.

Warum der Verlauf mehr sagt als der Einzelwert

Ein z-Score von 1,4 ist zufriedenstellend. Fünf aufeinanderfolgende Werte von 1,2 bis 1,6, alle mit demselben Vorzeichen, sind es nicht — sie zeigen einen systematischen Versatz, den die Einzelbewertung nicht auffängt. Das ist der Erkenntnisgewinn, den die externe Qualitätssicherung überhaupt erst rechtfertigt.

Führen Sie deshalb je Verfahren eine einfache Verlaufsdarstellung mit Runde, Referenzwert, eigenem Wert und Kennzahl. Zwei Muster sind auswertbar:

  1. Konstanter Versatz. Alle Werte liegen auf derselben Seite. Ursachen sind meist Kalibrierung, Referenzmaterial oder ein Rechenschritt in der Auswertung.
  2. Wachsende Streuung. Die Beträge nehmen über die Runden zu. Ursachen sind meist Geräteverschleiß, Personalwechsel ohne saubere Einarbeitung oder eine gelockerte Handhabung.

Beide Muster sind Fragen der Begutachtung, und beide lassen sich vor dem Termin selbst finden.

Die Planung über den Zyklus

Die Akkreditierungsstelle erwartet keinen Ringversuch je Verfahren und Jahr, sondern einen begründeten Plan über den Akkreditierungszyklus. Der Plan ist das eigentliche Dokument; die einzelnen Teilnahmen sind seine Umsetzung.

Vier Kriterien tragen die Begründung: das Risiko des Verfahrens, die Auftragszahl, die Stabilität in der Vergangenheit und die Verfügbarkeit passender Programme. Ein Verfahren mit hohem Auftragsvolumen und Ergebnissen nahe an Grenzwerten gehört häufiger geprüft als eines, das dreimal im Jahr beauftragt wird und weit von jeder Entscheidungsschwelle liegt.

Zwei praktische Hinweise zur Planung. Erstens laufen viele Programme in festen Terminen mit Anmeldefristen mehrere Monate im Voraus; wer den Plan erst im laufenden Jahr aufstellt, findet keinen freien Termin mehr. Zweitens sollten Sie eine Reserve einplanen: Wenn eine Runde auffällig ausfällt, brauchen Sie für den Wirksamkeitsnachweis eine weitere Teilnahme, und die muss in denselben Zyklus passen.

Der Plan gehört zu den Unterlagen, die in der Begutachtung früh angesehen werden — zusammen mit der Verfahrensliste, gegen die er gelesen wird. Ein Verfahren im Umfang, das im Plan nicht auftaucht, ist ein Befund, der sich beim Erstellen des Plans in zwei Minuten hätte vermeiden lassen.

Was ein auffälliges Ergebnis auslöst

Ein nicht zufriedenstellendes Ergebnis ist kein Zwischenfall, sondern ein definierter Vorgang mit vier Schritten.

  1. Prüfung auf einen offensichtlichen Fehler. Verwechslung der Probe, Zahlendreher bei der Übermittlung, falsche Einheit, falsches Formular. Das kommt häufiger vor, als es sollte, und ist in einer Stunde geklärt.
  2. Technische Ursachenanalyse. Kalibrierung, Referenzmaterial, Aufschluss, Gerätezustand, Personal, Auswertung. Dokumentiert, nicht mündlich.
  3. Korrekturmaßnahme mit Wirksamkeitsnachweis. Der Nachweis besteht in einem Ergebnis nach der Maßnahme — eine Wiederholungsrunde, eine Messung an einem Referenzmaterial oder ein bilateraler Vergleich. Eine geänderte Arbeitsanweisung allein ist kein Wirksamkeitsnachweis.
  4. Bewertung der ausgelieferten Kundenergebnisse. Waren Ergebnisse betroffen, die zwischen dem Auftreten der Ursache und ihrer Behebung an Kunden gegangen sind? Und wenn ja, müssen diese Kunden informiert werden?

Der vierte Schritt ist der, der in der Praxis am häufigsten fehlt. Er ist zugleich der, der in der Begutachtung am zuverlässigsten abgefragt wird — weil er die eigentliche Konsequenz eines falschen Messwerts betrifft. Wer die Schritte 1 bis 3 sauber dokumentiert und Schritt 4 auslässt, hat eine unvollständige Ursachenbehandlung.

Der häufigste Fehler

Der häufigste Fehler ist die Sonderbehandlung der Ringversuchsprobe. Sie wird der erfahrensten Person übergeben, in Doppel- oder Dreifachbestimmung gemessen, mit einem frisch kalibrierten Gerät bearbeitet und in Ruhe ausgewertet. Das Ergebnis ist ausgezeichnet — und wertlos, weil es die Leistung eines Sonderfalls misst, nicht die Ihrer Routine.

Die Regel dagegen ist einfach und wird trotzdem selten eingehalten: Die Probe läuft wie ein Kundenauftrag. Gleiche Person aus der normalen Rotation, gleiche Bestimmungshäufigkeit, gleicher Ablauf, gleiche Auswertung. Wenn das Ergebnis dann auffällig ist, haben Sie eine Information gewonnen, die Sie brauchen. Ein geschöntes Ergebnis kostet dagegen doppelt: Es verdeckt ein Problem, und es erzeugt die Erwartung einer Leistung, die Sie im Kundenauftrag nicht erbringen. Wie die Ringversuchsplanung mit Ihrer Verfahrensliste zusammenhängt, beschreibt der Beitrag zum Akkreditierungsumfang eines Labors.

Häufige Fragen

Wie viele Ringversuche brauche ich?

Die Norm nennt keine Zahl. Verlangt wird ein Plan, der die akkreditierten Verfahren über den Akkreditierungszyklus hinweg angemessen abdeckt, und die Begründung dieser Planung. Angemessen heißt: häufiger bei Verfahren mit hohem Risiko, hoher Auftragszahl oder bekannter Störanfälligkeit, seltener bei stabilen Verfahren mit geringem Volumen. Ein Plan ohne Begründung ist der eigentliche Befund, nicht eine niedrige Frequenz.

Was bedeutet ein z-Score von 2,5?

Nach der international üblichen Auswertung liegt er im fraglichen Bereich zwischen zufriedenstellend und nicht zufriedenstellend. Das ist kein Fehlschlag, aber auch kein Ergebnis zum Abheften. Erwartet wird eine dokumentierte Betrachtung: Ist der Wert einzeln aufgetreten oder passt er zu einem Trend, gab es besondere Umstände, ist eine Maßnahme angezeigt. Wer den fraglichen Bereich unkommentiert lässt, bekommt dazu eine Frage.

Muss der Anbieter akkreditiert sein?

Zwingend ist es nicht in jedem Fall, aber ein nach der einschlägigen Norm für Eignungsprüfungsanbieter akkreditiertes Programm erleichtert die Anerkennung erheblich. Bei einem nicht akkreditierten Anbieter müssen Sie zusätzlich begründen, warum das Programm geeignet ist: Herkunft des Referenzwerts, Homogenität und Stabilität der Proben, statistisches Auswerteverfahren. Diese Begründung ist Aufwand, den ein akkreditiertes Programm erspart.

Was ist, wenn es für mein Verfahren kein Programm gibt?

Dann führen Sie den Nachweis anders und dokumentieren die Lücke. Möglich sind bilaterale Vergleiche mit einem anderen kompetenten Labor, Messungen an zertifizierten Referenzmaterialien, Wiederholmessungen an rückgestellten Proben oder der Vergleich unabhängiger Methoden im eigenen Haus. Entscheidend ist, dass die Alternative bewusst gewählt und begründet ist — nicht, dass sie gleichwertig heißt.

Passend dazu