Pruebas de aptitud técnica en agua residual · Normatividad ¾El propósito principal es demostrar...

Simposio de Metrología 2008

Pruebas de aptitud técnica enPruebas de aptitud técnica en


Pruebas de aptitud técnica en Pruebas de aptitud técnica en agua residualagua residual

María del Rocío Arvizu TorresJudith Velina Lara Manzano

Yoshito Mitani NakanishiAdrian Reyes del Valle

Metrología de MaterialesCentro Nacional de Metrología

1

Simposio de Metrología 2008Simposio de Metrología 2008

IntroducciónIntroducción

2

Tipos de pruebas (ensayos) comparación

Pruebas IntralaboratorioPruebas Intralaboratorio

Equipo, métodos, personalEquipo, métodos, personalIncluye el uso de materiales de referencia

Pruebas Interlaboratorio

Programas “Round-Robin”

Tipos de pruebas interlaboratorio

Pruebas interlaboratorio:Pruebas interlaboratorio:

a) Pruebas de colaboración)Los participantes son laboratorios de prueba concompetencia técnica demostrada,Objetivo es evaluar el desempeño de nuevos métodos deObjetivo es evaluar el desempeño de nuevos métodos demedición, validar métodos y/o certificar materiales dereferencia;

b) Pruebas de aptitud técnica (PA)Como parte de un proceso de acreditación,para evaluar su competencia técnica y mejorar su desempeñoanalítico.

Pruebas de Aptitud Técnica en CENAM

CENAM ha prestado el servicio de PAs al Sector Ambientald d 1994desde 1994.

Laboratorios del sector ambiental en medición de parámetrosid l t bl id l N M i NOMen agua residual establecidos por la Norma Mexicana NOM-

001-ECOL-96 .

En estos 14 años, este servicio se ha extendido a otras áreas:

Alimentos,Agrícola,Salud,Industria petroquímica,MineraAmérica del Sur

Actividades del CENAM como INM

Desarrollo y mantenimiento de patrones de medición.

Aseguramiento de la comparabilidad internacional de patronesCertificación de materiales de referenciaCertificación de materiales de referenciaDeclaración de CMC.Colaboración con los INM

Fortalecimiento del Sistema Metrológico Nacional.Pruebas de aptitud.Pruebas de aptitud.Pruebas de aptitud.Pruebas de aptitud.Colaboración con Entidades, Industria y Academia.

Servicios de la mas alta calidad metrológica

María del Rocío Arvizu TorresMaría del Rocío Arvizu Torres

Objetivo

Presentar la aplicación de las pruebas de aptitud técnica, para la l ió d l d ñ d l b t i d áli i devaluación del desempeño de laboratorios de análisis de

parámetros de agua residual

empleando como ejemplo la medición de cadmio (Cd), Normas Mexicanas NMX-AA-051-SCFI-2001 y NMX-AA-060-1981.

Protocolo general

Mejoras implementadas para la automatización del manejo de datos

Estimador estadístico empleado por el CENAM: el Error Cuadrático Medio Relativo (ECMR).

El ECMR, basado en el uso de valores de referencia con trazabilidad al Sistema Internacional de Unidades (SI), permitiendo evaluar la competencia técnica.



Desarrollo deDesarrollo deSimposio de Metrología 2008

Desarrollo deDesarrollo delas Pruebas de Aptitud Técnicalas Pruebas de Aptitud Técnica

8

Normatividad

El propósito principal es demostrar el desempeño analítico de los laboratorios participantespromover su mejoramiento continuo,

Requerimientos normativos, NMX-EC-17025-IMNC-2006 en el punto 5.9Norma ISO/IEC 17011:2004, en su sección 7.15Guía ILAC-G13-2007Norma Mexicana NMX-EC-43/1- IMNC-2005/(ISO/IEC Guide 43-1:1997)–Ensayos de aptitud por comparaciones interlaboratorios-

Tipos comunes de programas de pruebas de aptitud: comparación de mediciones, pruebas interlaboratorio,prueba de muestra dividida,cualitativos,con valores conocidos

i lprocesos parciales.


Procedimiento GeneralNMX-EC-43/1-IMNC-2005

Diseño del Ensayode Aptitud

Preparación MRC

NOM-001-ECOL-1996 NMX-AA-051-SCFI-2001, método espectrofotométrico de absorción atómicaPreparación, MRC

ISO-35:2006

Entrega muestras, protocolo a

pNMX-AA-060-1981, método colorimétricode la ditizona

A través del portal de Internet <www.cenam.mx/pat/acceso.aspTest itemTest item Test itemRecepción muestras

Recepción de resultados, t l d I t t CENAM

participantesConfidencialidad de la prueba:

Asignación de un código

Test item particapnts

Entrega de

Test item py protocolo

portal de Internet CENAM

Evaluación de resultados, ECMR

Fija un plazo límite para realizar la prueba

resultados

ECMR

Informe de resultados

DesempeñoDesempeño SatisfactorioNo Satisfactorio


Taller de resultados

Valor Asignado

Norma NMX-EC-43/1-IMNC-2005, procedimientos disponibles l d t i ió d l l i dpara la determinación del valor asignado:

Uso de valores conocidos.Valores de referencia certificados.Valores de referencia proporcionados a partir de medición con un material de referencia trazable a un patrón nacional o internacional

CENAM emplea valores certificados como valor asignadol ió d l i d é i d l l l d dmaterial de referencia trazable a un patrón nacional o internacional

Valores de consenso de los laboratorios expertos, que cuenten con métodos validados, con competencia demostrable.V l d d l l b t i ti i t

La evaluación de la aptitud técnica del valor resultado de unamedición, se basa en valores certificados trazables al SistemaInternacional de Unidades (SI)Ello le proporciona al esquema de PA una mayor confiabilidad, GuíaValores de consenso de los laboratorios participantes, Utilización de estimadores estadísticos que incluyan la consideración de efectos de los valores extremos, como el uso de métodos estadísticos robustos o eliminando valores extremos como lo describe

Ello le proporciona al esquema de PA una mayor confiabilidad, GuíaISO 35:2006

estadísticos robustos o, eliminando valores extremos como lo describe la Norma ISO 5725-2.


Criterio de evaluación con base a estimadores estadísticosest ado es estad st cos

NMX-EC-43/1, los estadísticos de desempeño a emplear deben ser enfocados al cumplimiento del objetivo (Anexo A):enfocados al cumplimiento del objetivo (Anexo A):

Medidas de variabilidad, estadísticos robustos y estadísticos cuantitativos.

La norma NMX CH 13528 IMNC 2007 incluye información detalladaLa norma NMX-CH-13528-IMNC-2007, incluye información detallada sobre los diversos estimadores estadísticos de uso en las PA. El más comúnmente empleado es el z-score.

El CENAM utiliza el estadístico Error Cuadrático Medio (ECM), que emplea valores de referencia certificados

los resultados de los participantes se comparan con valores de magnitudes, emitidos por un Instituto Nacional de Metrología (INM)el proceso de evaluación es una comparación directa al valor del material de referencia certificado (MRC)de referencia certificado (MRC).

no requiere de valores asignados por tratamientos puramente estadísticos,no utiliza pruebas de valores extremos yno depende del número de participantesno depende del número de participantes


Error cuadrático medio relativo, ECMR

Sobre varias mediciones la medida del error, es definida como:Sobre varias mediciones la medida del error, es definida como:

[ ]2)ˆ()ˆ( θθθ −= EMSE

La medida del error puede estimarse en sus principales contribuciones:

Sesgo (b)

Varianza (s)

b y s son estimadores de las dos fuentes más importantes deb y s son estimadores de las dos fuentes más importantes de error. (Ambas son variables aleatorias)


Error cuadrático medio, ECM

MEDICIÓN Tamaño de error

estimación del error sistemático sesgoestimación del error aleatorio Desv. Est.

El Error Cuadrático Medio (ECM) es una medida del tamaño delEl Error Cuadrático Medio (ECM), es una medida del tamaño delerror experimental, compuesto por estas dos fuentes de error másimportantes.

22 sbECM +=

donde:b = |xreferencia - xlab|s2 = Σ (xi - xl b)2 / (n-1)s Σ (xi xlab) / (n 1)



El Error Cuadrático Medio Relativo (ECMR), es la relación que existeEl Error Cuadrático Medio Relativo (ECMR), es la relación que existe entre el Error Cuadrático Medio y la incertidumbre emitida por el CENAM

ECMR = ECM / U = n

donde:donde:U = Incertidumbre de Referencia, k = 2 para el nivel de confianza al 95 %

22 sbECM +=22

Us

UbECMR

+

=

UU


Error cuadrático medio relativo, ECMRManejo de datosj

Los valores ECMR obtenidos para los laboratorios participantes se ordenan en forma ascendenteordenan en forma ascendente.

Posteriormente un número entero n se utiliza para agrupar los valores de ECMR de acuerdo a su valor para cada laboratorio de la siguientede ECMR de acuerdo a su valor para cada laboratorio, de la siguiente forma 1 < n, 2 < n, 3 < n, 4 < n, etc.

El valor de n se relaciona con el nivel de competencia requerido y seEl valor de n se relaciona con el nivel de competencia requerido y se establece de acuerdo al propósito de la prueba, es relativo a la competencia del Instituto Nacional de Metrología (INM).

El valor de nc implica ampliar el nivel de confianza alrededor del valor certificado, para formar una población de los laboratorios cuyos resultados cumplen con el desempeño requerido, de acuerdo al p p q ,propósito establecido.



Con fines de acreditación, los organismos pueden definir previamenteun valor n (ECMRc) como el valor crítico de aceptación y de estaun valor nc (ECMRc) como el valor crítico de aceptación y de estamanera no habrá ambigüedad en los resultados de evaluación.

En la práctica en el CENAM el valor crítico n (ECMRc) de aceptaciónEn la práctica, en el CENAM el valor crítico nc (ECMRc) de aceptaciónes:

establecido para cada mensurando, con la aprobación previa de losconvocantes de la prueba de aptitud técnica yconvocantes de la prueba de aptitud técnica yes informado a los participantes a la PA, a través del protocolo.

El criterio que el CENAM ha establecido para proponer el valor de nEl criterio que el CENAM ha establecido para proponer el valor de n(ECMRc) para cada parámetro se fundamenta en:

la revisión de los estimadores sesgo y coeficiente de variación en diversosmétodos oficiales de medición;en el historial disponible en el CENAM sobre los resultados del ECMR de loslaboratorios que han participado exitosamente en las pruebas de aptitudrealizadas desde el año 1998realizadas desde el año 1998


z- score

Calificación z score

( )a

σxxz −

=

Criterios de evaluación del z score

pσ

Donde:z : z scorexR : valor asignado

riosatisfactoz =≤ 2

Criterios de evaluación del z score

xL : valor del laboratorio participanteσ : variabilidad, u del MR

torioinsatisfacz

lecuestionabz

=≥

=<<

3

32


z- score

Observaciones al z score

La idea principal del z-score es hacer los valores comparables, noimportando el valor medido ó la identidad del analito, la naturaleza dela muestra, el principio fundamental del método de medición o laorganización que provea la prueba.

Es importante enfatizar que la interpretación del z-score no se basa enun esquema estadístico que describa observaciones de resultados delos participantes, sino que utiliza un modelo que está basado en elp p q qpropósito establecido de la PA y éste se representa por σp

P l d l d l fi lid d d bt lPara el uso de valores de consenso, con la finalidad de obtener laestimación del mejor valor, es indispensable realizar pruebas devalores extremos


Simposio de Metrología 2008Simposio de Metrología 2008

Resultados y discusiónResultados y discusión

20

Resultados

Automatización

Para efecto de mantener la confidencialidad, facilitar el manejo de datos, disminuir la ocurrencia de errores y tiempo, y p

procedimiento semi-automático para asignar un código confidencial a cada laboratorio,,

recolectar los resultados por un portal de Internet u otro medio electrónico y

elaborar un informe que contenga toda la información recibida, agrupada de manera clara y útil para todos los involucrados.


Resultados

Asignación del valor

En la asignación del valor certificado, se utilizan métodos analíticos de fundamento diferente (ISO 35, 2004) : Cd en agua

preparación gravimétrica, p p gespectrofotometría de absorción atómica yespectrometría de emisión atómica con plasma acoplado inductivamente.

El valor certificado: 1,507 ± 0,029 mg/L de Cd, con un factor de cobertura k = 2

En 2001, el CENAM declaró su capacidad de medición (CMC) para Cd en agua, siendo reconocida e incluida en la base de datos (KCDB) del CIPMsiendo reconocida e incluida en la base de datos (KCDB) del CIPM. http://kcdb.bipm.org/appendixC/default.asp

Los valores certificados para el material de referencia de Cd son comparablesLos valores certificados para el material de referencia de Cd, son comparablescon los valores de los materiales de referencia que emiten los INM signatarios del ARM.


Resultados

Resultados de la PA para Cd 22 sbECM +=

VALOR CERTIFICADO: 1.507 ± 0.029 mg/LECMR Crítico (n): 3

No Lab mg/L ECMR

ECMR = ECM/U

Promedio Desv. Est. Sesgo ECM12 1.501 0.005 0.006 0.008 0.27314 1.494 0.010 0.013 0.017 0.57325 1.511 0.017 0.004 0.017 0.601

No. Lab. ECMR

25 1.511 0.017 0.004 0.017 0.60113 1.486 0.002 0.021 0.021 0.7379 1.475 0.008 0.032 0.033 1.12720 1.471 0.005 0.036 0.036 1.24222 1 474 0 018 0 033 0 038 1 29922 1.474 0.018 0.033 0.038 1.2992 1.458 0.007 0.049 0.049 1.70618 1.524 0.048 0.017 0.051 1.75310 1.532 0.050 0.025 0.056 1.91824 1 447 0 009 0 060 0 060 2 08524 1.447 0.009 0.060 0.060 2.08523 1.450 0.024 0.057 0.062 2.14415 1.466 0.048 0.041 0.063 2.17221 1.461 0.044 0.046 0.063 2.18217 1 404 0 005 0 103 0 103 3 552


17 1.404 0.005 0.103 0.103 3.552

ECMRc (nc) en PA (Cd)

Standard Methods for the Examination of Water and Wastewater:% CV (s) y sesgo (b)% CV (s) y sesgo (b)

U del valor certificado de Cd en agua ECMR = 4,3

Este valor es mayor que el ECMR obtenido por el historial de las PA desde el año 1996, la mayoría de los laboratorios obtuvieron un ECMR < 2

nc vs Urel Cadmio

nc = 3c

3 5

4.0

4.5

5.0

2.0

2.5

3.0

3.5

valo

res

0.0

0.5

1.0

1.5

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR

UR

MR


U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M U

EC

M

1998 1998 1999 1999 2000 2000 2001 2001 2001 2001 2002 2002 2003 2003 2004 2004 2005 2005 2006 2006 2007 2007

Gráfico de ECMR

22 sb Gráfico ECMR para Cd3.0

Us

UbECMR

+

=

2.0

2.5

151018

1.5s / U

21

0.5

1.0

12

25

149

22

20 224

23

0.00.0 0.5 1.0 1.5 2.0 2.5 3.0

b / U

1213

2017


b / U

Resultados del z-score

Prueba de valores extremos (ISO 5725-2:1994)Valor promedio de los participantes y

4z-score vs ECMR, Cd en agua

Para σp, se estimo s

17

24 232

21 1518 102

3

4R

9

1412

20 22 913

25

0

1

core

/ ECM

17

24 232 21 15 20 22 9

-2

-1z-sc

17

-3Laboratorios

z-score ECMR

el valor de ECMR = 3 es equivalente al valor de z score = 2el valor de ECMR = 3 es equivalente al valor de z-score = 2

Historial de desempeño de los laboratorios para Cd en agua p g

Historial de la variabilidad entre laboratorios para Cd en agua

18

20

12

14

16

(%)

6

8

10CV

(

0

2

4

1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008Año

Resultados para Cd

En PA recientes, se ha solicitado reportar la estimación de incertidumbre

1.661.681.70

L

Gráfico de valores individuales para Cd en agua

1.541.561.581.601.621.64

de C

d, m

g/

1 421.441.461.481.501.52

ón d

e m

asa

1 301.321.341.361.381.401.42

Con

cent

raci

Valores individualesECMU reportada por cada LaboratorioValor certificadoU, k=2

1.301 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

C

Laboratorio

,

Conclusiones

Se ha logrado integrar una red confiable de 30 laboratorios dedicados a este tipo de mediciones que han mostrado una mejora sensible en sueste tipo de mediciones que han mostrado una mejora sensible en su competencia analítica.

ECM con respecto al z score permite evaluar la competencia técnicaECM, con respecto al z-score, permite evaluar la competencia técnica con respecto a valores de referencia con trazabilidad al SI, a través del INM y que a su vez tienen competencia demostrada.

Esquema es costoso y lleva un tiempo considerable.

Existe una limitada disponibilidad de MRC adecuados.Existe una limitada disponibilidad de MRC adecuados.

Con el uso del ECMR también es posible utilizar diversos lotes de MRC para un ejercicio.pa a u eje c c o


Conclusiones

El ECM es un estimador de la incertidumbre que permite comparar el desempeño de los laboratoriosdesempeño de los laboratorios.

se motiva a que cada laboratorio identifique cuidadosamente cada una de las magnitudes de influencia significativas y señale los camposde las magnitudes de influencia significativas, y señale los campos específicos donde más atención se requiere.

Es importante que los organismos de acreditación promuevan que losEs importante que los organismos de acreditación promuevan que los proveedores de las PA consideren los aspectos de la trazabilidad de los valores asignados que se emplean como parte del proceso de acreditación, de modo que se evalúen adecuadamente los resultadosacreditación, de modo que se evalúen adecuadamente los resultados proporcionados por las mismas.


ReferenciasReferencias[1] Garfield F Quality assurance principles AOAC Internacional 1992[1] Garfield F., Quality assurance principles, AOAC Internacional, 1992.[2] NOM-001-ECOL-1996, Que establece los límites máximos permisibles de contaminantes en las descargas de

aguas residuales en aguas y bienes nacionales.[3] NMX-AA-051-SCFI-2001, Análisis de aguas - Determinación de metales por absorción atómica en aguas

naturales, potables, residuales y residuales tratadas, NMX-AA-060-1981 Análisis de aguas - Determinación de Cd , p , y , g- Método colorimétrico de la ditizona.

[4] NMX-EC-17025-IMNC-2006 (ISO/IEC-17025:2005)- Requisitos generales para la competencia de los laboratorios de ensayo y de calibración.

[5] ISO/IEC 17011:2004 Conformity assessment- General requirements for accreditation bodies accrediting conformity assessment bodies.

[6] ILAC-G13:2007 Guidelines for the Requirements for the Competence of Providers of Proficiency Testing Schemes

[7] NMX-EC-43/1-IMNC-2005 (ISO/IEC Guide 43-1:1997)–Ensayos de aptitud por comparaciones interlaboratorios-P t 1 D ll f i i t d d d tit dParte 1- Desarrollo y funcionamiento de programas de ensayos de aptitud.

[8] ISO Guide 35:2006 -Reference Materials - General and Statistical Principles for Certification.[9] ISO 5725-2:1994 Accuracy (trueness and precision) of measurement methods and results- Part 2: Basic method

for the determination of repeatability and reproducibility of a standard measurement method.[10] NMX-CH-164-IMNC-2006 (ISO Guide 34:2000). Requisitos generales para la competencia de productores de

materiales de referencia.[11] NMX-CH-13528-IMNC-2007 (ISO-Guide 13528:2005) Métodos estadísticos para su uso en ensayos de aptitud por

comparaciones interlaboratorios[12] A i R Mit i Y P A S l J A Bi l i l d i t l f t i l i CENAM F i[12] Arvizu R., Mitani Y., Perez A., Salas J.A., Biological and environmental reference materials in CENAM, Fresenieus

J. Anal. Chem, 370, 2001, pp. 156-159.[13] Mitani Y., Lara J., and Rodríguez A., Proficiency testing scheme for harmonization and comparability of analytical

measurements, Accreditation and Quality Assurance, Springer Verlag, 424, 2008.[14] Thompson M Ellison S and Wood R The International Harmonized Protocol for the Proficiency Testing of[14] Thompson M., Ellison S., and Wood R., The International Harmonized Protocol for the Proficiency Testing of

Analytical Chemistry Laboratories (IUPAC Technical Report), Pure Appl. Chem., Vol. 78, No. 1, 2006, pp. 145–196. [15] Eaton A. D., Clesceri L.S., Rice E. W., Greenberg A. E., Franson M.A., Standard Methods for the Examination of

Water and Wastewater, 20th Edition.

Agradecimientos

Agradecemos al personal de la División de Materiales Metálicos del Área de Metrología de Materiales, por su participación en la ejecución de las PA especialmente aparticipación en la ejecución de las PA, especialmente a Aarón Rodríguez por su aportación con la información al presente documento.

María del Rocío Arvizu TorresMaría del Rocío Arvizu Torres32

Pruebas de aptitud técnica en agua residual · Normatividad ¾El propósito principal es demostrar...

Documents

Transcript of Pruebas de aptitud técnica en agua residual · Normatividad ¾El propósito principal es demostrar...