Cohen's kappa

Evaluación | Biopsicología | Comparativo | Cognitivo | Del desarrollo | Idioma | Diferencias individuales | Personalidad | Filosofía | Social | Métodos | Estadística | Clínico | Educativo | Industrial | Artículos profesionales | Psicología mundial | Estadística: Scientific method · Research methods · Experimental design · Undergraduate statistics courses · Statistical tests · Game theory · Decision theory Cohen's kappa coefficient is a statistical measure of inter-rater agreement for qualitative (categórico) elementos. En general, se piensa que es una medida más robusta que el simple cálculo del porcentaje de concordancia, ya que κ tiene en cuenta la concordancia que se produce por casualidad.. algunos investigadores (p. ej.. strijbos, Martas, impresiones, & Jochems, 2006) have expressed concern over κ's tendency to take the observed categories' frequencies as givens, que puede tener el efecto de subestimar el acuerdo para una categoría que también se usa comúnmente; por esta razón, κ se considera una medida de concordancia demasiado conservadora. Otros (p. ej.., ubersax, 1987) impugnar la afirmación de que kappa "toma en cuenta" acuerdo de oportunidad. Para hacer esto de manera efectiva, se requeriría un modelo explícito de cómo el azar afecta las decisiones de los evaluadores.. El llamado ajuste al azar de las estadísticas kappa supone que, cuando no está completamente seguro, los evaluadores simplemente adivinan, un escenario muy poco realista. No obstante, y a pesar de alternativas potencialmente mejores[1], Cohen's kappa enjoys continued popularity. Una posible razón de esto es que kappa es, bajo ciertas condiciones, equivalente al coeficiente de correlación intraclase. Contenido 1 Cálculo 2 Ejemplo 3 resultados inconsistentes 4 Significado 5 Ver también 6 Calculadoras en línea 7 Notas 8 Referencias 9 External links Calculation Cohen's kappa measures the agreement between two raters who each classify N items into C mutually exclusive categories. La primera mención de una estadística similar a kappa se atribuye a Galton. (1892), ver Smeeton (1985). La ecuación para κ es: donde pr(un) es el acuerdo relativo observado entre los evaluadores, y PR(e) es la probabilidad hipotética de acuerdo al azar, usando los datos observados para calcular las probabilidades de que cada observador diga aleatoriamente cada categoría. Si los evaluadores están completamente de acuerdo, entonces κ = 1. Si no hay acuerdo entre los evaluadores (aparte de lo que se esperaría por casualidad) entonces k ≤ 0. El artículo seminal que presenta kappa como una nueva técnica fue publicado por Jacob Cohen en la revista Medición educativa y psicológica en 1960. Una estadística similar, llamado pi, fue propuesto por scott (1955). Cohen's kappa and Scott's pi differ in terms of how Pr(e) es calculado. Note that Cohen's kappa measures agreement between two raters only. Para una medida similar de acuerdo (Fleiss' kappa) se utiliza cuando hay más de dos evaluadores, ver Fleiss (1971). El kappa de Fleiss, sin embargo, is a multi-rater generalization of Scott's pi statistic, not Cohen's kappa. Example Suppose that you were analyzing data related to people applying for a grant. Cada propuesta de subvención fue leída por dos personas y cada lector dijo "Sí" o "No" a la propuesta. Supongamos que los datos fueran los siguientes, donde las filas son el lector A y las columnas son el lector B: Yes No Yes 20 5 No 10 15 Tenga en cuenta que había 20 propuestas que fueron concedidas tanto por el lector A como por el lector B, y 15 propuestas que fueron rechazadas por ambos lectores. Así, el porcentaje de concordancia observado es Pr(un)=(20+15)/50 = 0.70. Para calcular PR(e) (la probabilidad de concordancia aleatoria) notamos eso: El lector A dijo "Sí" Para 25 solicitantes y "No" Para 25 solicitantes. Así dijo el lector A "Sí" 50% de la época. El lector B dijo "Sí" Para 30 solicitantes y "No" Para 20 solicitantes. Así dijo el lector B "Sí" 60% de la época. Por lo tanto, la probabilidad de que ambos digan "Sí" al azar es 0.50*0.60=0.30 y la probabilidad de que ambos digan "No" es 0,50*0,40=0,20. Por lo tanto, la probabilidad general de concordancia aleatoria es Pr("e") = 0.3+0.2 = 0.5. So now applying our formula for Cohen's Kappa we get: Inconsistent results One of the problems with Cohen's Kappa is that it does not always produce the expected answer[1]. Por ejemplo, en los dos casos siguientes hay mucha mayor concordancia entre A y B en el primer casoPlantilla:Why than in the second case and we would expect the relative values of Cohen's Kappa to reflect this. Sin embargo, calculating Cohen's Kappa for each: Yes No Yes 45 15 No 25 15 Yes No Yes 25 35 No 5 35 encontramos que muestra mayor similitud entre A y B en el segundo caso, comparado con el primero. Significance Landis and Koch[1] dio la siguiente tabla para interpretar los valores. Sin embargo, esta tabla no es universalmente aceptada; Landis y Koch no proporcionaron evidencia para respaldarlo., basándolo en su opinión personal. Se ha observado que estas pautas pueden ser más dañinas que útiles.[2], ya que el número de categorías y temas afectará la magnitud del valor. El kappa será mayor cuando haya menos categorías.[3] Interpretación < 0 No agreement 0.0 — 0.20 Slight agreement 0.21 — 0.40 Fair agreement 0.41 — 0.60 Moderate agreement 0.61 — 0.80 Substantial agreement 0.81 — 1.00 Almost perfect agreement Threshold for reliability testing with Kappa is 0.7. K<0.7 is deemed as weak. See also Fleiss' kappa Intraclass correlation Online calculators Cohen's Kappa for Maps Online Kappa Calculator (multiple raters and classes) Vassar College's Kappa Calculator Notes ^ Landis, J. R. and Koch, G. G. (1977) pp. 159—174 ^ Gwet, K. (2001) ^ Sim, J. and Wright, C. C. (2005) pp. 257—268 References ↑ Jump up to: 1.0 1.1 Kilem Gwet (May 2002). Inter-Rater Reliability: Dependency on Trait Prevalence and Marginal Homogeneity. Statistical Methods For Inter-Rater Reliability Assessment 2: ???. http://www.stataxis.com/files/articles/inter_rater_reliability_dependency.pdf Banerjee, M. et al. (1999). "Beyond Kappa: A Review of Interrater Agreement Measures" The Canadian Journal of Statistics / La Revue Canadienne de Statistique, Vol. 27, No. 1, pp. 3-23 Brennan, R. L. y prediger, D. J. (1981) "Coeficiente λ: Algunos usos, abusos, y Alternativas" Medición Educativa y Psicológica, 41, 687-699. Cohen, jacob (1960), Un coeficiente de acuerdo a las escalas nominales, Medición Educativa y Psicológica Vol.20, No.1, páginas. 37–46. Fleiss, JL. (1971) "Medición del acuerdo de escala nominal entre muchos evaluadores." Boletín Psicológico, Para.. 76, No. 5 páginas. 378—382 Fleiss, J. L. (1981) Métodos estadísticos para tasas y proporciones. 2nd ed. (Nueva York: Juan Wiley) páginas. 38—46 Fleiss, JL. y Cohen, J. (1973) "La equivalencia de kappa ponderado y el coeficiente de correlación intraclase como medidas de confiabilidad" en Medición Educativa y Psicológica, Para.. 33 páginas. 613—619 Galtón, F. (1892). Huellas Dactilares Macmillan, Londres. Esperar, K. (2001) Tablas estadísticas para el acuerdo entre calificadores. Gaithersburg : Publicación de StatAxis) Landis, J.R. y Koch, G. G. (1977) "La medición del acuerdo del observador para datos categóricos" en Biometría. Para.. 33, páginas. 159—174 Scott, W. (1955). "Fiabilidad del análisis de contenido: El caso de la codificación de escala nominal." Opinión Pública Trimestral, 17, 321-325. Sim, J. y Wright, C. C. (2005) "La estadística Kappa en estudios de confiabilidad: Usar, Interpretación, y requisitos de tamaño de muestra" en Fisioterapia. Para.. 85, páginas. 257—268 Smeeton, CAROLINA DEL NORTE. (1985) "Historia temprana de la estadística Kappa" en Biometría. Para.. 41, p.795. strijbos, J., Martas, R., impresiones, F., & Jochems, W. (2006). Análisis de contenido: De qué están hablando? Computers & Education, 46, 29-48. Uebersax JS. Diversidad de modelos de toma de decisiones y medición del acuerdo entre evaluadores. Boletín Psicológico, 1987, 101, 140-146. External links Cohen's Kappa Example Kappa Statistics: Pros y contras Esta página utiliza contenido con licencia Creative Commons de Wikipedia (ver autores).

Si quieres conocer otros artículos parecidos a Cohen's kappa puedes visitar la categoría Categorical data.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Subir

we use own and third party cookies to improve user experience More information