Precisión del VSA frente al polígrafo: evidencia y limitaciones

¿Puede compararse la precisión del VSA y el polígrafo con un solo porcentaje?

No de forma responsable sin examinar qué midió cada estudio. Una tarea de engaño en laboratorio, un examen sobre un incidente específico y una evaluación general de detección son aplicaciones diferentes. Comparar porcentajes destacados de contextos distintos puede dar una impresión engañosa de una comparación directa.

Para profesionales de investigación capacitados, agencias y examinadores, la pregunta útil es más concreta: ¿cómo se comportaron este sistema y este procedimiento de examen frente a una verdad establecida de forma independiente, en circunstancias comparables a las del uso previsto?

Qué evaluó realmente el estudio de campo del NIJ sobre estrés de la voz

El Instituto Nacional de Justicia de Estados Unidos (NIJ) publicó en 2008 un resumen de una evaluación de campo de Computer Voice Stress Analyzer (CVSA) y Layered Voice Analysis (LVA). Los investigadores preguntaron a más de 300 detenidos sobre consumo reciente de drogas y compararon sus respuestas con pruebas de drogas en orina.

El NIJ informó de una precisión global de detección del engaño de aproximadamente el 50% en ese contexto. El resumen también indicó que los programas identificaron al 15% de quienes mintieron y clasificaron incorrectamente como mentirosos al 8,5% de quienes dijeron la verdad. Son medidas distintas, no cifras de precisión intercambiables.

Los resultados constituyen evidencia negativa sustancial sobre los programas y la tarea evaluados. No deben descartarse por su antigüedad ni presentarse como una prueba directa del rendimiento de todos los productos de análisis del estrés de la voz. AISIS y VASIS no fueron los sistemas evaluados en ese estudio. Su ausencia no demuestra que tengan un rendimiento superior.

Qué respalda la evidencia sobre el polígrafo

La revisión de 2003 del Consejo Nacional de Investigación de Estados Unidos concluyó que los exámenes poligráficos sobre incidentes específicos podían distinguir el engaño por encima del azar, pero muy por debajo de la perfección. También identificó importantes limitaciones al aplicar la evidencia disponible a las evaluaciones de seguridad del personal.

Esa distinción importa. Un resultado obtenido con una técnica de examen o una población de estudio no es una tasa universal de precisión del polígrafo. Tampoco un resultado favorable para el polígrafo valida el análisis del estrés de la voz, ni un resultado desfavorable sobre estrés de la voz demuestra que todas las aplicaciones del polígrafo sean fiables.

Examine los errores, no solo la cifra destacada

Una evaluación útil especifica su denominador y sus reglas de decisión. Pregunte cómo se midieron y comunicaron los siguientes aspectos:

Un porcentaje elevado entre los exámenes concluyentes no significa que ese mismo porcentaje del total de exámenes haya producido una decisión correcta. Los resultados también requieren estimaciones de incertidumbre, un muestreo transparente y suficiente detalle para permitir un examen independiente.

• Sensibilidad: proporción de casos de engaño identificados correctamente como tales.
• Especificidad: proporción de casos veraces identificados correctamente como tales.
• Falsos positivos y falsos negativos: casos veraces clasificados como engañosos y casos de engaño clasificados como veraces.
• Resultados no concluyentes: con qué frecuencia no se llegó a una decisión y si esos exámenes se excluyeron de la cifra de precisión anunciada.
• Verdad de referencia y tasas base: cómo se estableció la verdad de forma independiente y qué frecuencia tenía el engaño en la población evaluada.

Identificar estrés no prueba el engaño

Una respuesta de estrés y una mentira no son equivalentes. Una persona que dice la verdad puede sentir ansiedad y una persona que miente puede no mostrar una respuesta distintiva. Detectar un cambio fisiológico o vocal no establece, por sí solo, por qué ocurrió.

En ambos métodos, la utilidad investigativa, las admisiones obtenidas, la concordancia entre examinadores y la precisión verificada de detección del engaño son resultados distintos. Cada uno necesita evidencia adecuada a la afirmación. El resultado de un examen debe orientar una investigación corroborativa, no sustituirla.

El mismo estándar de evidencia se aplica a AISIS y VASIS

VIPRE Technology Group publica esta referencia y suministra AISIS, su plataforma asistida por inteligencia artificial, y VASIS, su sistema de análisis del estrés de la voz dirigido por el examinador. Esta página no constituye una validación independiente de ninguno de los dos productos.

Una arquitectura diferente, la asistencia de inteligencia artificial, la experiencia profesional o una versión más reciente no demuestran una tasa superior de precisión de detección del engaño. Las agencias que evalúen AISIS, VASIS o cualquier sistema competidor deberían solicitar investigación independiente y específica del producto que abarque la versión, el protocolo, la población, las tasas de error y las limitaciones pertinentes.

• Identifique el equipo exacto, la versión del software, el método de puntuación y el procedimiento del examinador que se evaluaron.
• Solicite una verdad de referencia establecida de forma independiente, evaluación ciega cuando sea viable y divulgación de la financiación y los conflictos de interés.
• Distinga el rendimiento en estudios controlados de las afirmaciones operativas y pregunte si los resultados se han replicado de forma independiente.

Lectura complementaria de Robert Martin

Para un análisis más amplio de las afirmaciones sobre precisión, la calidad de la investigación y la validación transparente, lea el artículo de Robert Martin. Esta referencia ofrece una comparación concisa; el artículo desarrolla el argumento más amplio.