Afirmaciones de precisión del análisis de estrés vocal y del polígrafo: ¿qué respalda realmente la evidencia científica?

Un examen de las tasas de precisión anunciadas, la investigación independiente y la importancia de la transparencia en la tecnología de investigación.

En el sector de la tecnología de investigación, la precisión suele presentarse como uno de los factores más importantes al evaluar sistemas de polígrafo y de análisis de estrés vocal.

Los fabricantes y defensores de estas tecnologías a veces citan tasas de precisión del 90%, 95%, 98% o superiores. Estas cifras pueden resultar impresionantes, especialmente para organismos policiales, organizaciones militares, profesionales de inteligencia e investigadores privados que buscan recursos de investigación fiables.

Pero una pregunta importante merece mucha más atención: ¿Dónde está la evidencia independiente y científicamente validada que respalda estas afirmaciones de precisión?

Más concretamente, ¿qué mide realmente el porcentaje de precisión anunciado? ¿Se estableció mediante investigación independiente? ¿Se publicaron los hallazgos y se sometieron al escrutinio científico? ¿Es razonable aplicar los resultados a los entornos operativos en los que se utilizan estas tecnologías?

Estas preguntas no pretenden desacreditar los exámenes de polígrafo, el análisis de estrés vocal ni a ningún fabricante en particular. Son preguntas que todo proveedor responsable de tecnología de investigación, incluido VIPRE Technology Group, debería estar preparado para responder.

El objetivo es sencillo: distinguir el rendimiento documentado científicamente de las afirmaciones publicitarias y fomentar una mayor transparencia en todo el sector de la tecnología de investigación. Este artículo examina una selección de fuentes publicadas. No es una revisión sistemática exhaustiva ni un nuevo estudio de validación.

1. Entender la diferencia entre una afirmación y la validación científica

Cuando una empresa anuncia que su tecnología tiene una precisión del 95%, puede dar la impresión de que el sistema identifica correctamente el engaño en 95 de cada 100 exámenes. Sin embargo, la investigación subyacente puede estar midiendo algo muy diferente.

Por ejemplo, una cifra de precisión publicada podría reflejar:

• El rendimiento en condiciones controladas de laboratorio.
• Los resultados de una técnica de examen específica, no de toda una línea de productos.
• Exámenes de personas cuya veracidad o engaño se conoce de forma independiente.
• Decisiones calculadas después de excluir los exámenes no concluyentes.
• El rendimiento de examinadores con formación especializada o amplia experiencia.
• Los resultados de una muestra limitada que podría no representar a las poblaciones reales objeto de investigación.

Estas distinciones son fundamentales. Una tecnología que funciona bien en un experimento controlado no ha demostrado necesariamente el mismo rendimiento en investigaciones penales, evaluaciones de personal, entrevistas de inteligencia u otros entornos operativos.

Del mismo modo, un estudio de una técnica de examen no puede establecer automáticamente la precisión de todas las técnicas utilizadas por un fabricante. La validación científica requiere más que un porcentaje impresionante. Requiere una metodología comprensible, criterios de referencia fiables, hallazgos reproducibles y límites adecuados para las conclusiones.

2. ¿Qué concluyeron las Academias Nacionales sobre la precisión del polígrafo?

Uno de los análisis científicos más importantes de la tecnología del polígrafo fue publicado en 2003 por el Consejo Nacional de Investigación de las Academias Nacionales. El polígrafo y la detección de mentiras examinó la evidencia sobre la validez y precisión del polígrafo, con especial atención a las evaluaciones de seguridad nacional. El comité utilizó 57 estudios en su evaluación cuantitativa de la precisión.

Sus conclusiones fueron matizadas. Los investigadores encontraron que los exámenes de polígrafo sobre incidentes específicos, realizados a personas no entrenadas en contramedidas, podían distinguir entre personas que mentían y personas veraces con un rendimiento superior al azar. Sin embargo, también identificaron limitaciones importantes en la investigación subyacente.

Entre las preocupaciones figuraban el carácter artificial de los experimentos de laboratorio, las dificultades para establecer de forma independiente los hechos reales en investigaciones de campo, las diferencias en los procedimientos de los examinadores y la posibilidad de que las estimaciones publicadas sobrestimaran la precisión en situaciones reales.

El informe destacó que los hallazgos de investigaciones sobre incidentes específicos no deben extrapolarse automáticamente a programas amplios de evaluación de personal o seguridad. Un examen sobre un incidente delictivo concreto y documentado plantea una situación de investigación fundamentalmente distinta de evaluar a cientos o miles de empleados para detectar conductas indebidas no reveladas.

Las Academias Nacionales no establecieron un porcentaje universal de precisión aplicable a todos los sistemas de polígrafo, examinadores, formatos de examen y circunstancias operativas. La lección principal es que la precisión depende del uso de la tecnología, de cómo se mide su rendimiento y de si la investigación representa las condiciones previstas.

3. ¿Qué informa la investigación del propio sector del polígrafo?

La American Polygraph Association, organización profesional que representa a especialistas en polígrafo, describe su revisión metaanalítica de 2011 de técnicas de examen validadas. Su resumen publicado presenta los siguientes resultados agregados:

Son estimaciones históricas de investigación, no garantías actuales para cada producto o examen. Los intervalos de confianza expresan la incertidumbre de las estimaciones; no garantizan que el rendimiento de cada examinador se sitúe dentro de esos límites.

Estos hallazgos son relevantes porque proceden de una organización dedicada al uso profesional y al desarrollo de los exámenes de polígrafo. Debe declararse su origen sectorial, al igual que deben declararse el patrocinio y las afiliaciones de otras investigaciones.

Los resultados corresponden a técnicas validadas y condiciones de investigación específicas. No deben interpretarse como garantías universales de rendimiento para todos los exámenes realizados en condiciones operativas.

Además, las tasas de resultados no concluyentes requieren atención. Un examen no concluyente no equivale a una determinación correcta, y excluir esos resultados puede cambiar sustancialmente la interpretación del porcentaje de precisión. Conviene preguntar qué casos se incluyen en el denominador y cómo se tratan los resultados no concluyentes.

Los resultados agregados publicados por la asociación ofrecen una referencia útil para evaluar afirmaciones publicitarias generales cercanas al 98% o 99%. Si se anuncia un rendimiento considerablemente superior, es razonable solicitar la evidencia científica específica que lo respalda y comprobar si el estudio mide el mismo resultado.

4. El debate científico continúa, y eso importa

El debate científico sobre la validez del polígrafo no terminó con el informe de las Academias Nacionales.

En una publicación de 2019 en Law and Human Behavior, William G. Iacono y Gershon Ben-Shakhar reexaminaron el fundamento científico de la técnica del polígrafo con preguntas de comparación. Su revisión concluyó que seguían sin resolverse importantes dudas sobre sus fundamentos científicos, la calidad de la investigación y las tasas de error desconocidas en condiciones reales.

Otros investigadores han llegado a conclusiones más favorables. Un metaanálisis exhaustivo de Charles R. Honts, Steven Thurber y Mark Handler, publicado en el volumen de 2021 de Applied Cognitive Psychology, examinó 138 conjuntos de datos sobre la técnica de preguntas de comparación.

Los autores concluyeron que esta modalidad de examen de polígrafo puede aportar información diagnóstica útil, aunque también analizaron limitaciones de la investigación de campo y prácticas operativas que pueden reducir la precisión.

Ambas perspectivas no llegan a conclusiones idénticas y sus medidas estadísticas no deben considerarse intercambiables. Un tamaño del efecto, un índice de precisión y un porcentaje de decisiones correctas no son automáticamente la misma medida.

La continuidad del debate ilustra un punto importante: la interpretación de los hallazgos sobre precisión sigue siendo objeto de un debate científico serio. Precisamente por eso, las afirmaciones generales de rendimiento casi perfecto requieren un examen cuidadoso.

5. ¿Qué dice la investigación independiente sobre el análisis de estrés vocal?

El análisis de estrés vocal también requiere un examen científico riguroso. A diferencia de los sistemas convencionales de polígrafo, que miden varias señales fisiológicas mediante sensores colocados en la persona, los sistemas de análisis de estrés vocal evalúan características del habla grabada.

Las distintas tecnologías de análisis de voz pueden emplear métodos diferentes de procesamiento de señales, procedimientos de examen y enfoques analíticos. Por tanto, los hallazgos sobre un producto no establecen automáticamente el rendimiento de todos los demás. Para conocer el proceso de entrevista, también puede consultarse la descripción general del análisis de estrés vocal de VIPRE.

Un estudio de campo del National Institute of Justice

En una investigación divulgada por el National Institute of Justice en 2008, los investigadores evaluaron Computer Voice Stress Analyzer (CVSA) y Layered Voice Analysis (LVA). El estudio incluyó a 319 hombres recientemente detenidos en la cárcel del condado de Oklahoma, a quienes se preguntó por el consumo reciente de drogas. Sus declaraciones se compararon con los resultados de análisis de orina posteriores.

El informe del NIJ sobre el estudio indica que los programas identificaron, en promedio, aproximadamente el 15% de las respuestas engañosas y clasificaron incorrectamente como engañosas aproximadamente el 8.5% de las respuestas veraces. Describe un rendimiento global de aproximadamente el 50% mediante un análisis que consideró conjuntamente la sensibilidad y la especificidad. Esa cifra no debe reinterpretarse como un simple recuento de respuestas correctas en todas las entrevistas.

Esos resultados no respaldaron las afirmaciones de alta precisión en la detección del engaño para los productos y condiciones evaluados. El NIJ también señala que la versión de CVSA evaluada se introdujo en 1997, una limitación importante al hablar de productos o versiones posteriores.

El estudio no evaluó AISIS ni VASIS. Sus hallazgos no validan los sistemas de VIPRE ni demuestran que fallen. Asimismo, un diseño diferente o una versión más reciente no demuestra por sí solo una precisión superior. Cada afirmación requiere investigación adecuada que la respalde.

Los investigadores también observaron menos declaraciones falsas sobre el consumo de drogas entre los participantes entrevistados con los sistemas presentes que en un grupo de comparación histórico. No se trató de una comparación aleatorizada y simultánea, por lo que la diferencia no debe considerarse una prueba definitiva de que los instrumentos provocaran una mayor sinceridad.

La influencia de un instrumento en una entrevista puede ser distinta de su capacidad medida para clasificar respuestas. Esa distinción no convierte un resultado de detección insatisfactorio en prueba de precisión diagnóstica. Una conclusión responsable se limita a los productos, la población, la aplicación y los métodos que realmente se examinaron.

Investigación anterior financiada por el gobierno

Una investigación financiada por el NIJ y publicada en 2002 evaluó los sistemas Vericator y Diogenes Lantern. Encontró evidencia de que las unidades evaluadas podían reconocer el estrés mediante el análisis de voz, pero no estableció su capacidad para detectar el engaño.

Es importante destacar que el informe indica que la falta de datos sobre estrés asociado al engaño impidió comprobar si los sistemas podían distinguirlo del estrés emocional o físico. Una distinción no evaluada no equivale a una incapacidad demostrada para hacerla. Tampoco reconocer el estrés constituye prueba suficiente de detección del engaño.

Una persona puede experimentar estrés por numerosas razones ajenas a la deshonestidad, como el miedo, la incertidumbre, la vergüenza, sus circunstancias personales o la seriedad de una entrevista de investigación. A la inversa, una persona que miente podría no mostrar una respuesta de estrés concreta y medible.

Por tanto, las afirmaciones sobre identificación del estrés y sobre detección del engaño deben evaluarse por separado.

6. Por qué una precisión anunciada del 95% puede no significar lo que cree el comprador

Un solo porcentaje puede ocultar tipos de rendimiento muy diferentes. Es necesario considerar conjuntamente varias medidas:

• Sensibilidad: con qué frecuencia una prueba identifica correctamente los casos positivos, como respuestas engañosas establecidas de forma independiente en un estudio sobre el engaño.
• Especificidad: con qué frecuencia identifica correctamente los casos negativos, como respuestas veraces establecidas de forma independiente.
• Falsos positivos: casos negativos clasificados incorrectamente como positivos.
• Falsos negativos: casos positivos clasificados incorrectamente como negativos.
• Resultados no concluyentes: exámenes que no producen una clasificación definitiva conforme a las reglas de decisión aplicables.

Una prueba podría identificar a la mayoría de las personas que mienten y, al mismo tiempo, clasificar incorrectamente a un número considerable de personas veraces. También podría clasificar correctamente a la mayoría de las personas veraces sin identificar a muchas de las que mienten. Un único porcentaje anunciado puede ocultar estas diferencias.

El problema de las tasas base

Consideremos un programa hipotético de evaluación de 10,000 empleados, de los cuales solo 10 han cometido la conducta indebida específica que se investiga. Cuando esa conducta es poco frecuente, incluso una prueba con características aparentemente impresionantes puede producir numerosas falsas alarmas.

El ejemplo de evaluación de las Academias Nacionales utiliza un índice hipotético de precisión de 0.90. Ese índice no equivale a afirmar que el 90% de todas las decisiones individuales sean correctas. Con un umbral de decisión ilustrativo, la prueba identifica ocho de los diez casos positivos, pero señala incorrectamente 1,598 de los 9,990 casos negativos.

Es una ilustración matemática, no un informe de resultados operativos reales ni una estimación de error para un producto actual concreto. Modificar el umbral de decisión cambia el equilibrio entre los casos no detectados y las falsas alarmas.

El valor práctico de un examen no puede determinarse solo mediante un porcentaje anunciado. Los organismos deben comprender las consecuencias de los errores, la prevalencia de la conducta investigada y cómo se corroborarán los hallazgos. Un resultado señalado no debe convertirse automáticamente en una acusación de conducta indebida.

7. La ayuda a la investigación no constituye prueba de engaño

Un sistema de examen puede ayudar al investigador sin considerarse una prueba definitiva de que una persona dice la verdad o miente.

Las entrevistas de investigación implican evaluar declaraciones, identificar incoherencias, aclarar cronologías, valorar la evidencia de apoyo y determinar qué preguntas requieren más atención. La tecnología puede aportar información a ese proceso. Sin embargo, la validez de cualquier capacidad de detección anunciada debe establecerse mediante investigación adecuada.

La posible utilidad de un sistema como apoyo a la investigación no debe confundirse con una prueba independiente de una tasa concreta de precisión en la detección del engaño. Asimismo, una admisión o pista obtenida durante un examen no demuestra por sí sola que la tecnología detectara el engaño correctamente.

Una entrevista puede producir información útil gracias a preguntas eficaces, a la presentación de evidencia o a la decisión de la persona de revelar información. Para atribuir ese resultado a una capacidad de medición se necesita un diseño de investigación que permita comprobar esa atribución.

La utilidad para la investigación y la precisión diagnóstica validada científicamente son aspectos relacionados, pero no intercambiables. Esta distinción protege a los investigadores, a las personas examinadas y a la credibilidad del proceso de investigación.

8. ¿Cambia la inteligencia artificial el nivel de evidencia exigible?

La inteligencia artificial se incorpora cada vez más a tecnologías que analizan el habla, la conducta y otras características medibles. Los sistemas de IA pueden procesar conjuntos de datos complejos, identificar patrones y favorecer evaluaciones consistentes. Estas capacidades pueden respaldar nuevos enfoques de análisis para la investigación.

Sin embargo, incorporar IA no establece automáticamente la validez científica ni mejora la precisión de la detección del engaño. Un sistema asistido por IA también debe evaluarse frente a criterios de referencia adecuados.

Entre las preguntas importantes figuran si se utilizaron datos independientes, si las poblaciones de entrenamiento y de prueba estuvieron debidamente separadas, si el rendimiento se generaliza a nuevas poblaciones y si los hallazgos reflejan condiciones realistas. Deben identificarse la versión del software y sus reglas de decisión para que el lector sepa qué se evaluó realmente.

La distinción entre identificar estrés vocal e identificar engaño sigue siendo pertinente, tanto con procesamiento tradicional de señales como con métodos más recientes asistidos por IA. La IA debe reforzar la exigencia de una validación significativa, no sustituirla.

9. ¿Qué deben solicitar los organismos a los fabricantes?

Antes de aceptar una afirmación publicitaria de precisión, el posible cliente debe poder obtener respuestas claras a estas preguntas:

1. ¿Qué producto y versión específicos se evaluaron? La investigación sobre un sistema anterior o una técnica distinta podría no validar el producto que se comercializa actualmente.
2. ¿Quién realizó y financió la investigación? La investigación financiada por un fabricante puede ser útil, pero debe declararse el patrocinio; la replicación independiente aporta confianza adicional.
3. ¿Se publicó el estudio y se sometió a revisión independiente? La revisión por pares no garantiza la corrección, pero permite el escrutinio externo.
4. ¿Cómo se establecieron de forma independiente la veracidad o el engaño? Un estudio de precisión creíble necesita un criterio de referencia fiable, no solo la coincidencia con otra clasificación no verificada.
5. ¿Se declararon los errores y los resultados no concluyentes? Solicite los falsos positivos, falsos negativos, tasas de resultados no concluyentes, estimaciones de incertidumbre y denominadores utilizados para calcular los porcentajes.
6. ¿Eran representativos los participantes y las condiciones? Las condiciones de laboratorio podrían no reproducir las presiones, consecuencias y complejidad del uso previsto.
7. ¿Pueden los investigadores cualificados reproducir los hallazgos? Los resultados reproducibles ofrecen un respaldo más sólido que las afirmaciones aisladas.
8. ¿Respalda el estudio el porcentaje anunciado? Las conclusiones no deben exceder lo que permiten razonablemente el diseño, los resultados y las limitaciones.

La lista de evaluación para organismos de VIPRE aborda cuestiones operativas más amplias, como la formación, la documentación y la adecuación al uso previsto. Esas preguntas complementan, no sustituyen, el examen de una afirmación numérica de precisión.

10. La perspectiva de VIPRE: la credibilidad comienza con la transparencia

VIPRE Technology Group desarrolla AISIS, su plataforma de análisis para la investigación asistida por IA, y la tecnología de análisis de estrés vocal VASIS. Ambas están destinadas a apoyar a profesionales de investigación capacitados en la evaluación de indicadores relacionados con el estrés y la identificación de respuestas que podrían requerir un examen adicional.

El sector en su conjunto lleva tiempo afrontando preguntas sobre la validación, las afirmaciones de rendimiento y la interpretación adecuada. Estas preguntas merecen una consideración seria. No deben descartarse porque cuestionen prácticas establecidas o mensajes comerciales.

Los mismos criterios deben aplicarse a los sistemas de polígrafo, los productos convencionales de análisis de estrés vocal y las tecnologías emergentes asistidas por IA, incluidos los propios sistemas de VIPRE. Los hallazgos científicos sobre una tecnología no deben generalizarse a productos distintos sin evidencia adecuada.

Este artículo no presenta un nuevo estudio independiente de validación, una comparación directa entre productos ni una estimación de precisión específica de AISIS o VASIS. Ninguno de los estudios aquí resumidos debe considerarse una validación independiente de esos sistemas.

Los organismos que evalúen VIPRE deben solicitar la evidencia que respalda la capacidad y versión exactas consideradas, distinguir la investigación independiente del material financiado por la empresa y de la experiencia operativa, e identificar qué aspectos no se han establecido de forma independiente. La experiencia, la formación y una explicación técnica no sustituyen a un estudio de validación.

VIPRE no sugiere que su tecnología, ni ninguna tecnología competidora, deba aceptarse como infalible. Los hallazgos deben considerarse junto con el criterio profesional, los procedimientos adecuados y la evidencia corroborante. Los organismos pueden solicitar a VIPRE información específica de sus productos sin interpretar esta exposición educativa como una garantía de rendimiento.

11. Elevar los estándares de todo el sector

Los profesionales de investigación toman decisiones que afectan a la seguridad pública, la seguridad nacional, las investigaciones penales, la integridad del personal y la reputación de las personas. Esas responsabilidades exigen precisión al describir la tecnología, transparencia al medir su rendimiento y prudencia al presentar los hallazgos.

Esto no significa que las tecnologías carezcan de valor si no alcanzan un rendimiento perfecto. Pocas herramientas de investigación son perfectas. Significa que los usuarios deben poder distinguir las capacidades demostradas de las suposiciones, las estimaciones publicitarias y las generalizaciones sin respaldo.

Los fabricantes deben aceptar de buen grado las preguntas legítimas. Los investigadores deben seguir estudiando la eficacia y las limitaciones. Los organismos deben evaluar la calidad de la evidencia de apoyo en lugar de confiar exclusivamente en cifras impresionantes.

La conclusión principal

La literatura científica no justifica considerar un único porcentaje de precisión anunciado como medida universal del rendimiento del polígrafo o del análisis de estrés vocal. Los resultados varían según los métodos, condiciones, poblaciones, procedimientos de interpretación y el resultado medido.

Algunos estudios informan de un rendimiento relevante en condiciones definidas. Otros identifican limitaciones importantes o hallazgos que no respaldan determinadas afirmaciones. Ambos merecen consideración.

Cuando se anuncia una tecnología con una precisión del 95%, 98% o 99%, la respuesta adecuada no es aceptarla ni rechazarla automáticamente. Es solicitar un examen de la evidencia: quién realizó la investigación, qué se evaluó, cómo se definió la precisión y si los hallazgos respaldan la afirmación.

El futuro de la tecnología de investigación debe construirse sobre evidencia creíble, no simplemente sobre porcentajes impresionantes.