Точність VSA і поліграфа: докази та обмеження

Чи можна порівняти точність VSA та поліграфа одним відсотковим показником?

Відповідальне порівняння неможливе без з'ясування того, що вимірювало кожне дослідження. Лабораторне завдання на виявлення обману, перевірка щодо конкретної події та широкий скринінг є різними застосуваннями. Порівняння гучних відсоткових показників із різних умов може створити хибне враження прямого змагання.

Для підготовлених фахівців із розслідувань, відомств і спеціалістів, які проводять перевірки, корисне запитання є вужчим: як саме ця система та процедура перевірки спрацювали порівняно з незалежно встановленою істиною за обставин, подібних до запланованого застосування?

Що насправді перевіряло польове дослідження NIJ з аналізу голосового стресу

Національний інститут юстиції США (NIJ) у 2008 році опублікував підсумок польового оцінювання Computer Voice Stress Analyzer (CVSA) та Layered Voice Analysis (LVA). Дослідники опитали понад 300 затриманих про нещодавнє вживання наркотиків і зіставили їхні відповіді з результатами аналізів сечі на наркотики.

NIJ повідомив про приблизно 50% загальної точності виявлення обману в цих умовах. У підсумку також зазначено, що програми виявили 15% респондентів, які обманювали, та помилково віднесли до них 8,5% тих, хто говорив правду. Це різні показники, а не взаємозамінні оцінки точності.

Ці результати є суттєвими негативними доказами щодо оцінених програм і завдання. Їх не слід ані відкидати через давність, ані подавати як безпосереднє випробування ефективності кожного продукту для аналізу голосового стресу. AISIS і VASIS не були системами, які оцінювали в цьому дослідженні. Їхня відсутність не доводить, що вони працюють краще.

Що підтверджують докази щодо поліграфа

Огляд Національної дослідницької ради США 2003 року дійшов висновку, що поліграфні перевірки щодо конкретних подій можуть розрізняти обман краще за випадкове вгадування, але далеко не безпомилково. Він також виявив серйозні обмеження застосування наявних доказів до перевірок персоналу з міркувань безпеки.

Це розмежування важливе. Результат для однієї методики перевірки або групи учасників не є універсальним показником точності поліграфа. Так само сприятливий результат щодо поліграфа не підтверджує валідність аналізу голосового стресу, а несприятливий результат щодо голосового стресу не доводить надійності кожного застосування поліграфа.

Вивчайте помилки, а не лише гучні показники

Корисне оцінювання чітко визначає знаменник і правила ухвалення рішень. З'ясуйте, як вимірювали та подавали такі показники:

Високий відсоток серед перевірок із визначеним результатом не означає, що такий самий відсоток усіх перевірок дав правильне рішення. Результати також потребують оцінок невизначеності, прозорого формування вибірки та достатньої деталізації для незалежної перевірки.

• Чутливість: частка випадків обману, правильно визначених як обман.
• Специфічність: частка правдивих випадків, правильно визначених як правдиві.
• Хибнопозитивні та хибнонегативні результати: правдиві випадки, визначені як обман, і випадки обману, визначені як правдиві.
• Невизначені результати: як часто рішення не було ухвалено та чи виключали такі перевірки з рекламованого показника точності.
• Еталонна істина та базова частота: як істину встановлювали незалежно та наскільки поширеним був обман у досліджуваній групі.

Виявлення стресу не є доказом обману

Стресова реакція та брехня не є взаємозамінними поняттями. Людина, яка говорить правду, може хвилюватися, а людина, яка обманює, може не проявляти характерної реакції. Виявлення фізіологічної або голосової зміни саме по собі не встановлює причини цієї зміни.

Для обох методів користь для розслідування, отримані зізнання, узгодженість оцінок фахівців і перевірена точність виявлення обману є окремими результатами. Кожен потребує доказів, відповідних твердженню. Результат перевірки має допомагати розслідуванню з підтвердженням іншими доказами, а не замінювати його.

Той самий стандарт доказів застосовується до AISIS і VASIS

VIPRE Technology Group публікує цю довідку та постачає AISIS, свою платформу з підтримкою штучного інтелекту, і VASIS, свою систему аналізу голосового стресу під керівництвом фахівця. Ця сторінка не є незалежним підтвердженням валідності жодного з продуктів.

Інша архітектура, підтримка штучного інтелекту, професійний досвід або новіша версія не доводять вищої точності виявлення обману. Відомствам, які оцінюють AISIS, VASIS або будь-яку конкуруючу систему, слід запитувати незалежні дослідження конкретного продукту, що охоплюють відповідну версію, протокол, групу учасників, частоту помилок та обмеження.

• Установіть точне обладнання, версію програмного забезпечення, метод оцінювання та процедуру роботи фахівця, які випробовували.
• Запитуйте незалежно встановлену еталонну істину, сліпе оцінювання там, де це можливо, та розкриття фінансування і конфліктів інтересів.
• Відокремлюйте результати контрольованих досліджень від тверджень про роботу в реальних умовах і з'ясовуйте, чи були результати незалежно відтворені.

Додаткове читання від Роберта Мартіна

Для докладнішого розгляду тверджень про точність, якості досліджень і прозорого підтвердження валідності прочитайте статтю Роберта Мартіна. Ця довідка містить стислий порівняльний огляд, а стаття розвиває ширшу аргументацію.