Твердження про точність аналізу голосового стресу та поліграфа: що насправді підтверджують наукові дані?

Огляд заявлених показників точності, незалежних досліджень і важливості прозорості технологій для розслідувань.

У галузі технологій для розслідувань точність часто подають як один із найважливіших критеріїв оцінювання систем поліграфа та аналізу голосового стресу.

Виробники та прихильники цих технологій іноді посилаються на точність 90%, 95%, 98% або вище. Такі цифри можуть вражати, особливо правоохоронні органи, військові організації, фахівців розвідки та приватних розслідувачів, які шукають надійні засоби для розслідувань.

Проте важливе запитання заслуговує на значно більшу увагу: Де незалежні, науково підтверджені докази, що обґрунтовують ці твердження про точність?

Якщо точніше, що насправді вимірює заявлений відсоток точності? Чи встановлено його в незалежному дослідженні? Чи опубліковано результати та чи пройшли вони наукову перевірку? І чи обґрунтовано застосовувати їх до практичних умов використання цих технологій?

Ці запитання не покликані дискредитувати перевірки на поліграфі, аналіз голосового стресу чи будь-якого конкретного виробника. На них має бути готовий відповісти кожен відповідальний постачальник технологій для розслідувань, зокрема VIPRE Technology Group.

Мета проста: відокремити науково задокументовані результати від маркетингових тверджень і сприяти більшій прозорості всієї галузі технологій для розслідувань. У статті розглянуто вибрані опубліковані джерела. Це не вичерпний систематичний огляд і не нове валідаційне дослідження.

1. Різниця між твердженням і науковою валідацією

Коли компанія рекламує точність своєї технології на рівні 95%, може скластися враження, що система правильно виявляє обман у 95 зі 100 перевірок. Проте дослідження, на якому ґрунтується твердження, може вимірювати зовсім інший показник.

Наприклад, опублікований показник точності може відображати:

• Результативність у контрольованих лабораторних умовах.
• Результати конкретної методики перевірки, а не всієї лінійки продуктів.
• Перевірки людей, правдивість чи неправдивість відповідей яких встановлено незалежно.
• Рішення, враховані лише після виключення перевірок із невизначеним результатом.
• Результати спеціально підготовлених або дуже досвідчених фахівців із проведення перевірок.
• Результати обмеженої вибірки, яка може не відображати реальні групи людей, залучених до розслідувань.

Ці відмінності принципові. Технологія, яка добре працює в контрольованому експерименті, не обов'язково продемонструвала такий самий результат у кримінальних розслідуваннях, перевірках персоналу, розвідувальних співбесідах чи інших практичних умовах.

Так само дослідження однієї методики перевірки не може автоматично встановити точність усіх методик певного виробника. Для наукової валідації недостатньо вражаючого відсотка. Потрібні зрозуміла методологія, надійні еталонні критерії, відтворювані результати та належні обмеження висновків.

2. Яких висновків щодо точності поліграфа дійшли Національні академії?

Один із найважливіших наукових аналізів технології поліграфа опублікувала 2003 року Національна дослідницька рада Національних академій США. Поліграф і виявлення брехні розглянув докази валідності й точності поліграфа, приділивши особливу увагу перевіркам у сфері національної безпеки. Для кількісного оцінювання точності комітет використав 57 досліджень.

Висновки були зваженими. Дослідники встановили, що перевірки на поліграфі щодо конкретної події за участю людей, не навчених протидії перевірці, могли розрізняти неправдиві та правдиві відповіді краще за випадкове вгадування. Водночас вони виявили суттєві обмеження досліджень, що лежали в основі оцінки.

Серед застережень були штучність лабораторних експериментів, труднощі незалежного встановлення фактичної істини в польових розслідуваннях, відмінності в процедурах фахівців і можливе завищення реальної точності в опублікованих оцінках результативності.

У звіті наголошено, що результати розслідувань конкретних подій не слід автоматично переносити на широкі програми перевірки персоналу чи безпеки. Перевірка щодо конкретного задокументованого злочину принципово відрізняється від перевірки сотень або тисяч працівників на нерозкриті порушення.

Національні академії не встановили універсального відсотка точності для всіх систем поліграфа, фахівців, форматів перевірки та практичних обставин. Головний висновок полягає в тому, що точність залежить від способу використання технології, вимірювання результативності та відповідності дослідження передбаченим умовам.

3. Що повідомляють дослідження самої галузі поліграфа?

American Polygraph Association, професійна організація фахівців із поліграфа, описує своє метааналітичне дослідження валідованих методик перевірки 2011 року. В опублікованому резюме наведено такі узагальнені результати:

Це історичні дослідницькі оцінки, а не сучасні гарантії для кожного продукту чи перевірки. Довірчі інтервали показують невизначеність оцінок; вони не гарантують, що результати кожного фахівця перебуватимуть у цих межах.

Ці результати важливі, оскільки їх оприлюднила організація, присвячена професійному використанню й розвитку перевірок на поліграфі. Слід зазначати їхнє галузеве походження, так само як спонсорство та організаційні зв'язки інших досліджень.

Результати стосуються конкретних валідованих методик та умов дослідження. Їх не слід тлумачити як універсальні гарантії результативності кожної перевірки в реальних умовах.

Окремої уваги заслуговують наведені частки невизначених результатів. Перевірка з невизначеним результатом не дорівнює правильному рішенню, а виключення таких випадків може суттєво змінити розуміння відсотка точності. Варто запитувати, які випадки входять до знаменника та як враховуються невизначені результати.

Опубліковані узагальнені результати асоціації є корисним орієнтиром для оцінки загальних рекламних тверджень про 98% чи 99%. Якщо рекламується суттєво вища результативність, обґрунтовано вимагати конкретних наукових доказів і перевіряти, чи вимірює дослідження той самий результат.

4. Наукова дискусія триває, і це важливо

Наукова дискусія про валідність поліграфа не завершилася звітом Національних академій.

У публікації 2019 року в Law and Human Behavior, Вільям Ґ. Яконо та Ґершон Бен-Шахар повторно розглянули науковий статус поліграфної методики порівняльних запитань. Їхній огляд дійшов висновку, що суттєві питання щодо наукових основ, якості досліджень і невідомої частоти помилок у реальних умовах залишалися невирішеними.

Інші дослідники дійшли сприятливіших висновків. Зокрема, комплексний метааналіз Чарльза Р. Гонтса, Стівена Тербера та Марка Гендлера, опублікований у томі Applied Cognitive Psychology за 2021 рік, охопив 138 наборів даних щодо методики порівняльних запитань.

Автори дійшли висновку, що ця форма перевірки на поліграфі може надавати корисну діагностичну інформацію, водночас розглянувши обмеження польових досліджень і практичні процедури, які можуть знижувати точність.

Ці дві позиції не дають однакових висновків, а їхні статистичні показники не слід вважати взаємозамінними. Розмір ефекту, індекс точності та відсоток правильних рішень не є автоматично одним і тим самим виміром.

Тривала дискусія ілюструє важливу обставину: тлумачення даних про точність залишається предметом серйозного наукового обговорення. Саме тому широкі твердження про майже ідеальну результативність потребують ретельної перевірки.

5. Що незалежні дослідження говорять про аналіз голосового стресу?

Аналіз голосового стресу також потребує суворої наукової перевірки. На відміну від звичайних поліграфів, які вимірюють кілька фізіологічних сигналів за допомогою датчиків на тілі, системи аналізу голосового стресу оцінюють характеристики записаного мовлення.

Різні технології аналізу голосу можуть використовувати різні методи обробки сигналів, процедури перевірки та аналітичні підходи. Тому результати щодо одного продукту не встановлюють автоматично результативність усіх інших систем. Додаткові відомості про процес співбесіди наведено в матеріалі VIPRE: огляд аналізу голосового стресу.

Польове дослідження Національного інституту юстиції

У дослідженні, про яке Національний інститут юстиції США повідомив 2008 року, дослідники оцінювали Computer Voice Stress Analyzer (CVSA) і Layered Voice Analysis (LVA). У дослідженні взяли участь 319 нещодавно затриманих чоловіків у в'язниці округу Оклахома, яких запитували про недавнє вживання наркотиків. Їхні відповіді порівнювали з результатами подальших аналізів сечі.

опис дослідження NIJ повідомляє, що програми в середньому виявили приблизно 15% неправдивих відповідей і помилково класифікували як неправдиві приблизно 8.5% правдивих відповідей. Загальну результативність близько 50% описано на основі аналізу, що спільно враховував чутливість і специфічність. Цю цифру не слід подавати як просту частку правильних відповідей у всіх співбесідах.

Ці результати не підтвердили тверджень про високу точність виявлення обману для перевірених продуктів у зазначених умовах. NIJ також зазначає, що оцінювана версія CVSA з'явилася 1997 року, що є важливим обмеженням під час обговорення пізніших продуктів або версій.

Дослідження не оцінювало AISIS або VASIS. Його результати не валідовують системи VIPRE і не доводять їхньої неспроможності. Так само інша конструкція чи новіша версія самі по собі не є доказом вищої точності. Кожне твердження потребує належного дослідницького обґрунтування.

Дослідники також виявили менше неправдивих повідомлень про вживання наркотиків серед учасників, яких опитували за присутності систем, ніж в історичній групі порівняння. Це не було рандомізоване одночасне порівняння, тому різницю не слід вважати остаточним доказом того, що саме прилади спричинили більшу відвертість.

Вплив приладу на співбесіду може відрізнятися від його виміряної здатності класифікувати відповіді. Ця відмінність не перетворює невдалий результат виявлення на доказ діагностичної точності. Відповідальний висновок обмежується фактично дослідженими продуктами, населенням, застосуванням і методами.

Раніші дослідження за державного фінансування

дослідження за фінансування NIJ, опубліковане 2002 року оцінювало системи Vericator і Diogenes Lantern. Воно виявило докази того, що досліджувані пристрої могли розпізнавати стрес за допомогою аналізу голосу, але не встановило здатності виявляти обман.

Важливо, що у звіті зазначено: відсутність даних про стрес, пов'язаний з обманом, не дала змоги перевірити, чи можуть системи відрізняти його від емоційного або фізичного стресу. Неперевірена здатність розрізняти ці стани не є доведеною нездатністю їх розрізняти. Розпізнавання стресу також не є достатнім доказом виявлення обману.

Людина може відчувати стрес із багатьох причин, не пов'язаних із нечесністю: через страх, невизначеність, збентеження, особисті обставини чи серйозність слідчої співбесіди. І навпаки, людина, яка обманює, може не демонструвати певної вимірюваної стресової реакції.

Тому твердження про виявлення стресу та твердження про виявлення обману потрібно оцінювати окремо.

6. Чому заявлена точність 95% може означати не те, що думають покупці

Один відсоток може приховувати дуже різні характеристики результативності. Потрібно разом розглядати кілька показників:

• Чутливість: як часто тест правильно визначає позитивні випадки, наприклад незалежно встановлені неправдиві відповіді в дослідженні обману.
• Специфічність: як часто він правильно визначає негативні випадки, наприклад незалежно встановлені правдиві відповіді.
• Хибнопозитивні результати: негативні випадки, помилково класифіковані як позитивні.
• Хибнонегативні результати: позитивні випадки, помилково класифіковані як негативні.
• Невизначені результати: перевірки, які не дають остаточної класифікації за застосовними правилами прийняття рішень.

Тест може виявляти більшість людей, які обманюють, але водночас помилково класифікувати значну кількість правдивих людей. Або він може правильно класифікувати більшість правдивих людей, пропускаючи багатьох із тих, хто обманює. Один рекламований відсоток може приховувати ці відмінності.

Проблема базової частоти

Розгляньмо гіпотетичну програму перевірки 10,000 працівників, лише 10 із яких вчинили конкретне порушення, що розслідується. Коли порушення трапляються рідко, навіть нібито вражаючі характеристики тесту можуть спричиняти багато хибних тривог.

приклад перевірки Національних академій використовує гіпотетичний індекс точності 0.90. Цей індекс не означає, що 90% усіх окремих рішень правильні. За одного ілюстративного порога прийняття рішень тест виявляє вісім із десяти позитивних випадків, але помилково позначає 1,598 із 9,990 негативних випадків.

Це математична ілюстрація, а не звіт про реальні практичні результати чи оцінка помилок конкретного сучасного продукту. Зміна порога прийняття рішень змінює співвідношення пропущених випадків і хибних тривог.

Практичну цінність перевірки неможливо визначити лише за рекламованим відсотком. Відомства повинні розуміти наслідки помилок, поширеність досліджуваної поведінки та спосіб підтвердження висновків. Позначений результат не повинен автоматично перетворюватися на звинувачення в порушенні.

7. Допомога розслідуванню не є доказом обману

Система перевірки може допомагати розслідувачу, не вважаючись остаточним доказом правдивості чи неправдивості слів людини.

Слідчі співбесіди передбачають оцінювання показань, виявлення суперечностей, уточнення хронології, аналіз підтвердних доказів і визначення питань, які потребують додаткової уваги. Технологія може надавати інформацію для цього процесу. Проте валідність будь-якої заявленої здатності виявляти обман усе одно потрібно встановлювати належними дослідженнями.

Потенційну користь системи як допоміжного засобу розслідування не слід плутати з незалежним доказом певної точності виявлення обману. Так само зізнання чи зачіпка, отримані під час перевірки, самі по собі не доводять, що технологія точно виявила обман.

Співбесіда може дати корисну інформацію завдяки ефективним запитанням, представленню доказів або власному рішенню людини розкрити відомості. Щоб приписати цей результат вимірювальній здатності технології, потрібен дизайн дослідження, який дозволяє перевірити саме такий зв'язок.

Практична користь для розслідування та науково валідована діагностична точність пов'язані, але не взаємозамінні. Це розрізнення захищає розслідувачів, осіб, яких перевіряють, і довіру до процесу розслідування.

8. Чи змінює штучний інтелект вимоги до доказів?

Штучний інтелект дедалі частіше застосовують у технологіях аналізу мовлення, поведінки та інших вимірюваних характеристик. Системи ШІ можуть обробляти складні набори даних, знаходити закономірності та сприяти послідовному оцінюванню. Ці можливості можуть підтримувати нові підходи до аналізу в розслідуваннях.

Однак застосування ШІ не встановлює автоматично наукової валідності та не підвищує автоматично точність виявлення обману. Систему з підтримкою ШІ також потрібно оцінювати за належними еталонними критеріями.

Серед важливих питань: чи використовували для перевірки незалежні дані, чи належно розділили навчальні та тестові групи, чи поширюється результативність на нові групи та чи відображають наведені результати реальні умови. Потрібно вказувати версію програмного забезпечення та правила прийняття рішень, щоб читачі знали, що саме оцінювали.

Різниця між виявленням голосового стресу та виявленням обману залишається актуальною як для традиційної обробки сигналів, так і для новіших підходів із підтримкою ШІ. ШІ має посилювати вимогу змістовної валідації, а не замінювати її.

9. Що відомствам слід вимагати від виробників?

Перш ніж приймати рекламне твердження про точність, потенційний замовник повинен мати змогу отримати чіткі відповіді на такі запитання:

1. Який саме продукт і яку версію оцінювали? Дослідження попередньої системи чи іншої методики може не підтверджувати валідність продукту, який продається зараз.
2. Хто проводив і фінансував дослідження? Дослідження за фінансування виробника може бути корисним, але спонсорство слід розкривати, а незалежне відтворення результатів додає впевненості.
3. Чи опубліковано дослідження та чи пройшло воно незалежне рецензування? Рецензування не гарантує правильності, але створює можливість зовнішньої наукової перевірки.
4. Як незалежно встановлювали правдивість або обман? Достовірне дослідження точності потребує надійного еталонного критерію, а не лише збігу з іншою неперевіреною класифікацією.
5. Чи розкрито помилки та невизначені результати? Запитуйте хибнопозитивні й хибнонегативні результати, частки невизначених результатів, оцінки невизначеності та знаменники, використані для обчислення відсотків.
6. Чи були учасники та умови репрезентативними? Лабораторні умови можуть не відтворювати тиск, наслідки та складність передбаченого застосування.
7. Чи можуть кваліфіковані дослідники відтворити результати? Відтворювані результати дають міцніше обґрунтування, ніж поодинокі твердження.
8. Чи підтверджує дослідження рекламований відсоток? Висновки не повинні виходити за межі того, що обґрунтовано дозволяють дизайн, результати та обмеження дослідження.

Розроблений VIPRE контрольний список оцінювання для відомств охоплює ширші практичні питання, зокрема підготовку, документацію та відповідність умовам застосування. Ці питання доповнюють, а не замінюють перевірку числового твердження про точність.

10. Позиція VIPRE: довіра починається з прозорості

VIPRE Technology Group розробляє AISIS, платформу аналізу для розслідувань із підтримкою ШІ, та технологію аналізу голосового стресу VASIS. Обидві призначені для допомоги підготовленим фахівцям із розслідувань в оцінюванні індикаторів стресу та визначенні відповідей, що можуть потребувати додаткової перевірки.

Галузь загалом давно стикається з питаннями валідації, тверджень про результативність і належного тлумачення. Вони заслуговують на серйозний розгляд. Їх не слід відкидати лише тому, що вони ставлять під сумнів усталені практики чи комерційні повідомлення.

Однакові стандарти мають застосовуватися до систем поліграфа, звичайних продуктів аналізу голосового стресу та нових технологій із підтримкою ШІ, включно із системами самої VIPRE. Наукові результати щодо однієї технології не слід поширювати на інші продукти без належних доказів.

Ця стаття не представляє нового незалежного валідаційного дослідження, прямого порівняння продуктів або оцінки точності конкретно для AISIS чи VASIS. Жодне з узагальнених тут досліджень не слід вважати незалежною валідацією цих систем.

Відомства, які оцінюють VIPRE, повинні вимагати докази саме для розглядуваної функції та версії, відрізняти незалежні дослідження від матеріалів за підтримки компанії й практичного досвіду та з'ясовувати, що не встановлено незалежно. Досвід, підготовка й технічне пояснення не замінюють валідаційного дослідження.

VIPRE не пропонує вважати свою чи будь-яку конкурентну технологію безпомилковою. Результати потрібно розглядати разом із професійним судженням, належними процедурами та підтвердними доказами. Відомства можуть запросити у VIPRE інформацію щодо конкретного продукту не сприймаючи цей освітній огляд як гарантію результативності.

11. Підвищення стандартів для всієї галузі

Фахівці з розслідувань ухвалюють рішення, що стосуються громадської та національної безпеки, кримінальних розслідувань, доброчесності персоналу й репутації людей. Така відповідальність вимагає точного опису технології, прозорого вимірювання результативності та стриманого представлення висновків.

Це не означає, що технології не мають цінності, якщо не працюють ідеально. Мало які інструменти розслідування є досконалими. Це означає, що користувачі повинні відрізняти доведені можливості від припущень, маркетингових оцінок і необґрунтованих узагальнень.

Виробники мають вітати обґрунтовані запитання. Дослідники повинні продовжувати вивчати ефективність та обмеження. Відомствам слід оцінювати якість доказів, а не покладатися лише на вражаючі числові твердження.

Головний висновок

Наукова література не дає підстав вважати будь-який один рекламований відсоток точності універсальним показником результативності поліграфа чи аналізу голосового стресу. Результати залежать від методів, умов, груп учасників, процедур тлумачення та показника, який вимірюють.

Одні дослідження повідомляють про змістовні результати за визначених умов. Інші виявляють серйозні обмеження або дані, що не підтверджують певних тверджень. На увагу заслуговують обидва види результатів.

Коли технологію рекламують як точну на 95%, 98% чи 99%, належна реакція полягає не в автоматичному прийнятті чи відхиленні. Потрібно вимагати розгляду доказів: хто проводив дослідження, що перевіряли, як визначали точність і чи підтверджують результати заявлене твердження.

Майбутнє технологій для розслідувань має спиратися на достовірні докази, а не лише на вражаючі відсотки.