Дослідження NIJ голосовий стрес: що означає результат 50%

Огляд дослідницьких доказів

Ці джерела розглядають різні питання. Сама дата публікації не визначає актуальність: важливі система, учасники, завдання та результат. Стаття NIJ Journal 2008 року узагальнює звіт 2007 року, а не описує окремий польовий експеримент.

Прочитайте знахідку та її масштаб

Національний інститут юстиції повідомив про тверезий результат польового випробування аналіз голосового стресу. Дві програми, CVSA та LVA, показали погані результати при виявленні оманливих відповідей щодо нещодавнього вживання наркотиків серед заарештованих. До цього висновку слід поставитися серйозно, оцінюючи обладнання голосовий стрес.

Дослідження не оцінювало кожну систему голосовий стрес і не тестувало VASIS або AISIS від VIPRE. Ця різниця обмежує претензію щодо цих конкретних продуктів у будь-якому напрямку. Висновок NIJ безпосередньо не вимірює їх і не підтверджує їх.

Що сталося під час польового тесту?

Дослідники опитали 319 нещодавно заарештованих чоловіків у в'язниці округу Оклахома щодо нещодавнього вживання кількох наркотиків. Аналіз сечі забезпечив зовнішню перевірку відповідей. Дослідники зібрали результати голосовий стрес від CVSA та LVA та порівняли їх із цією перевіркою.

NIJ повідомляє, що формати тестів були схвалені офіційними особами обох компаній і що дані були інтерпретовані дослідниками та сертифікованою компанією експерти.

Що означають цифри

Серед питань про наркотики програми визначили в середньому 15 відсотків оманливих відповідей як оманливі. Програми частіше класифікували правдиві відповіді як правдиві. Система може здатися обнадійливою на одній цифрі, але все одно пропустити більшість оманливих відповідей.

Приблизний 50-відсотковий результат NIJ підсумовує спільну здатність програм розділяти дві категорії в цій ситуації. Це не було твердженням, що кожна окрема відповідь мала 50-відсотковий шанс бути правильною.

Що встановлює дослідження, а що ні

Дослідження є доказом щодо досліджуваних систем, версій, популяції, питань і процедури. Він ідентифікує CVSA та LVA, а не VASIS чи AISIS. Проте те, що пристрій не досліджувався, не відповідає на наступне запитання: які незалежні докази конкретного продукту підтверджують його ефективність?

Агенції повинні вимагати ці докази, включно з пропущеними оманливими відповідями та помилковими тривогами, перш ніж покладатися на будь-які претензії щодо точності.

Практичне читання для дослідників

Розглядайте індикацію голосовий стрес як спонуку до розслідування, а не як вирок. Запишіть запитання та контекст, розгляньте звичайні джерела стресу та самостійно перевірте відповідні факти. Не покладайтеся на відсоток постачальника без чіткого методу та вивчення пропонованого продукту.

Відокремлюйте документацію продукту від підтвердження валідності

AISIS забезпечує аналіз голосового стресу за допомогою ШІ лише з мікрофоном і перегляд аудіо. AISIS-K додає запис камерою та відтворення відео для кінесичного аналізу. VASIS забезпечує аналіз голосового стресу під керівництвом експерта. Ці описи визначають можливості продуктів; вони не є незалежними висновками щодо класифікації стресу або виявлення обману.

Перш ніж покладатися на твердження про результативність, запросіть повний звіт і перевірте призначення, склад учасників, незалежний еталон, засліплене оцінювання, хибні спрацювання, пропущені випадки та невизначені результати. Позначка ШІ, демонстрація, сертифікація чи приклад практичного застосування не встановлюють точності.

• Документація продукту: що система записує, відображає, зберігає та експортує
• Практичний досвід: як підготовлені екзаменатори використовують робочий процес, із належним дозволом і контекстом
• Внутрішнє оцінювання: хто його проводив, фінансування, метод, вибірка та розкриття всіх результатів
• Незалежне підтвердження валідності: перевірка точного продукту та версії за визначеним зовнішнім еталоном

Першоджерела

Ознайомтеся з підсумковим звітом NIJ, його коротким викладом у журналі та оглядом національних академій, щоб дізнатися про контекст джерела, що стоїть за цим посібником.