Всеки ден изпращаме милиарди съобщения, снимки и файлове. Сред тях автоматичните системи вече могат да търсят спам, измами, опасни файлове или друго съдържание, което отговаря на определени критерии.
На пръв поглед задачата изглежда проста: системата открива подозрителното и оставя останалото на мира.
Но откъде знае кое е подозрително?
Точно тук започва интересната част.
При някои файлове задачата може да бъде сравнително ясна. Системата може например да изчисли техен цифров отпечатък — хеш — и да го сравни с база от вече известни файлове.
Тя не трябва да „разбира“ снимката по начина, по който я разбира човек. Проверява дали цифровият ѝ отпечатък съвпада с нещо, което вече познава.
Но какво става с нещо, което никога преди не е виждала?
Тогава вече може да се наложи анализ на самото съдържание.
При снимка алгоритъм може да търси определени визуални характеристики. При текст може да анализира думи, изречения, отношения между тях и контекста на разговора. При по-сложни системи могат да се използват модели за машинно обучение, които определят вероятността дадено съдържание да принадлежи към определена категория.
И тук възниква проблемът.
„Ще те убия
“ между двама приятели може да бъде шега.
Същите думи в друг разговор могат да бъдат истинска заплаха.
Дума сама по себе си не е достатъчна.
Емотиконът не е достатъчен.
Понякога дори едно отделно съобщение не е достатъчно.
За да разбере контекста по-добре, една система може да има нужда от повече информация около него.
А колкото повече контекст анализира, толкова по-голям става въпросът за поверителността.
Има и още един проблем: грешките.
Автоматичните системи работят с вероятности. Те могат да пропуснат нещо действително опасно. Но могат и да маркират напълно невинно съдържание като подозрително.
Това се нарича false positive — фалшив положителен резултат.
При един потребител подобна грешка може да изглежда маловажна.
При стотици милиони потребители дори много малък процент грешки може да означава огромен брой неправилно маркирани съобщения.
Следва и въпросът за криптирането.
При истинско end-to-end encryption съдържанието се криптира на устройството на изпращача и се разшифрова на устройството на получателя. Сървърът, който го пренася, не би трябвало да разполага със съдържанието в четим вид.
Но автоматичният анализ може технически да бъде поставен и преди криптирането — върху самото устройство.
Тогава криптирането между двете устройства може да остане непокътнато, но съдържанието вече е било анализирано, преди да бъде изпратено.
Това създава любопитен парадокс.
Можем да имаме математически отлично криптирана връзка и едновременно с това система, която проверява съдържанието преди криптирането.
Затова въпросът „Криптирани ли са съобщенията?“ вече не е достатъчен.
Трябва да питаме и:
Къде се извършва анализът?
Какво точно анализира системата?
Остава ли резултатът само на устройството?
Какво се случва, когато нещо бъде маркирано?
И може би най-интересният въпрос:
Ако една автоматична система трябва да открие едно подозрително съобщение сред милиони нормални, може ли да го направи, без първо по някакъв начин да провери нормалните?
Новината не е, че алгоритмите могат да търсят подозрително съдържание.
Правилният въпрос е ,трябва ли да видят целия трафик за да го намерят?
На пръв поглед задачата изглежда проста: системата открива подозрителното и оставя останалото на мира.
Но откъде знае кое е подозрително?
Точно тук започва интересната част.
При някои файлове задачата може да бъде сравнително ясна. Системата може например да изчисли техен цифров отпечатък — хеш — и да го сравни с база от вече известни файлове.
Тя не трябва да „разбира“ снимката по начина, по който я разбира човек. Проверява дали цифровият ѝ отпечатък съвпада с нещо, което вече познава.
Но какво става с нещо, което никога преди не е виждала?
Тогава вече може да се наложи анализ на самото съдържание.
При снимка алгоритъм може да търси определени визуални характеристики. При текст може да анализира думи, изречения, отношения между тях и контекста на разговора. При по-сложни системи могат да се използват модели за машинно обучение, които определят вероятността дадено съдържание да принадлежи към определена категория.
И тук възниква проблемът.
„Ще те убия
“ между двама приятели може да бъде шега.Същите думи в друг разговор могат да бъдат истинска заплаха.
Дума сама по себе си не е достатъчна.
Емотиконът не е достатъчен.
Понякога дори едно отделно съобщение не е достатъчно.
За да разбере контекста по-добре, една система може да има нужда от повече информация около него.
А колкото повече контекст анализира, толкова по-голям става въпросът за поверителността.
Има и още един проблем: грешките.
Автоматичните системи работят с вероятности. Те могат да пропуснат нещо действително опасно. Но могат и да маркират напълно невинно съдържание като подозрително.
Това се нарича false positive — фалшив положителен резултат.
При един потребител подобна грешка може да изглежда маловажна.
При стотици милиони потребители дори много малък процент грешки може да означава огромен брой неправилно маркирани съобщения.
Следва и въпросът за криптирането.
При истинско end-to-end encryption съдържанието се криптира на устройството на изпращача и се разшифрова на устройството на получателя. Сървърът, който го пренася, не би трябвало да разполага със съдържанието в четим вид.
Но автоматичният анализ може технически да бъде поставен и преди криптирането — върху самото устройство.
Тогава криптирането между двете устройства може да остане непокътнато, но съдържанието вече е било анализирано, преди да бъде изпратено.
Това създава любопитен парадокс.
Можем да имаме математически отлично криптирана връзка и едновременно с това система, която проверява съдържанието преди криптирането.
Затова въпросът „Криптирани ли са съобщенията?“ вече не е достатъчен.
Трябва да питаме и:
Къде се извършва анализът?
Какво точно анализира системата?
Остава ли резултатът само на устройството?
Какво се случва, когато нещо бъде маркирано?
И може би най-интересният въпрос:
Ако една автоматична система трябва да открие едно подозрително съобщение сред милиони нормални, може ли да го направи, без първо по някакъв начин да провери нормалните?
Новината не е, че алгоритмите могат да търсят подозрително съдържание.
Правилният въпрос е ,трябва ли да видят целия трафик за да го намерят?