Лесли Матис знает, что слова её дочери были неправильными, но она не ожидала, что 13-летнюю девочку за них арестуют.
Подросток написала оскорбительную шутку, общаясь онлайн со своими одноклассниками, что активировало школьное программное обеспечение для наблюдения.
До конца утра восьмиклассница из Теннесси уже была под арестом. Её допросили, провели личный досмотр и оставили на ночь в камере, говорит её мать.
Ранее в тот же день друзья подшучивали над девушкой из-за её загорелой кожи и называли её «мексиканкой», хотя она не мексиканка. Когда подруга спросила, что она планирует на четверг, она написала: «В четверг мы убьём всех мексиканцев».
Матис сказала, что комментарии были «неправильными» и «глупыми», но контекст показал, что они не были угрозой.
«Это заставило меня задуматься: такая ли это Америка, в которой мы живём? — сказала Матис о задержании дочери. — И всё это из-за глупой технологии, которая просто собирает случайные слова и не смотрит на контекст».
Системы наблюдения в американских школах всё чаще отслеживают всё, что ученики пишут в школьных аккаунтах и на устройствах.
Тысячи школьных округов по всей стране используют программное обеспечение, такое как Gaggle и Lightspeed Alert, для отслеживания активности детей в интернете, чтобы выявить признаки того, что они могут причинить вред себе или другим. С помощью искусственного интеллекта технологии могут вникнуть в онлайн-разговоры и немедленно уведомить как школьных чиновников, так и правоохранительные органы.
Педагоги говорят, что технология спасла жизни. Но критики предупреждают, что она может криминализовать детей за неосторожные слова.
«Это упростило доступ правоохранительных органов к жизни учеников, в том числе в их домах», — сказала Элизабет Лэрд, директор Центра демократии и технологий.
В стране, уставшей от школьных перестрелок, несколько штатов ужесточили линию в отношении угроз школам. Среди них — Теннесси, который в 2023 году принял закон о нулевой терпимости, требующий немедленного сообщения о любой угрозе массового насилия в отношении школы в правоохранительные органы.
13-летнюю девочку, арестованную в августе 2023 года, ловили на переписке с друзьями в чате, привязанном к её школьной электронной почте в средней школе Фэйрвью, которая использует Gaggle для мониторинга учётных записей учеников. (Ассошиэйтед Пресс не называет имя девушки, чтобы защитить её конфиденциальность. Школьный округ не ответил на запрос о комментарии.)
Взятую под стражу девушку допросили и обыскали, а её родителям не разрешили поговорить с ней до следующего дня, согласно иску, который они подали против школьной системы. Она не понимала, почему её родителей нет рядом.
«Она сказала мне после: „Я думала, ты меня ненавидишь“. Это преследует тебя», — сказала Матис, мать девушки.
Суд назначил девочке восемь недель домашнего ареста, психологическую экспертизу и 20 дней в альтернативной школе.
Генеральный директор Gaggle Джефф Паттерсон сказал в интервью, что школьная система использовала Gaggle не так, как предполагалось. Цель — находить ранние предупреждающие признаки и вмешиваться до того, как проблемы дойдут до правоохранительных органов, сказал он.
«Я бы хотел, чтобы это рассматривалось как момент для обучения, а не как момент для правоохранительных органов», — сказал Паттерсон.
Студенты, которые думают, что они общаются в частном порядке среди друзей, часто не осознают, что за ними ведётся постоянное наблюдение, — говорит Шахар Паш, юрист в области образования во Флориде.
Одна девушка-подросток, которую она представляла, пошутила о школьных перестрелках в частной истории Snapchat. Автоматизированное программное обеспечение Snapchat обнаружило комментарий, компания предупредила ФБР, и девушку арестовали на территории школы в течение нескольких часов.
Алекса Манганьотис, 16 лет, сказала, что была поражена тем, как быстро работает программа мониторинга. Школа искусств Дрейфуса в Уэст-Палм-Бич в прошлом году внедрила программу наблюдения Lightspeed Alert.
Интервьюируя учителя для школьной газеты, Алекса обнаружила, что двое учеников однажды напечатали что-то угрожающее об этом учителе на школьном компьютере, а затем удалили это. Lightspeed зафиксировал это, и «их увели через пять минут», — сказала Алекса.
Подростки сталкиваются с более серьёзными последствиями, чем взрослые, за то, что пишут в интернете, сказала Алекса.
«Если взрослый напишет на своём компьютере суперрасистскую шутку, которая угрожает, он может удалить её, и его не арестуют», — сказала она.
Эми Беннетт, руководитель аппарата Lightspeed Systems, сказала, что программное обеспечение помогает школам с нехваткой персонала «действовать на опережение, а не применять карательные меры», выявляя ранние предупреждающие признаки издевательств, членовредительства, насилия или жестокого обращения.
Технология также может вовлекать правоохранительные органы в реагирование на кризисные ситуации, связанные с психическим здоровьем. В округе Полк, штат Флорида, программа безопасности школ получила почти 500 предупреждений от Gaggle за четыре года, сообщили офицеры на публичных заседаниях Совета по образованию. Это привело к 72 случаям принудительной госпитализации в соответствии с Законом Бейкера, который позволяет властям требовать психиатрической экспертизы людей против их воли, если они представляют опасность для себя или других.
«Действительно большое количество детей, которые пережили принудительное обследование, вспоминают это как травмирующий и разрушительный опыт, а не как помощь в лечении психических заболеваний», — сказал Сэм Бойд, адвокат из Центра борьбы с южной бедностью.
Информация, которая позволила бы школам оценить эффективность программного обеспечения, например, уровень ложных предупреждений, строго охраняется технологическими компаниями и недоступна публично, если школы сами не отслеживают эти данные.
Gaggle предупредил более чем о 1200 инцидентах школьный округ Лоуренса, штат Канзас, за последний 10-месячный период. Но почти две трети из этих предупреждений были признаны школьными чиновниками несущественными, включая более 200 ложных тревог из-за домашних заданий учеников, согласно анализу Ассошиэйтед Пресс данных, полученных через запрос о предоставлении публичных документов.
Учащиеся одного из фотографических классов были вызваны в кабинет директора из-за того, что Gaggle обнаружил в их работах элементы, похожие на обнажённую натуру. Фотографии были автоматически удалены из учётных записей Google учеников, но у тех, кто сделал резервные копии помеченных изображений на своих устройствах, оказалось, что это была ложная тревога.
Наташа Торкзабан, которая окончила школу в 2024 году, сказала, что её пометили за редактирование эссе подруги, потому что в нём были слова «психическое здоровье».
«Я думаю, что в идеале мы не стали бы применять новое и блестящее решение с помощью ИИ к глубоко укоренившейся проблеме психического здоровья подростков и уровню самоубийств в Америке, но мы сейчас именно там», — сказала Торкзабан.
Школьные чиновники заявили, что серьёзно относятся к опасениям по поводу Gaggle, но также говорят, что технология обнаружила десятки неминуемых угроз самоубийства или насилия.
«Иногда приходится искать компромисс ради общего блага», — сказала член Совета по образованию Энн Костелло на заседании Совета в июле 2024 года.
Через два года после пережитых испытаний Матис сказала, что её дочь чувствует себя лучше, хотя она всё ещё «в ужасе» от встречи с одним из школьных офицеров, который её арестовал. Одним из светлых моментов, по её словам, стало сострадание учителей в альтернативной школе дочери. Они каждый день уделяли время тому, чтобы дети могли поделиться своими чувствами и разочарованиями без осуждения.
«Мы как будто хотим, чтобы дети были маленькими солдатами, а они не такие, — сказала Матис. — Они просто люди».