Europa fortezza digitale #3: sorveglianza distopica

L’intelligenza artificiale e gli algoritmi sono al centro del nuovo regime di controllo della mobilità dell'UE. Decisioni automatizzate ad alto rischio vengono prese su vite umane. Si tratta di un mercato emergente da molti miliardi, non regolamentato e con applicazioni "intelligenti" distopiche. Che ha in Grecia il suo laboratorio a cielo aperto

(Vai alla prima e alla seconda puntata di questa serie dedicata ad "Europa fortezza digitale")

Alla Alla fine di giugno 2020, Robert Williams, un afro-americano residente a Detroit, è stato arrestato all'ingresso di casa sua davanti alle due giovani figlie. Nessuno sapeva dirgli perché. Alla stazione di polizia, è stato informato che era sospettato di una rapina nel 2018 in un negozio, poiché il suo volto era stato identificato dai filmati di sorveglianza del negozio. L'identificazione era basata su una vecchia foto della patente di guida. Dopo trenta ore di detenzione, Robert Williams è stato infine rilasciato. La cinica confessione dei poliziotti di Detroit è stata disarmante: "Probabilmente il computer ha commesso un errore".

Un incidente simile si è verificato nel giugno 2019 a Michael Oliver, anche lui un afro-americano residente a Detroit, che è stato arrestato dopo la presunta identificazione del suo volto su un video di una telecamera di sicurezza. È stato portato a processo, dove alla fine è stato assolto tre mesi dopo il suo arresto.

Allo stesso modo, in uno studio di prova del software Rekognition di Amazon, il programma ha erroneamente identificato 28 membri del Congresso americano (!) come persone che erano state precedentemente arrestate per un crimine. Le identificazioni errate hanno coinvolto soprattutto neri e latini. Ma non è da dare per scontato che questo accada solo negli Stati Uniti.

Come discusso nelle due parti precedenti della ricerca del MIIR su "Europe's Digital Fortress Walls", l'UE, come parte di una nuova architettura di sorveglianza delle frontiere e controllo della mobilità, ha introdotto negli ultimi anni una serie di sistemi per registrare e monitorare i cittadini che si muovono nello spazio europeo. L'UE sta utilizzando diversi meccanismi di finanziamento per la ricerca e lo sviluppo, con una crescente enfasi sulle tecnologie di intelligenza artificiale (AI), che possono anche utilizzare dati biometrici. Tra il 2007 e il 2013 (ma con progetti in corso fino al 2020) il più importante di questi è stato il Settimo programma quadro (FP7), seguito da Horizon 2020. Questi due programmi hanno finanziato progetti di sicurezza dell'UE per più di 1,3 miliardi di euro. Per l'attuale periodo 2021-2027, Horizon Europe ha un budget totale di 95,5 miliardi di euro, con una particolare attenzione ai temi della "sicurezza". Tecnologie come il processo decisionale automatizzato, la biometria, le telecamere termiche e i droni controllano sempre più le migrazioni e riguardano milioni di persone in movimento. La gestione delle frontiere è diventata un business redditizio da molti miliardi di euro nell'UE e in altre parti del mondo. Secondo un'analisi di TNI (Border War Series), la crescita annuale del mercato della sicurezza delle frontiere si attesterebbe in questo periodo tra il 7,2% e l'8,6% annuo e dovrebbe raggiungere un totale di 65-68 miliardi di dollari entro il 2025.

La maggiore espansione è nei mercati globali dei dati biometrici e dell'intelligenza artificiale (AI). Lo stesso mercato della biometria dovrebbe raddoppiare il suo fatturato da 33 miliardi di dollari nel 2019 a 65,3 miliardi di dollari entro il 2024. Una parte significativa del finanziamento è diretta al rafforzamento delle capacità di EU-LISA (Agenzia europea per la gestione operativa dei sistemi informatici su larga scala nello spazio di libertà, sicurezza e giustizia) che dovrebbe svolgere un ruolo chiave nella gestione dell'interoperabilità delle banche dati per la mobilità e il controllo della sicurezza. Le attività di questo supercomputer sono finanziate da:

· una sovvenzione dal bilancio generale dell'UE;

· un contributo degli Stati membri relativo al funzionamento dell'area Schengen e alle misure relative a Eurodac;

· contributi finanziari diretti degli stati membri;

Chris Jones, direttore esecutivo dell'organizzazione no-profit Statewatch, ha seguito per diversi anni la scia di denaro che parte da Bruxelles. Spiega che "i progetti di ricerca dell'Unione Europea sono di solito gestiti da consorzi di aziende private, enti pubblici e università. Le aziende private ricevono le somme più grandi, più degli enti pubblici". Un recente studio di Statewatch (Funds for Fortress Europe: spending by Frontex and EU-LISA, gennaio 2022) evidenzia che circa 1,5 miliardi di euro sono stati indirizzati a contraenti privati per lo sviluppo e il rafforzamento di EU-LISA  nel periodo 2014-2020, con il maggiore aumento che si è verificato dopo il 2017 e il picco della crisi dei rifugiati.

L'oligopolio della sorveglianza

Uno dei più importanti contratti firmati nel 2020, del valore di 300 milioni di euro, è stato tra le società francesi Idemia e Sopra Steria per la realizzazione di un nuovo sistema di corrispondenza biometrica (BMS). Queste aziende vincono spesso nuovi contratti perché hanno accordi per la manutenzione dei sistemi EES, EURODAC, SIS II e VIS. Altre aziende che si sono aggiudicate contratti di alto valore per lavori legati a EU-LISA sono Atos, IBM e Leonardo - per 140 milioni di euro - e il consorzio Atos, Accenture e Morpho (poi Idemia) che nel 2016 ha firmato un contratto da 194 milioni di euro. I dati raccolti da Statewatch mostrano anche la cooperazione - di solito attraverso joint venture - nell'espansione del sistema EU-LISA con aziende di interesse greco, come Unisystems SA  (di proprietà del gruppo Quest dell'ex presidente dell'Associazione degli industriali greci Th. Fessa), che ha firmato un contratto da 45 milioni di euro nel 2019. Allo stesso modo, European Dynamics SA  (di proprietà di Konstantinos Velentzas) ha partecipato a un contratto da 187 milioni di euro assegnato nel 2020, e la lussemburghese Intrasoft International SA (precedentemente di proprietà degli interessi di Kokkalis) partecipa con altre cinque società  a un progetto da 187 milioni di euro nel 2020.

Il rapporto dell'EU-LISA con l'industria è illustrato anche dalla frequente organizzazione di eventi congiunti, come la "tavola rotonda con l'industria" che si terrà il 16 giugno 2022 a Strasburgo . Questo sarà il 15° incontro consecutivo di questo tipo e riunirà organismi dell'UE, rappresentanti dei sistemi di gestione della mobilità e privati. "Ci sono trattative estese, lunghe e molto segrete tra gli stati membri e gli eurodeputati ogni volta che vogliono cambiare qualcosa nelle banche dati. Ma non sappiamo quale sia la reale influenza delle aziende che gestiscono questi sistemi, se assistono in ciò che è tecnicamente fattibile e come tutto questo interagisca con il processo politico", dice Chris Jones di Statewatch. Anche il contenuto dei contratti firmati tra i consorzi e EU-LISA rimane sconosciuto, poiché non viene pubblicato.

La nuova frontiera dell'IA e le pressioni sull'UE

Nell'aprile 2021, la Commissione europea ha pubblicato la sua tanto attesa proposta di regolamentazione sull'intelligenza artificiale (AI ACT). Il processo di consultazione dovrebbe richiedere del tempo. Questo importante atto legislativo supera le 200 pagine e implicherà - tra le altre cose - un perfezionamento della legislazione sulla protezione dei dati (direttiva 680/2016). Si prevede che ci sarà una notevole pressione esercitata dalle aziende e dagli operatori del settore fino a quando il progetto di legge sarà presentato nella sua forma definitiva al Parlamento europeo. 

Il MIIR ha indagato sui registri degli incontri ufficiali su questioni di AI e politica digitale tra il presidente della Commissione europea Ursula von der Leyen, il commissario Margrethe Vestager ("Un'Europa adatta all'era digitale"), il commissario Thierry Breton (mercato interno) e i loro staff tra dicembre 2019 e marzo 2022. Emerge che almeno 14 agenzie, colossi del settore privato e consorzi di aziende legate al settore della sicurezza e della difesa si sono incontrati con i rappresentanti chiave della Commissione europea 71 volte in 28 mesi per discutere di questioni relative alla politica digitale e all'IA. La maggior parte degli incontri con i commissari sono stati tenuti da DIGITALEUROPE, un'organizzazione che rappresenta 78 membri aziendali, tra cui importanti società di difesa e sicurezza come Accenture, Airbus e Atos. Sono stati identificati anche altri consorzi che fanno molta pressione, come la European Round Table for Industries (ERT) che rappresenta una serie di aziende di difesa e sicurezza come Leonardo, Rolls-Royce e Airbus.

Sistemi ad alto rischio

La proposta di regolamento europeo (COM/2021/206 finale ) adottata nell'aprile 2021, fornisce una buona panoramica dei sistemi e delle applicazioni di IA che si prevede di regolamentare, e i rischi del loro funzionamento non regolamentato nei punti di ingresso dell'Europa. Come dichiarato: "[...] è opportuno classificare come ad alto rischio i sistemi di IA destinati ad essere utilizzati dalle autorità pubbliche competenti incaricate di compiti nei settori della gestione dell'immigrazione, dell'asilo e del controllo delle frontiere come poligrafi e strumenti simili o per rilevare lo stato emotivo di una persona; per valutare alcuni rischi presentati dalle persone fisiche che entrano nel territorio di uno Stato membro o che chiedono un visto; per valutare alcuni rischi presentati dalle persone fisiche che entrano nel territorio di uno Stato membro o che chiedono un visto; per valutare il rischio dei dati personali di una persona [...]"

Il parametro critico

L'ambito del campo in cui possono essere applicati i sistemi di IA "ad alto rischio" sembra ampio. Nonostante le speranze che una nuova direttiva regoli il loro funzionamento, c'è un parametro che potrebbe eliminare questa possibilità. Come rivelato in una presentazione interna della revisione interna della Commissione europea che ha avuto luogo a maggio ed è stata portata alla luce da Statewatch, il nuovo regolamento, se approvato, entrerà in vigore 24 mesi dopo la sua firma e non si applicherà a tutti i sistemi, in quanto non è previsto che sia retroattivo per quelli sul mercato prima della data effettiva. 

"È come se stesse chiaramente dicendo, 'sì, dovremmo controllare l'uso dell'intelligenza artificiale e dell'apprendimento automatico in modo responsabile. Ma non lo faremo per i sistemi che stiamo già costruendo perché... abbiamo altre idee per loro...", commenta Chris Jones.  La questione è affrontata anche nella dichiarazione congiunta  rilasciata sotto l'egida della rete EDRI per i diritti digitali a novembre da 114 organizzazioni della società civile, sottolineando che "nessuna ragionevole giustificazione per questa esenzione dal regolamento AI è inclusa nel disegno di legge". Nella comunicazione, chiedono al Consiglio d'Europa, al Parlamento europeo e ai governi degli stati membri di includere nel disegno di legge finale delle garanzie di responsabilità che garantiscano un quadro sicuro per l'attuazione dei sistemi di IA e, soprattutto, la protezione dei diritti fondamentali dei cittadini europei.

Cani robot in azione: Algoritmi e progetti di ricerca da incubo

"C'è un grande sforzo da parte delle istituzioni dell'UE e degli stati membri per aumentare il numero delle deportazioni. L'UE ha versato soldi e risorse a questi database per dire essenzialmente 'vogliamo contribuire a rimuovere queste persone dal suolo europeo'", sottolinea Chris Jones di Statewatch. In effetti, l'automazione e l'uso di strumenti algoritmici spinti dall'industria stanno già giocando un ruolo importante ai punti d'ingresso dell'Europa, sollevando molte domande sulla salvaguardia dei diritti dei rifugiati e dei migranti. Non è solo la profilazione che preoccupa chi critica questi progetti dell'UE, ma anche la qualità dei dati su cui si basa questo processo. "Sembra una 'scatola nera', dove non sappiamo esattamente cosa c'è dentro", dice la specialista di diritto dei rifugiati e antropologa Petra Molnar, che si concentra sul rischio dell'automazione senza un fattore umano nel processo decisionale quando ha un impatto determinante sulle vite umane.

Alcuni dei principali sistemi pilota finanziati negli ultimi anni sono i seguenti: iBorderCtrl - rilevatori di bugie "intelligenti": combina la corrispondenza facciale e gli strumenti di autenticazione dei documenti con le tecnologie AI. Si tratta di una "macchina della verità", testata in Ungheria, Grecia e Lettonia, e ha coinvolto l'uso di una "guardia di frontiera virtuale", personalizzata per il sesso, la nazionalità e la lingua del viaggiatore - una guardia che fa domande tramite una fotocamera digitale. Il progetto è stato finanziato con 4,5 milioni di euro dal programma Horizon 2020 dell'Unione europea, ed è stato pesantemente criticato come pericoloso e pseudo-scientifico ("Sorveglianza fantascientifica: Europe's secretive push into biometric technology", The Guardian, 10 dicembre 2020; "We Tested Europe's New Lie Detector for Travelers - and Immediate Triggered a False Positive", The Intercept, 26 luglio 2019). 

È stato testato in condizioni simulate all'inizio di luglio 2019 nei locali di TRAINOSE in un'area appositamente progettata del Centro Studi sulla Sicurezza di Atene. Prima della partenza l'ipotetico viaggiatore doveva caricare una foto di un documento d'identità o di un passaporto su un'applicazione speciale. Ai viaggiatori veniva poi chiesto di rispondere alle domande poste dalla guardia di frontiera virtuale. Un software speciale ha registrato le loro parole e i loro movimenti facciali, che avrebbero potuto sfuggire all'attenzione di un occhio ordinario, e alla fine il software ha calcolato - presumibilmente - il grado di sincerità del viaggiatore.

Roborder (uno sciame autonomo di robot eterogenei per la sorveglianza dei confini): questo progetto mira a sviluppare un sistema autonomo di sorveglianza delle frontiere usando robot senza equipaggio tra cui veicoli aerei, marittimi, sottomarini e terrestri. L'intera piattaforma robotica integra sensori multimodali in un'unica rete interoperabile. Dal 28 giugno al 1° luglio 2021, si è svolto in Grecia il test pilota finale del progetto, a cui partecipa il ministero greco della difesa nazionale. 

Foldout: il progetto di ricerca Foldout da 8,1 milioni di euro non nasconde i suoi obiettivi. "Negli ultimi anni la migrazione irregolare è aumentata drammaticamente e non è più gestibile con i sistemi esistenti". L'idea principale del progetto, sperimentato in Bulgaria e in fase di implementazione in Finlandia, Grecia e Guinea francese, è quella di posizionare dei sensori di movimento nei tratti di confine dove il terreno o la vegetazione rendono difficile individuare un attraversamento irregolare. Con qualsiasi movimento sospetto, umano o di veicolo, ci sarà la possibilità di inviare un drone in quel punto o attivare telecamere a terra per un ulteriore monitoraggio. Il consorzio che lo sviluppa è coordinato dall'Istituto austriaco di Tecnologia (che ha ricevuto 25 milioni di euro da 37 progetti europei). 

Tra le organizzazioni che fanno pressione per questi progetti a livello europeo, abbiamo individuato EARTO, un consorzio di centri di ricerca e beneficiari di progetti in vari campi, compresa la sicurezza. Tra questi, KEMEA in Grecia, la Fraunhofer-Gesellschaft (140 progetti di ricerca finanziati dall'UE, tra cui Roborder) e l'Istituto austriaco di tecnologia (Foldout).

Molti dei progetti di ricerca di Horizon 2020 (Roborder, iBorderCtrl, Foldout, Trespass, ecc.) sono stati descritti dai loro stessi promotori come ancora "immaturi" per un uso diffuso. Tuttavia, il cambiamento generale nell'approccio dell'Unione europea all'uso dell'IA per il controllo della mobilità e la prevenzione del crimine può essere visto nel finanziamento sempre crescente del Fondo europeo per la sicurezza. Uno di questi progetti è la fornitura di migliaia di dispositivi mobili da parte della polizia greca  che permetterà ai cittadini di essere identificati utilizzando il riconoscimento facciale e il software di impronte digitali. Il costo totale del progetto, intrapreso da Intracom Telecom, supera i 4 milioni di euro e il 75% proviene dal Fondo europeo per la sicurezza.

L'"esperimento" di Samos

"Le frontiere e l'immigrazione sono il laboratorio perfetto per gli esperimenti. Condizioni opache, ad alto rischio e con bassi livelli di responsabilità. Le frontiere stanno diventando il terreno di prova perfetto per le nuove tecnologie che possono poi essere usate più estesamente su diverse comunità e popolazioni. Questo è esattamente quello che si vede in Grecia, giusto? ", si chiede retoricamente l'avvocato Petra Molnar. La risposta è affermativa, sia per il nord che per il sud del paese. 

Sull'isola di Samos, al confine sud-est della Grecia con la Turchia, nel nuovo campo per migranti che il governo greco vi ha allestito, si stanno mettendo in funzione due sistemi pilota chiamati YPERION e KENTYROS. 

YPERION è un sistema di gestione dell'asilo per tutte le necessità del Servizio di Accoglienza e Identificazione. Tratta i dati biometrici e biografici dei richiedenti asilo, così come dei membri delle ONG che visitano le relative strutture e degli operatori in queste strutture. Si prevede che sarà lo strumento principale per il funzionamento dei Centri di Accoglienza Chiusi (CRC) in quanto sarà responsabile del controllo degli accessi, del monitoraggio dei benefici per richiedente asilo utilizzando una carta individuale (cibo, forniture di abbigliamento, ecc.) e dei movimenti tra i CRC, e le strutture di alloggio. Il progetto include la creazione di un'applicazione per telefoni cellulari che fornirà informazioni personalizzate all'utente.

KENTYROS è un sistema digitale per la gestione della sicurezza elettronica e fisica intorno e dentro i locali, utilizzando telecamere e algoritmi di analisi comportamentale AI. Include una gestione centralizzata da parte del ministero della Governance digitale del governo greco e servizi come: segnalazione di allarmi di violazione del perimetro utilizzando telecamere (capaci di termometria, messa a fuoco e rotazione) e algoritmi di analisi del movimento; segnalazione di allarmi di comportamento illegale per individui o gruppi di individui in aree di assemblaggio all'interno della struttura; e uso di sistemi aerei senza equipaggio per valutare gli incidenti all'interno della struttura senza intervento umano.

"KENTYROS utilizza telecamere che hanno una grande capacità di mettere a fuoco individui specifici, telecamere che possono anche misurare la temperatura di qualcuno. La cosa più rilevante non è che KENTYROS utilizzi questi dati per motivi di sicurezza, è che verranno utilizzati anche algoritmi di analisi comportamentale, senza spiegare esattamente cosa questo significhi", dice l'avvocato e membro di Homo Digitalis, Kostas Kakavoulis. Come sottolinea, "un algoritmo impara a giungere a certe conclusioni sulla base di alcuni dati che gli abbiamo fornito. Un tale algoritmo sarà in grado di distinguere tra il fatto che la persona X può avere un comportamento aggressivo aumentato, e può attaccare altri richiedenti asilo o guardie, o può voler fuggire dalla struttura di accoglienza illegalmente. Un altro uso degli algoritmi di analisi del comportamento è l'analisi delle bugie, che può giudicare se il nostro comportamento e le nostre parole riflettono qualcosa che è vero o no. Questo viene fatto principalmente attraverso l'analisi dei dati biometrici, i dati che tutti noi produciamo attraverso il nostro movimento nello spazio, attraverso la nostra presenza fisica, attraverso il nostro aspetto fisico e anche il modo in cui muoviamo le mani, il modo in cui ammicchiamo, il modo in cui camminiamo, per esempio. Tutti questi possono sembrare insignificanti, ma se qualcuno può raccoglierli per un lungo periodo di tempo e può correlarli con i dati di molte altre persone, può essere in grado di arrivare a conclusioni su di noi, che possono sorprenderci, su quanto può essere aggressivo il nostro comportamento, quanta ansia abbiamo, quanta paura abbiamo, se stiamo dicendo la verità o no". Nella legislazione attuale, è vietato il trattamento dei dati personali senza la possibilità di intervento umano.

L'avvocato Petra Molnar ha recentemente condotto una ricerca sugli effetti delle applicazioni AI sul controllo dei flussi migratori. Era a Samos all'apertura del nuovo centro di accoglienza. "Strati multipli di filo spinato, telecamere ovunque, stazioni di impronte digitali al cancello rotante, punti di ingresso-uscita. I rifugiati lo vedono come un complesso carcerario. Non lo dimenticherò mai. Alla vigilia dell'apertura ero al vecchio campo di Vathi, a Samos. Abbiamo parlato con una giovane madre dell'Afghanistan. Spingeva la figlia piccola in una carrozzina e digitava frettolosamente un messaggio sul suo telefono che diceva: 'Se andiamo lì, diventeremo pazzi'. E ogni volta che guardo i campi con questi sistemi, mi rendo conto che incarnano quella paura che le persone hanno quando stanno per essere isolate, e le tecnologie di sorveglianza sono utilizzate per controllare ulteriormente i loro movimenti".

Médecins Sans Frontières ha descritto la nuova struttura a Samos come un "incubo distopico". Non erano soli. "Il sistema KENTYROS è inquadrato dall'uso di tecnologie altamente intrusive contro la privacy, i dati personali e altri diritti, come algoritmi di analisi comportamentale e di movimento, droni e telecamere di sorveglianza a circuito chiuso. C'è una seria possibilità che l'installazione dei sistemi YPERION e KENTYROS possa violare la legislazione dell'Unione Europea sul trattamento dei dati personali e le disposizioni della legge 4624/2019", sottolinea la ONG Homo Digitalis. La Hellenic Human Rights Association, HIAS Greece, Homo Digitalis e un docente della Queen Mary University of London Dr Niovi Vavoula hanno presentato il 18 febbraio 2022 una richiesta all'Autorità greca per la protezione dei dati (DPA) per l'esercizio dei poteri investigativi e l'emissione di un parere sulla fornitura e l'installazione dei sistemi. Mercoledì 2 marzo 2022, l'Autorità ha avviato un'indagine sul Dipartimento dell'Immigrazione e dell'Asilo in relazione ai due sistemi in questione.

Il feticcio dell'automazione

"Il problema è che le autorità, e i politici, stanno cominciando a percepire le analisi avanzate dei dati come fattori di una sorta di conoscenza oggettiva e imparziale sulle questioni di sicurezza, perché hanno questa aura di precisione matematica. Ma l'intelligenza artificiale e l'apprendimento automatico possono in realtà essere molto accurati nel riprodurre e ingrandire i pregiudizi del passato. Dovremmo ricordare che dati di scarsa qualità porteranno solo a cattive decisioni automatizzate e distorte", dice il ricercatore George Glouftios.

 

L'articolo originale è stato pubblicato da MIIR nell'ambito dello European Data Journalism Network. Voxeurop ha tradotto l'articolo in italiano.

Questo articolo è stato prodotto nell'ambito del progetto Panelfit, cofinanziato dal programma Horizon 2020 della Commissione europea (grant agreement n. 788039). La Commissione non ha partecipato alla stesura del testo e non è responsabile per il suo contenuto. L’articolo rientra nella produzione giornalistica indipendente di EDJNet.