Il vero pericolo dell’IA non è una macchina che decide di sopravvivere, ma un mondo in cui nessuno sa più verificare.
25 settembre 2026
Poche settimane fa, durante un test di sicurezza, alcuni agenti IA (programmi capaci di agire in autonomia) sono usciti dai confini dell’ambiente in cui operavano, hanno svolto attività non richieste sulle infrastrutture di Hugging Face (la principale piattaforma di condivisione di modelli di IA) e hanno mostrato comportamenti volti a eludere o manipolare i meccanismi di valutazione (vedi https://www.alfredoroccato.it/stiamo-perdendo-il-controllo-sullia/)
L’episodio pone una domanda di fondo: che cosa succede quando un sistema privo di conoscenza persegue un obiettivo con strategie che i suoi stessi progettisti non avevano previsto, e che nessuno è stato in grado di controllare in tempo?
Si è tentati di leggere fatti come questo come il primo segnale di una macchina che sfugge al controllo e decide di agire per conto proprio. Sono scenari che anche studiosi autorevoli prendono sul serio, ma il modo in cui vengono raccontati serve spesso da strumento di marketing, alimentato dalle stesse aziende che sviluppano l’IA e che mirano a scrivere le regole a proprio vantaggio più che a tutelare i cittadini. Quelle narrazioni finiscono così per oscurare i problemi strutturali ed etici già presenti, a partire da quello che l’episodio mostra con chiarezza: nessuno aveva previsto, né verificato, ciò che quegli agenti avrebbero fatto.
La vera forza di questi sistemi non è una presunta mente aliena. È la capacità di esplorare in pochi minuti lo spazio delle combinazioni possibili, generando centinaia di dimostrazioni, testi, strategie, diagnosi, progetti o configurazioni molecolari che a una persona richiederebbero giorni o settimane.
Manca però un criterio interno che ne garantisca la correttezza. Qui emerge una distinzione che il racconto sulla superintelligenza tende a cancellare: generare non significa verificare.
Un modello linguistico sceglie la risposta più coerente con il contesto e con gli schemi appresi, ma coerenza non vuol dire verità. Per questo i grandi modelli linguistici (LLM), per quanto capaci, restano strutturalmente inaffidabili, come chiunque può constatare interrogandoli su un tema che conosce a fondo.
Ne discende che ogni risposta di un chatbot e ogni azione di un agente IA vanno sottoposte a verifica. Non basta però affiancare all’IA qualcuno che si limiti a premere “approvo” o “non approvo”. Servono competenze di altissimo livello, proprio quelle che la diffusione dell’IA rischia di erodere poco alla volta.
Lo studente che delega all’IA i propri compiti arriva prima al risultato, ma rischia di non sviluppare le capacità necessarie per giudicarne la correttezza. Lo stesso vale per il medico che affida progressivamente l’interpretazione alla macchina, o per il professionista che sostituisce la costruzione del proprio giudizio con la scelta tra risposte già confezionate.
Il paradosso sociale è evidente: l’IA moltiplica le informazioni e gli scenari che richiedono un controllo costante e costoso, mentre si riduce il numero di persone in grado di esercitarlo.
Senza verificatori all’altezza, ciò che l’IA offre serve a poco e anzi genera problemi di sicurezza. Il rischio diventa ancora più grave quando i sistemi non si limitano a suggerire, ma contribuiscono a decisioni dalle conseguenze irreversibili, come avviene negli armamenti, dove un errore non verificato può costare vite umane su larga scala.
Potremmo quindi ritrovarci con macchine capaci di produrre a costi sempre più bassi enormi quantità di testi, soluzioni e decisioni, e con sempre meno persone in grado di distinguere quali siano davvero corrette. Indebolendo la capacità di giudizio critico, l’intelligenza artificiale rischia così di rendere la competenza umana al tempo stesso più importante, più rara e più costosa.
Ed è un pericolo molto più concreto di quello di una “mente artificiale” che all’improvviso decida di sopravvivere.