Il 15 luglio 2026 OpenAI ha presentato GPT-Red, un modello interno progettato per automatizzare una parte delle attività di red teaming e scoprire vulnerabilità prima della distribuzione dei modelli.
La notizia in breve
GPT-Red agisce come un attaccante controllato: prova un’istruzione avversaria, osserva la risposta del sistema e modifica progressivamente l’attacco. L’obiettivo è produrre esempi utili a rafforzare i modelli difensori durante l’addestramento.
Il sistema è focalizzato anche sulle prompt injection, istruzioni malevole nascoste in contenuti esterni come pagine web, email, file, repository o risultati restituiti dagli strumenti.
Come funziona l’addestramento
Secondo OpenAI, GPT-Red viene addestrato con un processo di self-play: il red teamer riceve una ricompensa quando riesce a provocare un comportamento non desiderato, mentre i modelli difensori vengono premiati quando resistono e completano comunque il compito originario.
Man mano che le difese migliorano, il sistema avversario deve trovare attacchi più sofisticati e diversificati. Gli esempi generati vengono poi utilizzati nell’addestramento dei modelli di produzione.
I risultati dichiarati
OpenAI riferisce che l’impiego di GPT-Red nell’addestramento di GPT-5.6 ha contribuito a ridurre di sei volte i fallimenti sul benchmark interno più difficile dedicato alle prompt injection dirette, rispetto al miglior modello di produzione disponibile quattro mesi prima.
In una replica interna di un’arena dedicata alle prompt injection indirette, GPT-Red avrebbe individuato attacchi riusciti nell’84% degli scenari, contro il 13% ottenuto dai red teamer umani nello stesso confronto.
Questi valori provengono direttamente da OpenAI e descrivono valutazioni definite dall’azienda; non equivalgono a una garanzia di sicurezza assoluta in ogni applicazione.
Perché è importante
Gli assistenti moderni non lavorano più soltanto sul testo scritto dall’utente. Possono leggere email, visitare siti, analizzare file e usare strumenti. Ogni sorgente esterna può contenere istruzioni progettate per deviare il comportamento del modello o indurlo a divulgare informazioni.
Il red teaming automatico permette di aumentare volume e varietà dei test, affiancando le attività umane che rimangono necessarie per scenari, contesto e valutazioni non facilmente automatizzabili.
Impatto per utenti e aziende
- Utenti: un contenuto apparentemente innocuo può tentare di manipolare un assistente dotato di strumenti.
- Sviluppatori: non devono trattare output di file, web o connettori come istruzioni affidabili.
- Aziende: servono permessi minimi, approvazioni, segmentazione, monitoraggio e test avversari.
- Governance: la robustezza del modello è soltanto uno strato di una difesa più ampia.
La lettura di BASI DI AI
GPT-Red mostra una direzione importante: utilizzare modelli specializzati per mettere sotto pressione altri sistemi AI. Ma un agente sicuro non può dipendere soltanto dall’addestramento. Deve limitare accessi e azioni anche quando il modello interpreta male un contenuto.
Fonte
OpenAI — GPT-Red: Unlocking Self-Improvement for Robustness, 15 luglio 2026
Vuoi ricevere notizie AI spiegate senza sensazionalismi? Iscriviti gratuitamente alla newsletter di BASI DI AI.
