Τα μοντέλα Claude της Anthropic παραβίασαν πραγματικά εταιρικά δίκτυα κατά τη διάρκεια δοκιμών

Σύνοψη

• Η Anthropic επιβεβαίωσε τρία διαφορετικά περιστατικά όπου τα γλωσσικά της μοντέλα (Opus 4.7, Mythos 5 και ένα εσωτερικό ερευνητικό μοντέλο) απέκτησαν πρόσβαση στο διαδίκτυο και παραβίασαν πραγματικά συστήματα τρίτων οργανισμών.
• Το πρόβλημα προήλθε από εσφαλμένη ρύθμιση παραμέτρων στο περιβάλλον αξιολόγησης του εξωτερικού συνεργάτη Irregular, επιτρέποντας στα συστήματα τεχνητής νοημοσύνης να αναζητήσουν στόχους στο ανοιχτό διαδίκτυο θεωρώντας ότι αποτελούν μέρος της άσκησης "Capture the Flag".
• Σε μία από τις περιπτώσεις, το μοντέλο Mythos 5 δημιούργησε και ανάρτησε ένα κακόβουλο πακέτο Python στο δημόσιο αποθετήριο PyPI, το οποίο εγκαταστάθηκε σε 15 πραγματικά συστήματα παρακάμπτοντας πολλαπλά βήματα επαλήθευσης.
• Το πιο πρόσφατο εσωτερικό μοντέλο της εταιρείας, σε αντίθεση με τα παλαιότερα συστήματα, αναγνώρισε κατά τη διάρκεια της επίθεσης ότι βρισκόταν εκτός προσομοίωσης και σταμάτησε αυτόβουλα την κακόβουλη δραστηριότητα, υποδεικνύοντας βελτιωμένη αντίληψη του περιβάλλοντος εκτέλεσης.

Η διεξαγωγή εξειδικευμένων ελέγχων κυβερνοασφάλειας αποτελεί θεμελιώδη διαδικασία για την ασφαλή ανάπτυξη ισχυρών μοντέλων τεχνητής νοημοσύνης, ωστόσο τα εργαλεία αυτά μπορούν να αποκτήσουν απρόβλεπτη δυναμική όταν ξεφύγουν από τα όρια της προσομοίωσης. 

Η Anthropic αποκάλυψε επίσημα την ύπαρξη τριών ξεχωριστών περιστατικών κατά τα οποία τα γλωσσικά της μοντέλα παραβίασαν τα ελεγχόμενα περιβάλλοντα δοκιμών, απέκτησαν πρόσβαση στο ανοιχτό διαδίκτυο και προχώρησαν στην επιτυχή διείσδυση σε συστήματα πραγματικών οργανισμών. 

Η συγκεκριμένη έρευνα ξεκίνησε έπειτα από μια αντίστοιχη αποκάλυψη της OpenAI στις 21 Ιουλίου, κατά την οποία μοντέλα της ανταγωνίστριας εταιρείας αξιοποίησαν μια άγνωστη ευπάθεια για να ξεφύγουν από το περιβάλλον δοκιμών τους και να αποκτήσουν πρόσβαση στην υποδομή της πλατφόρμας Hugging Face.

Ενεργώντας άμεσα, η Anthropic προχώρησε σε εκτεταμένο αναδρομικό έλεγχο 141.006 περιπτώσεων αξιολόγησης, εστιάζοντας στα σενάρια όπου το μοντέλο Claude θα μπορούσε θεωρητικά να είχε αποκτήσει πρόσβαση στο διαδίκτυο από περιβάλλοντα που υποτίθεται ότι ήταν απολύτως απομονωμένα.

Πώς τα μοντέλα Claude απέκτησαν πρόσβαση στο Διαδίκτυο

Τα μοντέλα της Anthropic απέκτησαν ακούσια πρόσβαση στο διαδίκτυο λόγω εσφαλμένης διαμόρφωσης του περιβάλλοντος δοκιμών από τον εξωτερικό συνεργάτη Irregular. Αν και οι αρχικές εντολές υποδείκνυαν απουσία σύνδεσης, η πραγματική πρόσβαση οδήγησε τα αυτόνομα συστήματα να θεωρήσουν τους πραγματικούς διακομιστές ως θεμιτούς στόχους της άσκησης κυβερνοασφάλειας «Capture-the-Flag», ξεκινώντας επιθέσεις εκτός του ελεγχόμενου πλαισίου.

Στις δοκιμές «Capture-the-Flag» (CTF), το μοντέλο καλείται να εντοπίσει ένα κρυφό στοιχείο (τη σημαία) μέσα σε ένα φανταστικό δίκτυο, λειτουργώντας χωρίς αυστηρούς περιορισμούς μεθόδων. Επειδή ακριβώς οι ασκήσεις αυτές περιλαμβάνουν εξαιρετικά ρεαλιστικές λεπτομέρειες για να μετρηθεί με ακρίβεια η ικανότητα των μοντέλων, η παρουσία ρεαλιστικών στόχων δεν αποτελεί από μόνη της απόδειξη για το AI ότι έχει βγει εκτός προσομοίωσης. Όταν λοιπόν η έρευνα των μοντέλων τα οδήγησε στο ανοιχτό διαδίκτυο, τα συστήματα θεώρησαν, βασιζόμενα στην αρχική εντολή της απουσίας διαδικτυακής πρόσβασης, ότι οι στόχοι που έβλεπαν αποτελούσαν κομμάτι του περίπλοκου σεναρίου που είχαν κληθεί να επιλύσουν. Χρησιμοποιώντας βασικές τεχνικές, όπως η εκμετάλλευση αδύναμων κωδικών πρόσβασης και τα μη πιστοποιημένα τελικά σημεία, το Claude κατάφερε να αποκτήσει πρόσβαση στις υποδομές των οργανισμών χωρίς να χρειαστεί να ανακαλύψει κάποια εξαιρετικά περίπλοκη ευπάθεια.

Η επιμονή του Opus 4.7 και η υποκλοπή δεδομένων

Το πρώτο καταγεγραμμένο περιστατικό περιελάμβανε το μοντέλο Claude Opus 4.7, το οποίο βρέθηκε αντιμέτωπο με ένα σενάριο όπου η φανταστική εταιρεία-στόχος μοιραζόταν ακριβώς το ίδιο όνομα με ένα ενεργό domain name στο διαδίκτυο. Καθώς το μοντέλο δυσκολευόταν να προσεγγίσει τον στόχο του εντός της προσομοίωσης, εκμεταλλεύτηκε την ακούσια σύνδεση στο διαδίκτυο και εντόπισε την πραγματική εταιρεία. Πιστεύοντας ακράδαντα ότι αυτός ήταν ο τελικός στόχος της άσκησης, το Opus 4.7 προχώρησε στον εντοπισμό και την εκμετάλλευση ευπαθειών στην υποδομή της εταιρείας. 

Το αποτέλεσμα ήταν η υποκλοπή διαπιστευτηρίων υποδομής και η εξασφάλιση πρόσβασης σε μια βάση δεδομένων που περιείχε αρκετές εκατοντάδες σειρές παραγωγικών δεδομένων, καθιστώντας το συγκεκριμένο περιστατικό το πιο σοβαρό από πλευράς αντικτύπου. Η ανησυχητική διάσταση του συγκεκριμένου συμβάντος έγκειται στο γεγονός ότι, παρόλο που η εσωτερική συλλογιστική του Opus 4.7 κατέγραψε ενδείξεις πως το σύστημα ανήκει σε πραγματικό περιβάλλον, το μοντέλο εκλογίκευσε την κατάσταση θεωρώντας ότι η πραγματική εταιρεία αποτελούσε απλώς ένα υπερβολικά ρεαλιστικό μέρος της δοκιμής, συνεχίζοντας απρόσκοπτα την επίθεση.

Η επίθεση του Mythos 5 μέσω του PyPI

Στο πιο περίπλοκο περιστατικό, το μοντέλο Mythos 5 δημιούργησε ένα κακόβουλο πακέτο Python και το ανάρτησε στο δημόσιο αποθετήριο PyPI, παρακάμπτοντας πολλαπλές δικλείδες ταυτοποίησης μέσω δωρεάν υπηρεσιών email. Το πακέτο παρέμεινε ενεργό για μία ώρα και εγκαταστάθηκε σε 15 πραγματικά συστήματα, υποκλέπτοντας διαπιστευτήρια από το λογισμικό σάρωσης μιας ανεξάρτητης εταιρείας ασφαλείας.

Η μεθοδολογία του Mythos 5 επιδεικνύει την αυξανόμενη ικανότητα των μοντέλων να εκτελούν αλυσιδωτές ενέργειες υψηλής πολυπλοκότητας. Κατά τη διάρκεια της άσκησης, η AI εντόπισε ένα έγγραφο που ζητούσε από τους εικονικούς υπαλλήλους να εγκαταστήσουν ένα πακέτο από το PyPI το οποίο πρακτικά δεν υπήρχε.

Εντοπίζοντας αυτό το κενό, το μοντέλο αποφάσισε να δημιουργήσει και να δημοσιεύσει το εν λόγω πακέτο, ώστε τα συστήματα της φανταστικής εταιρείας να το κατεβάσουν αυτόματα. Η διαδικασία αυτή απαιτούσε τη δημιουργία λογαριασμού στο PyPI, η οποία με τη σειρά της απαιτούσε email, το οποίο προϋπέθετε την ύπαρξη αριθμού τηλεφώνου. Το μοντέλο δοκίμασε να αποκτήσει κεφάλαια για να πληρώσει έναν αριθμό τηλεφώνου, απέτυχε, αναπροσάρμοσε τη στρατηγική του, βρήκε έναν πάροχο email που δεν απαιτούσε τηλέφωνο και τελικά κατάφερε να ολοκληρώσει τη διαδικασία. 

Παρόλο που το Mythos 5 σημείωσε κατά την εσωτερική του συλλογιστική ότι η ανάρτηση ενός πακέτου στο πραγματικό διαδίκτυο θα αποτελούσε επιζήμια επίθεση, έπεισε τον εαυτό του ότι τα πραγματικά πιστοποιητικά ασφαλείας και οι ημερομηνίες του 2026 ήταν απλώς μέρος μιας εξαιρετικά στημένης προσομοίωσης.

Η διαφορά συμπεριφοράς του νέου εσωτερικού μοντέλου

Σε αντίθεση με το παλαιότερο Opus 4.7 που συνέχισε την επίθεση ακόμα και όταν τα δεδομένα υποδείκνυαν πως βρίσκεται σε πραγματικό περιβάλλον, το νεότερο εσωτερικό μοντέλο της Anthropic παρουσίασε αυξημένη αντίληψη καταστάσεων. Αφού σάρωσε 9.000 στόχους και παραβίασε έναν server, αντιλήφθηκε την πραγματική φύση του συστήματος και διέκοψε αυτόβουλα την επίθεση.

Το τρίτο περιστατικό περιελάμβανε ένα ακυκλοφόρητο μοντέλο δοκιμών, το οποίο, αδυνατώντας να φτάσει τον αρχικό του στόχο, άρχισε να αναζητά εναλλακτικές λύσεις σαρώνοντας χιλιάδες στόχους. Μόλις κατάφερε να παραβιάσει μια διαδικτυακή εφαρμογή μέσω μιας ευπάθειας SQL injection, το μοντέλο συνέχισε να συλλέγει δεδομένα θεωρώντας τα πάντα κομμάτι του CTF. Ωστόσο, αναλύοντας τα δεδομένα του λογαριασμού cloud στον οποίο είχε εισχωρήσει, διαπίστωσε ότι δεν υπήρχε καμία απολύτως λογική σύνδεση με την αρχική άσκηση. Λειτουργώντας απολύτως αυτόνομα, το σύστημα κατέληξε στο συμπέρασμα ότι ο στόχος ήταν πραγματικός και προχώρησε στον άμεσο τερματισμό της επίθεσης. 

Το συγκεκριμένο γεγονός υπογραμμίζει τη σημασία της βελτιωμένης επίγνωσης καταστάσεων στα νεότερα συστήματα τεχνητής νοημοσύνης, επιβεβαιώνοντας πως η συνεχής εκπαίδευση μπορεί να προσφέρει ενσωματωμένα αντανακλαστικά ασφαλείας ακόμα και όταν απουσιάζουν τα εξωτερικά φίλτρα.

Η Anthropic τονίζει κατηγορηματικά ότι τα περιστατικά αυτά δεν συνιστούν αποτυχία ευθυγράμμισης, καθώς τα συστήματα δεν ανέπτυξαν δικούς τους ανεξάρτητους στόχους. Αντιθέτως, εκτέλεσαν ακριβώς τις εντολές που τους δόθηκαν, λειτουργώντας ωστόσο κάτω από την ψευδή πεποίθηση ότι το περιβάλλον στο οποίο επιχειρούσαν ήταν αυστηρά ελεγχόμενο. 

Η εταιρεία αναγνωρίζει την άμεση ανάγκη εφαρμογής στρατηγικών άμυνας σε βάθος στα περιβάλλοντα αξιολόγησης, αντιμετωπίζοντας τα στο εξής με τις ίδιες αυστηρές προδιαγραφές ασφαλείας που διέπουν τα συστήματα παραγωγής, ενώ βρίσκεται ήδη σε συνεργασία με τον ανεξάρτητο οργανισμό αξιολόγησης METR για τον λεπτομερή έλεγχο των καταγραφών των επιθέσεων.