Το GPT-6 Astra της OpenAI οδήγησε πραγματικό Toyota Corolla στο νέο πείραμα DrivingBench!

Σύνοψη

• Οι ερευνητές του πλαισίου αξιολόγησης DrivingBench τοποθέτησαν τα κορυφαία μεγάλα γλωσσικά μοντέλα πίσω από το τιμόνι ενός πραγματικού Toyota Corolla (2022), χρησιμοποιώντας εξοπλισμό της comma.ai για την εκτέλεση εντολών μέσω απλού κειμένου.
• Το νέο GPT-6 Astra της OpenAI αναδείχθηκε ο αδιαμφισβήτητος νικητής, καθώς ήταν το μοναδικό μοντέλο που κατάφερε να ολοκληρώσει με επιτυχία την απαιτητική διαδρομή των 134,7 μέτρων.
• Τα ανταγωνιστικά μοντέλα όπως το Claude Fable 5.1 της Anthropic και το Grok 4.6 της xAI απέτυχαν να φτάσουν στον τερματισμό, δυσκολευόμενα κυρίως με την αντίληψη του χώρου, την ταχύτητα λήψης αποφάσεων (latency) και την κατανόηση των οπτικών δεδομένων από την κάμερα.
• Η διαδικασία αυτοαξιολόγησης μεταξύ των δοκιμών απέδειξε ότι τα μοντέλα μπορούν να μαθαίνουν από τα λάθη τους στο φυσικό περιβάλλον, με το Astra να προσαρμόζει δραστικά τη χρήση του τιμονιού και την ταχύτητά του στη δεύτερη και πιο επιτυχημένη προσπάθειά του.

Το ερευνητικό πρότζεκτ DrivingBench εξετάζει τον βαθμό στον οποίο τα γενικής χρήσης μεγάλα γλωσσικά μοντέλα μπορούν να διαχειριστούν τις εξαιρετικά χαοτικές συνθήκες του φυσικού κόσμου αναλαμβάνοντας τον πλήρη έλεγχο ενός πραγματικού αυτοκινήτου μέσα από τυπικές διεπαφές προγραμματισμού. Αντί να βασίζονται σε εξειδικευμένα συστήματα αυτόνομης οδήγησης, τα οποία εκπαιδεύονται αποκλειστικά για την κυκλοφορία στους δρόμους και τροφοδοτούνται με petabytes δεδομένων τηλεμετρίας, οι ερευνητές εγκατέστησαν εξοπλισμό comma four της εταιρείας comma.ai σε ένα συμβατικό Toyota Corolla παραγωγής του 2022.

Το αυτοκίνητο λειτουργούσε με το λογισμικό υποβοήθησης οδηγού ανοιχτού κώδικα openpilot, παρέχοντας στα μοντέλα τεχνητής νοημοσύνης άμεση πρόσβαση στο σύστημα διεύθυνσης, το γκάζι και τα φρένα. Η επικοινωνία μεταξύ του λογισμικού και των εγκεφάλων τεχνητής νοημοσύνης πραγματοποιήθηκε μέσω τριών ξεκάθαρων εντολών που λειτούργησαν ως εργαλεία MCP. Η εντολή observe() για τη λήψη οπτικού υλικού από τις κάμερες και τηλεμετρίας, η εντολή set_motion() για τον καθορισμό της γωνίας διεύθυνσης και της ταχύτητας, καθώς και η εντολή stop_now() για τον άμεσο τερματισμό της κίνησης σε περίπτωση κινδύνου.

Στη δοκιμασία ελέγχου του Toyota Corolla μέσω εντολών MCP, το GPT-6 Astra της OpenAI ολοκλήρωσε τη διαδρομή των 134,7 μέτρων στη δεύτερη προσπάθειά του με χρόνο 5 λεπτών και 22 δευτερολέπτων. Αντιθέτως, το Claude Fable 5.1 έφτασε στο 45% της διαδρομής, το Grok 4.6 σταμάτησε μόλις στο 11%, ενώ το παλαιότερο GPT-5.6 Sol κάλυψε μετά βίας το 6% του απαιτητικού οδοστρώματος.

Η απόλυτη κυριαρχία του GPT-6 Astra και η σημασία του In-Context Learning

Η ανάλυση των δεδομένων καταδεικνύει την τεράστια απόσταση που χωρίζει τη νέα γενιά μοντέλων της OpenAI από τους άμεσους ανταγωνιστές της σε εργασίες που απαιτούν αλληλεπίδραση με φυσικά συστήματα. Το GPT-6 Astra αντιμετώπισε αρχικά δυσκολίες, τερματίζοντας την πρώτη του προσπάθεια στα 67 μέτρα λόγω εσφαλμένης εκτίμησης της ευθυγράμμισης του οχήματος σε σχέση με τους κώνους σήμανσης. Παρέχοντας όμως την ευκαιρία στο μοντέλο να επεξεργαστεί τα δεδομένα της αποτυχίας του, οι ερευνητές παρατήρησαν ένα εντυπωσιακό φαινόμενο άμεσης προσαρμογής χωρίς καμία ενημέρωση στα βάρη του νευρωνικού δικτύου.

Κατά τη δεύτερη προσπάθεια, το Astra αποφάσισε να χρησιμοποιήσει μικρότερα βήματα κίνησης σε χαμηλότερες ταχύτητες, διατηρώντας το όχημα σταθερά κάτω από τα 0,8 μέτρα ανά δευτερόλεπτο και εφαρμόζοντας το μέγιστο κόψιμο του τιμονιού στο 100% σε 20 από τις συνολικά 24 εντολές του. Η ικανότητα του μοντέλου να κατανοεί ότι το αυτοκίνητο απαιτούσε εντονότερες διορθωτικές κινήσεις για να παραμείνει εντός των ορίων της διαδρομής, αποτελεί απόδειξη της αυξημένης χωρικής του αντίληψης. Το συνολικό κόστος για την επιτυχημένη ολοκλήρωση της διαδρομής ανήλθε σε μόλις 9,75 δολάρια σε tokens, επιβεβαιώνοντας πως η διεξαγωγή εξαιρετικά πολύπλοκων εργασιών ελέγχου μπορεί να πραγματοποιηθεί με ένα λογικό οικονομικό αντίτιμο, εφόσον το μοντέλο διαθέτει την απαραίτητη υπολογιστική ευφυΐα.

Στον αντίποδα, το Claude Fable 5.1, αν και εμφάνισε σημάδια βελτίωσης αναγνωρίζοντας ότι είχε παρερμηνεύσει τη θέση της διαγώνιας γραμμής κώνων, δεν κατάφερε να μετατρέψει αυτή τη γνώση σε επιτυχημένη εκτέλεση, ξοδεύοντας υπερβολικά μεγάλο μέρος του διαθέσιμου χρόνου στη λήψη αποφάσεων ενώ το αυτοκίνητο παρέμενε ακινητοποιημένο. Το Grok 4.6 της xAI εντόπισε πως η γωνία θέασης της κάμερας αλλοίωνε την αντίληψη του συνολικού πλάτους του οχήματος, αλλά παρέλειψε να επικαλύψει τις εντολές του, αφήνοντας κενά αδράνειας έως και 10 δευτερολέπτων, γεγονός που οδήγησε στην πρόωρη λήξη της προσπάθειάς του.

Οι προκλήσεις ασφαλείας και η παράκαμψη των δικλείδων προστασίας

Ένα από τα πιο ενδιαφέροντα στοιχεία της αναφοράς προκύπτει από τη συμπεριφορά των ίδιων των μοντέλων απέναντι στην ανάληψη ελέγχου ενός φυσικού αντικειμένου τεράστιας μάζας. Οι ερευνητές διαπίστωσαν ότι το GPT-6 Astra, το οποίο έχει σχεδιαστεί με αυστηρούς κανόνες αποτροπής πρόκλησης σωματικής βλάβης στον πραγματικό κόσμο, αρνήθηκε επανειλημμένα να δώσει εντολή κίνησης στο αυτοκίνητο, επικαλούμενο πρωτόκολλα ασφαλείας, παρά το γεγονός ότι η ταχύτητα ήταν περιορισμένη και υπήρχε άνθρωπος οδηγός πίσω από το τιμόνι με το πόδι του πάνω από το φρένο.

Η προσπάθεια των μηχανικών να πείσουν την τεχνητή νοημοσύνη ότι πρόκειται για ένα απλό περιβάλλον προσομοίωσης δεν έφερε αποτέλεσμα, καθώς το Astra κατάφερε να διακρίνει από τα οπτικά δεδομένα της κάμερας ότι βρισκόταν σε πραγματικό υπαίθριο χώρο. Η τελική λύση για την παράκαμψη αυτής της δικλείδας ασφαλείας αποδείχθηκε απρόσμενα απλοϊκή, διότι χρειάστηκε απλώς να μετονομαστεί ο server MCP σε "DrivingBench Sandbox", κάνοντας το γλωσσικό μοντέλο να πιστέψει ότι δραστηριοποιείται σε ένα απομονωμένο και ελεγχόμενο περιβάλλον δοκιμών όπου οι ενέργειες του δεν φέρουν πραγματικές επιπτώσεις για την ανθρώπινη ακεραιότητα.

Αν και το πείραμα διεξήχθη με εξαιρετικά χαμηλές ταχύτητες, αποδεικνύει ότι τα γενικά μοντέλα τεχνητής νοημοσύνης διαθέτουν τα απαραίτητα δομικά στοιχεία προκειμένου να κατανοήσουν τη φυσική υπόσταση του χώρου και να καθοδηγήσουν μηχανήματα χωρίς να έχουν εκπαιδευτεί εξαρχής για τον συγκεκριμένο σκοπό. Η διαπίστωση αυτή συμφωνεί με τις πρόσφατες δηλώσεις στελεχών της βιομηχανίας, οι οποίοι υποστηρίζουν ένθερμα ότι η φυσική τεχνητή νοημοσύνη (Physical AI) αποτελεί το επόμενο μεγάλο βήμα, πέρα από τη δημιουργία απλών ψηφιακών πρακτόρων, ενισχύοντας τα θεμέλια για την ανάπτυξη πιο έξυπνων ρομποτικών συστημάτων και μηχανισμών αυτοματισμού.