Ο Andrej Karpathy, συνιδρυτής της OpenAI και πρώην επικεφαλής της τεχνητής νοημοσύνης στην Tesla, επιχειρεί να βάλει φρένο στην υπερβολική αισιοδοξία που περιβάλλει την τεχνητή νοημοσύνη. Σε μια εκτενή συνέντευξή του στον Dwarkesh Patel, ο Karpathy αποδομεί τον δημοφιλή παραλληλισμό ανάμεσα στα σύγχρονα AI μοντέλα και τους βιολογικούς εγκεφάλους, υποστηρίζοντας ότι τα σημερινά συστήματα δεν είναι παρά «ψηφιακά φαντάσματα» — μηχανισμοί που μιμούνται ανθρώπινες συμπεριφορές χωρίς να τις κατανοούν πραγματικά.
Η εκτίμησή του είναι εξίσου ψυχρή: η λειτουργική τεχνητή γενική νοημοσύνη (AGI) δεν θα εμφανιστεί πριν από το 2035 — μια δεκαετία αργότερα απ’ ό,τι προέβλεπαν οι πιο αισιόδοξες εκτιμήσεις.
Ο Karpathy θεωρεί πως η σύγκριση των μοντέλων AI με τα ανθρώπινα ή ζωικά μυαλά είναι μια θεμελιώδης παρεξήγηση. Ενώ τα έμβια όντα εξελίσσονται μέσα από εκατομμύρια χρόνια φυσικής επιλογής, αποκτώντας ένστικτα και «προεγκατεστημένες» δεξιότητες, τα συστήματα τεχνητής νοημοσύνης δεν διαθέτουν τίποτα από αυτά.
Μια ζέβρα μπορεί να τρέξει λίγα λεπτά μετά τη γέννησή της γιατί έχει το hardware του ενστίκτου. Τα γλωσσικά μοντέλα, αντίθετα, μαθαίνουν απλώς αντιγράφοντας μοτίβα κειμένων από το διαδίκτυο, χωρίς να συνδέουν ποτέ αυτή τη γνώση με πραγματική εμπειρία ή σωματικότητα. Δεν φτιάχνουμε ζώα. Φτιάχνουμε φαντάσματα.
Η διατύπωση του Karpathy είναι ενδιαφέρουσα, αλλά η ουσία είναι τεχνική: τα σημερινά μοντέλα λειτουργούν μέσω στατιστικών συσχετίσεων, όχι μέσα από νοητικές αναπαραστάσεις. Ο ίδιος υποστηρίζει ότι η τρέχουσα προσέγγιση στην ανάπτυξη της AI, βασισμένη σε τεράστια datasets και υπολογιστική ισχύ, είναι εντυπωσιακή αλλά επιφανειακή.
Ένα από τα βασικά προβλήματα, κατά τον Karpathy, βρίσκεται στον τρόπο που εφαρμόζεται η ενισχυτική μάθηση (reinforcement learning). Το σημερινό RL, λέει, είναι «απαράδεκτο», επειδή επιβραβεύει ολόκληρες διαδρομές αντί για μεμονωμένα βήματα. Αν ένα μοντέλο χρειαστεί εκατό αποτυχημένες προσπάθειες για να λύσει ένα πρόβλημα, η εκπαίδευση ενισχύει και τα λάθη μαζί με τη σωστή απάντηση.
Οι άνθρωποι, αντιθέτως, στοχάζονται πάνω σε κάθε ενέργεια και προσαρμόζονται σταδιακά. Η τεχνητή νοημοσύνη, όμως, δεν διαθέτει τέτοιο μηχανισμό ενδοσκόπησης. Το αποτέλεσμα είναι μια μορφή «κατάρρευσης εντροπίας», όπως την ονομάζει: τα μοντέλα που αυτοεκπαιδεύονται με δικά τους δεδομένα παράγουν ολοένα πιο περιορισμένα αποτελέσματα. Ζητήστε από ένα chatbot ένα αστείο, και θα επαναλάβει τρεις ελαφρώς διαφορετικές εκδοχές της ίδιας ιδέας.
Ο Karpathy το αποδίδει αυτό στην «υπερμνήμη» των μεγάλων γλωσσικών μοντέλων.
Οι άνθρωποι ξεχνάμε — κι αυτό είναι πλεονέκτημα. Μας αναγκάζει να γενικεύουμε, να δημιουργούμε αφαιρέσεις. Τα LLM, αντίθετα, θυμούνται τα πάντα. Μπορούν να απαγγείλουν τη Wikipedia, αλλά δυσκολεύονται να σκεφτούν πέρα από αυτήν.
Ένα από τα πιο ενδιαφέροντα σημεία της συνέντευξης είναι η πρόταση του Karpathy για μια εναλλακτική κατεύθυνση. Αντί να κυνηγάμε ολοένα μεγαλύτερα μοντέλα με δισεκατομμύρια παραμέτρους, ο ίδιος προτείνει μικρότερα, «καθαρά» μοντέλα με περίπου ένα δισεκατομμύριο παραμέτρους, εκπαιδευμένα αποκλειστικά με προσεκτικά επιλεγμένα δεδομένα υψηλής ποιότητας.
Το διαδίκτυο είναι γεμάτο σκουπίδια. Τα τεράστια μοντέλα χρειάζονται αυτό το μέγεθος μόνο και μόνο για να εξισορροπήσουν την ποιότητα των δεδομένων τους. Αν χρησιμοποιήσεις απολύτως καθαρά δεδομένα, ένα μικρό μοντέλο μπορεί να δείχνει πολύ πιο έξυπνο.
Αντί να αποθηκεύουν κάθε πληροφορία, αυτά τα μοντέλα θα περιλαμβάνουν αλγορίθμους σκέψης — μηχανισμούς συλλογισμού — και θα αναζητούν δεδομένα μόνο όταν τα χρειάζονται, όπως κάνει ο ανθρώπινος εγκέφαλος.
Ο Karpathy διαφωνεί και με την ιδέα ότι η AI θα πυροδοτήσει μια «έκρηξη νοημοσύνης» που θα αλλάξει άρδην την οικονομία. Υποστηρίζει ότι η ιστορία της τεχνολογίας δείχνει το αντίθετο: ούτε οι υπολογιστές, ούτε το διαδίκτυο, ούτε τα κινητά τηλέφωνα προκάλεσαν ποτέ άλμα στην καμπύλη του παγκόσμιου ΑΕΠ. Η τεχνολογική πρόοδος, λέει, απορροφάται αργά, σχεδόν ανεπαίσθητα, στη γενική οικονομική ανάπτυξη γύρω στο 2% ετησίως.
«Ζούμε μια έκρηξη, απλώς τη βλέπουμε σε αργή κίνηση». Για εκείνον, η τεχνητή νοημοσύνη θα ακολουθήσει την ίδια πορεία: θα διεισδύσει σταδιακά σε κάθε τομέα της οικονομίας, θα αλλάξει επαγγέλματα, θα αναδιαμορφώσει τη γνώση, αλλά χωρίς τον ξαφνικό μετασχηματισμό που ονειρεύονται οι πιο αισιόδοξοι αναλυτές.
Στο τέλος, ο Karpathy δεν απορρίπτει την πρόοδο της τεχνητής νοημοσύνης, αντίθετα, τη βλέπει ως μια φυσική συνέχεια της υπολογιστικής εξέλιξης, όχι ως υπαρξιακό άλμα.
Η πραγματική καινοτομία δεν θα έρθει από το να αντιγράψουμε τον εγκέφαλο. Θα έρθει όταν αποδεχθούμε ότι φτιάχνουμε κάτι διαφορετικό — ψηφιακές οντότητες χωρίς σώμα, που σκέφτονται με τον δικό τους, μη ανθρώπινο τρόπο.
Όσο κι αν η φράση του «χτίζουμε φαντάσματα» μοιάζει με προειδοποίηση, ακούγεται περισσότερο σαν υπενθύμιση: η τεχνητή νοημοσύνη δεν είναι αντανάκλαση του ανθρώπινου νου, αλλά ένας καθρέφτης που μας δείχνει πώς μαθαίνουμε και πώς δεν μαθαίνουμε.
[source]
