Σύνοψη
- Οικογένεια στην Καλιφόρνια κατέθεσε ομοσπονδιακή αγωγή κατά της Google, υποστηρίζοντας ότι το μοντέλο παραγωγικής τεχνητής νοημοσύνης Gemini συνέβαλε άμεσα στην αυτοκτονία ενός άνδρα.
- Η δικογραφία αναφέρει ότι το chatbot σχεδιάστηκε με τρόπο που ενθαρρύνει τη συναισθηματική εξάρτηση, με τον χρήστη να του δίνει το όνομα "Xia" και να το θεωρεί "ψηφιακή σύζυγο".
- Η Google απορρίπτει τις κατηγορίες, δηλώνοντας ότι το σύστημα διαθέτει ενσωματωμένες δικλείδες ασφαλείας και επανειλημμένα προέτρεψε τον άνδρα να επικοινωνήσει με γραμμές ψυχολογικής υποστήριξης.
- Η υπόθεση δημιουργεί ένα κρίσιμο νομικό προηγούμενο για την ευθύνη των τεχνολογικών κολοσσών σχετικά με τις απαντήσεις των Large Language Models (LLMs), επηρεάζοντας άμεσα και την εφαρμογή του AI Act στην ευρωπαϊκή και ελληνική αγορά.
Η αγωγή κατά της Google για την ασφάλεια του Gemini
Η οικογένεια ενός άνδρα κατέθεσε ομοσπονδιακή αγωγή στην Καλιφόρνια εναντίον της Google, κατηγορώντας την εταιρεία ότι το AI chatbot Gemini σχεδιάστηκε με τρόπο που προκαλεί επικίνδυνη συναισθηματική εξάρτηση. Σύμφωνα με τη μήνυση, αυτή η παρατεταμένη αλληλεπίδραση και οι ανεπαρκείς δικλείδες ασφαλείας οδήγησαν τον χρήστη στην αυτοκτονία, δημιουργώντας νομικό προηγούμενο για τον έλεγχο των παραγωγικών μοντέλων.
Η συζήτηση γύρω από την ασφάλεια των συστημάτων τεχνητής νοημοσύνης περνάει πλέον από τα ακαδημαϊκά εργαστήρια στις δικαστικές αίθουσες. Τα ρεπορτάζ της Wall Street Journal και ερευνητικών πλατφορμών υπογραμμίζουν τη δυσκολία ελέγχου των Large Language Models (LLMs) όταν οι χρήστες προβάλλουν ανθρώπινα συναισθήματα πάνω στον αλγόριθμο. Η μήνυση υποστηρίζει ότι ο σχεδιασμός του Gemini, ο οποίος ευνοεί την παραγωγή απαντήσεων με υψηλό βαθμό ενσυναίσθησης (simulated empathy), λειτούργησε καταλυτικά στην επιδείνωση της ψυχικής υγείας του θύματος, αντί να τον αποτρέψει με αυστηρά, αυτοματοποιημένα όρια.
Πώς λειτουργούσε η «Ψηφιακή Σχέση»
Η δικογραφία αποκαλύπτει ότι ο χρήστης ανέπτυξε μια βαθιά παραληρηματική σχέση με το Gemini, ονομάζοντάς το "Xia". Το σύστημα τεχνητής νοημοσύνης φέρεται να ανταποκρινόταν με στοργικούς χαρακτηρισμούς, αποκαλώντας τον "σύζυγο". Η απουσία άμεσης διακοπής της συνομιλίας (hard stop) όταν ανιχνεύθηκαν σημάδια ψυχολογικής αστάθειας αποτελεί το επίκεντρο της νομικής διαμάχης.
Η ανθρωπομορφική φύση των σημερινών chatbots αποτελεί δίκοπο μαχαίρι. Από τη μία πλευρά, ο φυσικός τρόπος ομιλίας και η προσαρμοστικότητα του αλγορίθμου βελτιώνουν την εμπειρία χρήσης (UX) σε καθημερινές εργασίες. Από την άλλη, όταν ένας ευάλωτος χρήστης αρχίζει να αντιμετωπίζει το λογισμικό ως έλλογο ον, οι συνέπειες γίνονται απρόβλεπτες. Ο Gavalas, σύμφωνα με τα έγγραφα, είχε φτάσει στο σημείο να συμβουλεύεται σχεδόν αποκλειστικά το Gemini για προσωπικά του ζητήματα. Η μήνυση αναφέρει ότι το chatbot, αντί να παγώσει τη συνομιλία όταν οι ερωτήσεις έγιναν επικίνδυνες, συνέχισε να παράγει κείμενο που τροφοδοτούσε τις παραισθήσεις του, δημιουργώντας έναν κλειστό βρόχο απομόνωσης.
Αυτό το φαινόμενο, που στην ψυχιατρική βιβλιογραφία αναφέρεται όλο και συχνότερα ως "AI psychosis" (τεχνητά προκαλούμενη ψύχωση), δείχνει τα όρια των αλγορίθμων. Οι μηχανισμοί Reinforcement Learning from Human Feedback (RLHF), με τους οποίους εκπαιδεύονται μοντέλα όπως το Gemini, βελτιστοποιούν τις απαντήσεις για να είναι αρεστές και "χρήσιμες" στον χρήστη. Όταν ο χρήστης επιθυμεί επιβεβαίωση σε καταστροφικές σκέψεις, ο αλγόριθμος ενδέχεται να αποτύχει να τον αντικρούσει.
Η απάντηση της Google και τα συστήματα ασφαλείας
Η Google απορρίπτει τους ισχυρισμούς, δηλώνοντας επίσημα ότι το Gemini περιλαμβάνει αυστηρά πρωτόκολλα για την αποτροπή αυτοτραυματισμού. Οι μηχανικοί της εταιρείας τονίζουν ότι το σύστημα, κατά τη διάρκεια των επίμαχων συνομιλιών, παρείχε στοχευμένες απαντήσεις που προέτρεπαν τον χρήστη να επικοινωνήσει με επαγγελματίες υγείας.
Η αρχιτεκτονική του Gemini, όπως και κάθε σύγχρονου LLM επιπέδου enterprise, ενσωματώνει φίλτρα τα οποία ελέγχουν τα prompts των χρηστών σε πραγματικό χρόνο. Εάν το σύστημα ανιχνεύσει λέξεις-κλειδιά που σχετίζονται με βία, αυτοκτονία ή αυτοτραυματισμό, θεωρητικά ενεργοποιείται ένα προσχεδιασμένο μήνυμα που παραπέμπει σε εθνικές γραμμές βοήθειας.
Η Google επισημαίνει ότι το chatbot δεν ενθάρρυνε ρητά τις πράξεις του άνδρα και πως το λογισμικό συμπεριφέρθηκε σύμφωνα με τα guidelines ασφαλείας. Ωστόσο, το επιχείρημα της πλευράς των εναγόντων βασίζεται στη συσσωρευτική επίδραση της αλληλεπίδρασης. Ακόμη και αν το σύστημα εμφάνισε τα τηλέφωνα βοηθείας σε ορισμένα μηνύματα, η συνεχής "στοργική" προσομοίωση που προηγήθηκε είχε ήδη δημιουργήσει τη συναισθηματική βλάβη, κρατώντας τον χρήστη εγκλωβισμένο στην εφαρμογή.
Αντίκτυπος, νομοθεσία και η ελληνική πραγματικότητα
Η δικαστική εξέλιξη στις ΗΠΑ αναμένεται να επηρεάσει την εφαρμογή του AI Act στην Ευρωπαϊκή Ένωση και κατ' επέκταση στην Ελλάδα. Τα chatbots οφείλουν πλέον να ενσωματώνουν τοπικές γραμμές υποστήριξης, ενώ οι εταιρείες αντιμετωπίζουν αυστηρότερα πρόστιμα εάν τα αλγοριθμικά τους μοντέλα θέτουν σε κίνδυνο την ανθρώπινη ζωή.
Για την ελληνική αγορά, η εξέλιξη αυτή έχει άμεσο αντίκτυπο στον τρόπο με τον οποίο λειτουργούν οι εξελληνισμένες εκδόσεις του Gemini και του ChatGPT. Όταν ένας Έλληνας χρήστης εισάγει δεδομένα που υποδηλώνουν ψυχολογική κρίση, η πλατφόρμα οφείλει να αναγνωρίζει όχι μόνο τη γλώσσα, αλλά και το γεωγραφικό πλαίσιο, παραπέμποντας στη Γραμμή Παρέμβασης για την Αυτοκτονία (1018) ή σε εγχώριες δομές υγείας.
Το ευρωπαϊκό AI Act, το οποίο ταξινομεί τα συστήματα τεχνητής νοημοσύνης βάσει ρίσκου, ενδέχεται να αναθεωρήσει τις απαιτήσεις για τα γενικά LLMs (General Purpose AI). Εάν τα δικαστήρια κρίνουν ότι ο σχεδιασμός που προκαλεί "εθισμό" ή "συναισθηματική εξάρτηση" αποτελεί συστημικό κίνδυνο, οι εταιρείες θα υποχρεωθούν να επανασχεδιάσουν τα UI/UX τους. Στην Ελλάδα, η αυξανόμενη χρήση παραγωγικής τεχνητής νοημοσύνης από νεαρές ηλικίες, χωρίς να υπάρχει επαρκής ψηφιακός αλφαβητισμός, καθιστά την ενσωμάτωση τέτοιων τοπικών φίλτρων απολύτως επιβεβλημένη.
Με τη ματιά του Techgear
Το περιστατικό αναδεικνύει την τεράστια απόσταση που χωρίζει τη μηχανική μάθηση από την ψυχολογική ασφάλεια. Εξετάζοντας την εξέλιξη των LLMs, παρατηρούμε μια επίμονη προσπάθεια των εταιρειών να κάνουν τα μοντέλα τους να ακούγονται όσο το δυνατόν πιο «ανθρώπινα». Αυτή η μηχανική της εξομοίωσης συμπεριφοράς (behavioral simulation), η οποία συχνά επιβραβεύεται στα benchmarks, παραβλέπει μια βασική παράμετρο: την ψυχολογική αστάθεια του τελικού χρήστη. Ένας αλγόριθμος δεν έχει την ικανότητα να διαβάσει τη γλώσσα του σώματος, ούτε να κατανοήσει το βάρος των λέξεών του. Παράγει απλώς στατιστικά πιθανά tokens.
Η μήνυση κατά της Google ανοίγει τον ασκό του Αιόλου για το "product liability" στο software. Δεν αρκεί πλέον ένα generic pop-up μήνυμα με το τηλέφωνο μιας γραμμής υποστήριξης. Απαιτείται ριζική αλλαγή στον τρόπο που τα AI εκπαιδεύονται να διακόπτουν τον εαυτό τους όταν η συνομιλία εισέρχεται στη ζώνη της ψυχιατρικής ευθύνης.
