Μια σημαντική πρωτοβουλία που υπόσχεται να αλλάξει τον τρόπο με τον οποίο τα εργαλεία τεχνητής νοημοσύνης συλλέγουν πληροφορίες από τον ιστό φέρνει στο προσκήνιο η Cloudflare. Η εταιρεία ανακοίνωσε ένα νέο σύστημα διαχείρισης πρόσβασης AI crawlers, επιτρέποντας στους ιδιοκτήτες ιστοσελίδων όχι μόνο να μπλοκάρουν ανεπιθύμητους «ψηφιακούς επισκέπτες», αλλά και να τους χρεώνουν για την πρόσβαση στο περιεχόμενό τους.
Με τον τίτλο "pay per crawl", η νέα λειτουργία αξιοποιεί μια σχεδόν ξεχασμένη λειτουργία του πρωτοκόλλου HTTP – τον κωδικό απόκρισης 402, γνωστό ως "Payment Required". Μέσα από αυτή τη δυνατότητα, οι δημιουργοί περιεχομένου μπορούν να ορίζουν συγκεκριμένους κανόνες για το ποιοι crawlers μπορούν να έχουν δωρεάν πρόσβαση, ποιοι πρέπει να πληρώσουν και ποιοι απορρίπτονται εντελώς.
Πρόκειται για μια εξέλιξη που ενδέχεται να αλλάξει την ισορροπία δυνάμεων ανάμεσα στους δημιουργούς περιεχομένου και τις μεγάλες πλατφόρμες τεχνητής νοημοσύνης, οι οποίες μέχρι σήμερα μπορούσαν να «σκανάρουν» και να εκπαιδεύονται με περιεχόμενο ιστοσελίδων χωρίς ιδιαίτερη εποπτεία.
Η ενεργοποίηση του HTTP κωδικού 402 σηματοδοτεί προς τον crawler ότι απαιτείται πληρωμή για την πρόσβαση στο περιεχόμενο. Αν το εργαλείο τεχνητής νοημοσύνης είναι έτοιμο να πληρώσει, συνεχίζει την πρόσβαση. Διαφορετικά, η είσοδος του απορρίπτεται. Παράλληλα, οι διαχειριστές της εκάστοτε ιστοσελίδας μπορούν να δηλώνουν πως είναι ανοικτοί σε εμπορική συμφωνία με τον crawler, κάτι που ενισχύει τη διαφάνεια και προσφέρει δυνατότητα μελλοντικής συνεργασίας.
Η Cloudflare έχει προβλέψει και την περίπτωση παραποίησης ταυτότητας από κακόβουλα bots. Για να εξασφαλίσει την αυθεντικότητα του crawler, εφαρμόζει ένα εξελιγμένο σύστημα πιστοποίησης που βασίζεται σε τρία «headers»: signature-agent, signature-input και signature. Αυτά λειτουργούν σε συνδυασμό με ένα δημόσιο κλειδί Ed25519, αποθηκευμένο σε ειδικό κατάλογο της Cloudflare, το οποίο συγκρίνεται με την υπογραφή του crawler και τις πληροφορίες του user agent.
Μόνο εάν οι υπογραφές ταιριάζουν και ο crawler είναι εγγεγραμμένος στο σύστημα της Cloudflare, επιτρέπεται η πρόσβαση, αλλιώς, η σύνδεση διακόπτεται. Έτσι, οι δημιουργοί ιστοσελίδων προστατεύονται από bots που παριστάνουν πως ανήκουν σε νόμιμες υπηρεσίες.
Η Cloudflare επιτρέπει στους AI crawlers να καθορίζουν τον δικό τους προϋπολογισμό για την περιήγησή τους στο διαδίκτυο, χάρη στην υποστήριξη ειδικών headers όπως το crawler-max-price. Ο ιδιοκτήτης του ιστότοπου μπορεί να ορίσει μια προτεινόμενη τιμή πρόσβασης μέσω του crawler-price header, και εάν αυτή βρίσκεται εντός των ορίων του crawler, τότε η πρόσβαση γίνεται αποδεκτή.
Με αυτό το σύστημα, η πρόσβαση στα δεδομένα γίνεται συναλλαγή, κάτι που μέχρι σήμερα δεν υπήρχε. Δημιουργείται έτσι η προοπτική ενός νέου οικοσυστήματος, όπου η απόκτηση περιεχομένου από τα μοντέλα AI δεν θα γίνεται δωρεάν ή αυθαίρετα, αλλά με ανταλλακτική αξία προς τους δημιουργούς.
Η Cloudflare φαντάζεται ένα μέλλον όπου κάθε AI agent που ανταποκρίνεται σε ένα prompt, όπως τα γνωστά μεγάλα γλωσσικά μοντέλα, θα διαθέτει έναν περιορισμένο προϋπολογισμό για να αντλεί περιεχόμενο από τον ιστό. Έτσι, η ποιότητα των απαντήσεων θα εξαρτάται από το πόσο αξιόλογες και επίκαιρες είναι οι πληροφορίες που αποκτώνται, ενισχύοντας όχι μόνο τη διαφάνεια αλλά και τη δίκαιη αμοιβή όσων παράγουν περιεχόμενο.
Αν και η λειτουργία pay per crawl βρίσκεται ακόμη σε φάση δοκιμών (private beta), η Cloudflare καλεί όσους ενδιαφέρονται να επικοινωνήσουν μέσω της επίσημης ιστοσελίδας της. Η στρατηγική αυτή ενδέχεται να αποτελέσει προπομπό για ένα γενικότερο κίνημα δικαιωμάτων και αποζημίωσης των δημιουργών περιεχομένου απέναντι στην επερχόμενη κυριαρχία της τεχνητής νοημοσύνης.
[via]
