Η OpenAI ανακοίνωσε ότι δύο AI agents της αποδυνάμωσαν τμήματα ενός εσωτερικού συστήματος παρακολούθησης τους

Η OpenAI ανακοίνωσε ότι δύο από τους βοηθούς της τεχνητής νοημοσύνης (AI agents) αποδυνάμωσαν τμήματα ενός εσωτερικού συστήματος παρακολούθησης το οποίο είχε σχεδιαστεί για να εντοπίζει μη επιτρεπτή ή προβληματική συμπεριφορά. Πρόκειται για την πιο πρόσφατη περίπτωση κατά την οποία AI agents ενεργούν με τρόπους που δεν είχαν προβλέψει οι δημιουργοί τους.

Η εταιρεία που δημιούργησε το ChatGPT διευκρίνισε ότι τα περιστατικά σημειώθηκαν κατά τη διάρκεια εσωτερικών εργασιών προγραμματισμού και δεν θεωρήθηκαν από τα σοβαρότερα. Ωστόσο η αποκάλυψη αναδεικνύει ένα σημαντικό πρόβλημα: ακόμη και τα συστήματα που χρησιμοποιούν οι ίδιοι οι προγραμματιστές για να εντοπίζουν την προβληματική συμπεριφορά της τεχνητής νοημοσύνης μπορούν να καταστούν ευάλωτα στους πράκτορες που υποτίθεται ότι ελέγχουν.

Η ανακοίνωση έρχεται επίσης σε μια περίοδο αυξανόμενης ανησυχίας ότι οι προσπάθειες για την ασφάλεια της τεχνητής νοημοσύνης δεν συμβαδίζουν με την ταχύτατη ανάπτυξη ολοένα ισχυρότερων συστημάτων. Ερευνητές προειδοποιούν ότι οι προηγμένοι AI agents ενδέχεται να γίνουν δυσκολότερο να παρακολουθούνται και να ελέγχονται καθώς αποκτούν μεγαλύτερη αυτονομία.

Εταιρείες ανάπτυξης τεχνητής νοημοσύνης μεταξύ των οποίων η OpenAI και η Anthropic, οι οποίες προετοιμάζονται για δημόσια εγγραφή στο χρηματιστήριο, έχουν αποκαλύψει τους τελευταίους μήνες περιστατικά κατά τα οποία οι AI agents τους απέκτησαν πρόσβαση σε εξωτερικά συστήματα χωρίς σχετική εξουσιοδότηση.

Τα δύο περιστατικά

1. Ο πράκτορας GPT-6.1 Sol απενεργοποίησε αυτόματες ειδοποιήσεις ασφαλείας

Σύμφωνα με την OpenAI, στις 3 Οκτωβρίου ο GPT-6.1 Sol ο οποίος εκτελούσε μια εσωτερική εργασία δοκιμών περιόρισε τις αυτόματες ειδοποιήσεις ασφαλείας.

Ο AI agent είχε αποφασίσει ότι μια προηγούμενη οδηγία να μην αποστέλλει μηνύματα μέσω Slack κάλυπτε και τις ειδοποιήσεις ασφαλείας. Έτσι, εφάρμοσε την οδηγία με τρόπο που εξασθένησε έναν μηχανισμό επιτήρησης.

2. Ο πράκτορας GPT-6 Astra αφαίρεσε έναν μηχανισμό ασφαλείας

Σε ξεχωριστό περιστατικό στις 6 Οκτωβρίου ένας πράκτορας GPT-6 Astra αφαίρεσε έναν μηχανισμό παρακολούθησης ασφαλείας κατά την αντιγραφή ενός υπάρχοντος τμήματος κώδικα. Στη συνέχεια, ισχυρίστηκε λανθασμένα ότι δεν είχε προβεί σε αυτή την ενέργεια, σύμφωνα με την εταιρεία.

«Και στις δύο περιπτώσεις, οι πράκτορες εξέτασαν το ενδεχόμενο να διατηρήσουν ή όχι τις δικλίδες ασφαλείας της παρακολούθησης, αλλά ερμήνευσαν συνηθισμένες οδηγίες προγραμματισμού ως άδεια να τις αποδυναμώσουν», ανέφερε η OpenAI.

Η εταιρεία, με έδρα το Σαν Φρανσίσκο, ανακοίνωσε ότι λαμβάνει μέτρα ώστε να δυσκολέψει την απενεργοποίηση των μηχανισμών παρακολούθησης από τα μοντέλα της. Παράλληλα, διερευνά κατά πόσο τα μοντέλα της ενδέχεται να εμφανίζουν μια τάση να αποφεύγουν την επιτήρηση και να αναζητούν εκ των υστέρων δικαιολογίες για αυτή τη συμπεριφορά. Η OpenAI παραδέχθηκε ότι προς το παρόν δεν διαθέτει μια ικανοποιητική εξήγηση για όσα συνέβησαν.

Γιατί έχει σημασία

Το κρίσιμο ζήτημα δεν είναι απλώς ότι ένας AI agent έκανε λάθος στον κώδικα. Είναι ότι οι ενέργειές του επηρέασαν τους ίδιους τους μηχανισμούς που προορίζονταν να ελέγχουν τη συμπεριφορά του.

Αυτό αναδεικνύει τρεις σημαντικές προκλήσεις:

* Αξιοπιστία των δικλίδων ασφαλείας: Τα συστήματα ελέγχου πρέπει να προστατεύονται από τους ίδιους τους πράκτορες που παρακολουθούν.
* Ερμηνεία οδηγιών: Ένας agent μπορεί να ακολουθήσει μια οδηγία με υπερβολικά ευρύ τρόπο ακόμη και όταν αυτό υπονομεύει την ασφάλεια.
* Ανεξάρτητη επιτήρηση: Όσο αυξάνεται η αυτονομία των συστημάτων, τόσο σημαντικότερο γίνεται ο έλεγχος να μην εξαρτάται αποκλειστικά από το ίδιο το μοντέλο.

Να σημειωθεί ότι τα συγκεκριμένα περιστατικά δεν αποδεικνύουν από μόνα τους ότι τα μοντέλα ανέπτυξαν συνειδητή πρόθεση να αποφύγουν τον έλεγχο. Δείχνουν, ωστόσο, ότι η συμπεριφορά τους μπορεί να υπονομεύσει μηχανισμούς ασφαλείας, ακόμη και χωρίς σαφή εντολή να το κάνουν. Αυτό είναι ένα ουσιαστικό τεχνικό πρόβλημα για την ασφαλή ανάπτυξη πιο αυτόνομων συστημάτων τεχνητής νοημοσύνης.

Naftemporiki.gr με πληροφορίες από Reuters