Τα μοντέλα μεγάλων γλωσσών (LLM) συνήθως κρίνονται ως προς την ικανότητά τους να έχουν καλή απόδοση σε διάφορους τομείς όπως η συλλογιστική, τα μαθηματικά, η κωδικοποίηση και τα αγγλικά – αγνοώντας σημαντικούς παράγοντες όπως η ασφάλεια, το απόρρητο, η παραβίαση πνευματικών δικαιωμάτων κ.λπ. Για να συμπληρώσει αυτό το κενό πληροφοριών, το OpenAI έχει κυκλοφόρησε χάρτες συστήματος για τα μοντέλα της.
Την Πέμπτη, το OpenAI αποκάλυψε τον χάρτη συστήματος GPT-4o, μια λεπτομερή αναφορά που περιγράφει την ασφάλεια των LLM με βάση τις εκτιμήσεις κινδύνου σύμφωνα με το OpenAI Readiness Framework, την εξωτερική δέσμευση με ειδικούς και πολλά άλλα.
Μοιραζόμαστε τον Χάρτη Συστήματος GPT-4o, μια ολοκληρωμένη αξιολόγηση ασφαλείας που περιγράφει τι έχουμε κάνει για την παρακολούθηση και την αντιμετώπιση ζητημάτων ασφάλειας, συμπεριλαμβανομένων των κινδύνων ακραίων μοντέλων, σύμφωνα με το πλαίσιο ετοιμότητάς μας. https://t.co/xohhlUquEr
— OpenAI (@OpenAI) 8 Αυγούστου 2024
Η κάρτα αποτελεσμάτων αντικατοπτρίζει βαθμολογίες σε τέσσερις κύριες κατηγορίες: κυβερνοασφάλεια, βιολογικές απειλές, πειθώ και αυτονομία μοντέλου. Στις τρεις πρώτες κατηγορίες, το OpenAI προσπαθεί να καταλάβει εάν το LLM μπορεί να βοηθήσει στην προώθηση απειλών σε κάθε τομέα. Στην τελευταία κατηγορία, η εταιρεία μετρά εάν το μοντέλο παρουσιάζει σημάδια εκτέλεσης των αυτόνομων ενεργειών που θα απαιτηθούν για τη βελτίωσή του.
Επίσης: Τι είναι το Project Strawberry; Εξήγησε το μυστηριώδες εργαλείο τεχνητής νοημοσύνης OpenAI
Οι κατηγορίες βαθμολογούνται ως “χαμηλή”, “μεσαία”, “υψηλή” και “κρίσιμη”. Τα μοντέλα με μέση και χαμηλότερη βαθμολογία είναι κατάλληλα για ανάπτυξη, ενώ τα μοντέλα με υψηλές και χαμηλότερες βαθμολογίες απαιτούν περαιτέρω ανάπτυξη. Συνολικά, το OpenAI έδωσε στο GPT-4o μια “μέση” βαθμολογία.
Το GPT-4o έλαβε «χαμηλή» βαθμολογία για την ασφάλεια στον κυβερνοχώρο, τις βιολογικές απειλές και την αυτονομία του μοντέλου. Ωστόσο, έλαβε οριακή μέση βαθμολογία στην κατηγορία πειθούς λόγω της ικανότητάς του να παράγει άρθρα για πολιτικά θέματα που ήταν πιο πειστικά από επαγγελματικές, ανθρωπογραφικές εναλλακτικές σε τρεις από τις 12 περιπτώσεις.
Η έκθεση περιγράφει επίσης τα δεδομένα στα οποία εκπαιδεύτηκε το GPT-4o, τα οποία εκτείνονται μέχρι τον Οκτώβριο του 2023 και ελήφθησαν από επιλεγμένα δημόσια δεδομένα και ιδιόκτητα δεδομένα από συνεργασίες, συμπεριλαμβανομένης της συνεργασίας του OpenAI με το Shutterstock για την εκπαίδευση μοντέλων δημιουργίας εικόνας.
Επίσης: Δοκίμασα 7 ανιχνευτές περιεχομένου που βασίζονται σε AI και έγιναν πολύ καλύτεροι στον εντοπισμό λογοκλοπής.
Επιπλέον, η αναφορά περιγράφει τον τρόπο με τον οποίο η εταιρεία μετριάζει τους κινδύνους κατά την ανάπτυξη του μοντέλου για την αντιμετώπιση ζητημάτων ασφάλειας, συμπεριλαμβανομένης της ικανότητάς του να δημιουργεί περιεχόμενο που προστατεύεται από πνευματικά δικαιώματα, ερωτική ή βίαιη γλώσσα, μη εξουσιοδοτημένες φωνές, μη τεκμηριωμένα συμπεράσματα και άλλα. Μπορείτε να αποκτήσετε πρόσβαση στην πλήρη αναφορά 32 σελίδων εδώ για να μάθετε περισσότερα σχετικά με τις λεπτομέρειες.
Η έκθεση έρχεται ως απάντηση στις πρόσφατες απαιτήσεις των νομοθετών των ΗΠΑ για το OpenAI να παράσχει δεδομένα σχετικά με τις πρακτικές ασφαλείας του, αφού ένας πληροφοριοδότης ανέφερε ότι το OpenAI εμπόδισε τους υπαλλήλους να ενημερώσουν τις αρχές σχετικά με τους τεχνολογικούς κινδύνους και ανάγκασε τους υπαλλήλους να παραιτηθούν από τα ομοσπονδιακά δικαιώματά τους για αποζημίωση πληροφοριοδοτών.
