Μια αμερικανική startup υποστηρίζει ότι ανέπτυξε τον μικρότερο υπερυπολογιστή τεχνητής νοημοσύνης στον κόσμο, μια συσκευή τόσο μικρή ώστε να χωρά στην τσέπη, αλλά αρκετά ισχυρή ώστε να εκτελεί τοπικά μεγάλα γλωσσικά μοντέλα (LLM) που μέχρι σήμερα απαιτούσαν υποδομές επιπέδου data center.
Το AI Pocket Lab, όπως ονόμασαν τη συσκευή οι δημιουργοί της στην Tiiny AI, είναι ικανό να εκτελεί τοπικά ένα πολύπλοκο LLM 120 δισεκατομμυρίων παραμέτρων, χωρίς να εξαρτάται από σύνδεση στο διαδίκτυο. Αυτό σημαίνει ότι λειτουργίες όπως επίλυση σύνθετων προβλημάτων, υπολογισμούς πολλών βημάτων, επεξεργασία εγγράφων ή ακόμη και προχωρημένες δυνατότητες προγραμματισμού θα μπορούσαν θεωρητικά να γίνονται χωρίς αποστολή δεδομένων στο cloud, αναφέρει το LiveScience. Η Tiiny AI συνδέει αυτή τη δυνατότητα με αυτό που αποκαλεί «Ph.D. intelligence» (νοημοσύνη επιπέδου διδακτορικού), που επιτρέπει αφηρημένη σκέψη, στρατηγικό σχεδιασμό και πιο αυτόνομη ανάλυση.
Η συσκευή βασίζεται σε επεξεργαστή ARM 12 πυρήνων, αρχιτεκτονική γνωστή από smartphones, tablets και ελαφρούς υπολογιστές. Παρά το μικρό της μέγεθος – περίπου 14,2 επί 8 επί 2,53 εκατοστά – διαθέτει 80 GB μνήμης LPDDR5X, ποσότητα εξαιρετικά μεγάλη για τόσο συμπαγές σύστημα. Από αυτή τη μνήμη, τα 48 GB είναι δεσμευμένα ειδικά για τη μονάδα νευρωνικής επεξεργασίας, ή NPU, δηλαδή το τσιπ που έχει σχεδιαστεί για υπολογισμούς τεχνητής νοημοσύνης. Η συνολική υπολογιστική ισχύς φθάνει, κατά την εταιρεία, τα 190 TOPS (τρισεκατομμύρια πράξεις ανά δευτερόλεπτο), επίδοση που χρησιμοποιείται για να υποστηριχθεί ο χαρακτηρισμός «υπερυπολογιστής» σε μια συσκευή αυτού του μεγέθους.
Πώς συμπυκνώθηκε τόση ισχύς σε τόσο μικρό κουτί
Η Tiiny AI αποδίδει αυτή την πυκνότητα ισχύος σε δύο βασικές τεχνολογικές επιλογές. Η πρώτη είναι μια τεχνική που αποκαλεί TurboSparse, μέσω της οποίας το σύστημα ενεργοποιεί μόνο τα τμήματα του μοντέλου που χρειάζονται κάθε στιγμή, αντί να χρησιμοποιεί όλες τις παραμέτρους σε κάθε βήμα επεξεργασίας. Η δεύτερη είναι το PowerInfer, ένας μηχανισμός που κατανέμει δυναμικά τα φορτία ανάμεσα σε CPU, GPU και NPU, έτσι ώστε κάθε υπολογιστικό στοιχείο να αναλαμβάνει την εργασία που διαχειρίζεται αποδοτικότερα, περιορίζοντας παράλληλα και την κατανάλωση ενέργειας.
Η εμφάνιση τέτοιων συσκευών εντάσσεται στη γενικότερη στροφή προς το λεγόμενο edge computing στην τεχνητή νοημοσύνη, δηλαδή την εκτέλεση προηγμένων εργασιών σε τοπικές συσκευές αντί σε απομακρυσμένα κέντρα δεδομένων. Οι υποστηρικτές αυτής της προσέγγισης τονίζουν ότι μπορεί να μειώσει την ενεργειακή επιβάρυνση των data centers, να ενισχύσει την ιδιωτικότητα των χρηστών και να επιτρέψει χρήση ισχυρής AI σε περιβάλλοντα χωρίς συνδεσιμότητα, όπως ερευνητικοί σταθμοί, πλοία ή αεροσκάφη.