Μετά από 50 χρόνια, είναι ώρα να πείτε αντίο στο πληκτρολόγιο;

Μια επισκόπηση των διεπαφών ανθρώπου-υπολογιστή. Τι έρχεται μετά την οθόνη αφής και την αναγνώριση φωνής;

Ένα Apple Watch, το οποίο δεν θεωρείται καν πολύ ισχυρός υπολογιστής, μπορεί να επεξεργάζεται gigabytes δεδομένων κάθε δευτερόλεπτο. Ο εγκέφαλός μας έχει δεκάδες δισεκατομμύρια νευρώνες και πάνω από τετρα δισεκατομμύρια συνδέσεις, και ο ανθρώπινος εγκέφαλος επεξεργάζεται ένα τεράστιο όγκο δεδομένων κάθε δευτερόλεπτο, τα οποία δεν μπορούμε καν να εκτιμήσουμε. Ωστόσο, το ταπεινό πληκτρολόγιο και το ποντίκι, εξακολουθούν να είναι η ταχύτερη γέφυρα μεταξύ του ισχυρού ανθρώπινου εγκεφάλου και του εξαιρετικά γρήγορου κόσμου των 0 και 1s.

Το Apple Watch είναι 250 φορές πιο ισχυρό από τον υπολογιστή που προσγειώθηκε το Apollo στο φεγγάρι. Ενώ οι υπολογιστές έχουν εξελιχθεί από το να καταλαμβάνουν ένα ολόκληρο κτίριο σε μόλις νανόμετρα, τα πληκτρολόγια παραμένουν η πιο αξιόπιστη και ευρύτερα χρησιμοποιούμενη διεπαφή ανθρώπου-υπολογιστή.

Η εφεύρεση ενός πληκτρολογίου υπολογιστή ξεκινά από πάνω από 50 χρόνια. Δημόσιος τομέας.Ένας άντρας ερωτεύεται τον βοηθό φωνής του στην ταινία «Her».

Μετακίνηση πέρα ​​από το πληκτρολόγιο και το ποντίκι;

Οι υπολογιστές ενσωματώνονται σε διαφορετικά αντικείμενα και επειδή δεν μπορούμε να συνδέσουμε ένα πληκτρολόγιο και ποντίκι σε κάθε αντικείμενο γύρω μας, πρέπει να βρούμε άλλες διεπαφές. Η τρέχουσα λύση για αλληλεπίδραση με έξυπνα αντικείμενα, γνωστή και ως IoT, είναι μέσω της αναγνώρισης φωνής που προφανώς έχει περιορισμούς όπως η δημόσια χρήση. Ας ρίξουμε μια ματιά στις μεθόδους που επεξεργάζονται ερευνητές και εταιρείες αυτή τη στιγμή.

Αφή

Οι εξελίξεις στην τεχνολογία πολλαπλών αφής και στις κινήσεις πολλαπλών αφής (όπως τσίμπημα) έχουν κάνει την οθόνη αφής το αγαπημένο περιβάλλον εργασίας. Οι ερευνητές και οι νεοσύστατες επιχειρήσεις εργάζονται σε μια καλύτερη εμπειρία αφής, από το να καταλάβουν πόσο σταθερή είναι η αφή σας, ποιο μέρος του δακτύλου σας αγγίζει και ποιον το δάχτυλό σας αγγίζει.

Το 3D Touch του iPhone ανιχνεύει δύναμη. Πηγή Giphy.

Φωνή

Η DARPA χρηματοδότησε έρευνα σε αυτόν τον τομέα τη δεκαετία του '70! αλλά η φωνή μέχρι πρόσφατα δεν ήταν χρήσιμη. Χάρη στη βαθιά μάθηση, τώρα έχουμε πολύ καλή αναγνώριση φωνής. Η μεγαλύτερη πρόκληση με τη φωνή αυτή τη στιγμή δεν είναι η μεταγραφή, αλλά η αντίληψη του νοήματος βάσει του πλαισίου.

Μάτι

Στην παρακολούθηση των ματιών, είτε μετράμε το βλέμμα (όπου κοιτάζει) είτε την κίνηση του ματιού σε σχέση με το κεφάλι. Με τη μείωση του κόστους των φωτογραφικών μηχανών και των αισθητήρων καθώς και την αύξηση της δημοτικότητας των γυαλιών εικονικής πραγματικότητας, η παρακολούθηση των ματιών ως διεπαφή καθίσταται χρήσιμη.

Η Tobii, η οποία είχε IPO το 2015, συνεργάζεται με κατασκευαστές ηλεκτρονικών ειδών ευρείας κατανάλωσης για να ενσωματώσει την τεχνολογία παρακολούθησης των ματιών τους. Πηγή εικόνας: Flickr.

Χειρονομία

Ο έλεγχος χειρονομίας είναι η διεπαφή ανθρώπου-υπολογιστή που βρίσκεται πιο κοντά στην καρδιά μου. Έχω κάνει προσωπικά επιστημονική έρευνα για διάφορες μεθόδους ελέγχου χειρονομίας. Μερικές από τις τεχνολογίες που χρησιμοποιούνται για την ανίχνευση χειρονομιών είναι:

Μονάδα μέτρησης αδράνειας (IMU)

Τα δεδομένα από επιταχυνσιόμετρο, γυροσκόπιο και πυξίδα (όλα ή μερικά από αυτά) χρησιμοποιούνται για την ανίχνευση χειρονομιών. Η ανάγκη επαναβαθμονόμησης και χαμηλότερης ακρίβειας είναι μερικά από τα προβλήματα αυτής της μεθόδου.

Υπέρυθρες + Κάμερα (Αισθητήρας βάθους)

Τα περισσότερα από τα δροσερά συστήματα ανίχνευσης χειρονομιών που έχουμε δει χρησιμοποιούν έναν συνδυασμό κάμερας υψηλής ποιότητας συν υπέρυθρου φωτισμού και κάμερας υπέρυθρης ακτινοβολίας. Βασικά πώς λειτουργεί είναι ότι προβάλλει χιλιάδες μικρές κουκκίδες στη σκηνή και με βάση το πόσο μακριά είναι ένα αντικείμενο, η παραμόρφωση είναι διαφορετική (υπάρχουν διαφορετικές μέθοδοι όπως το ToF που δεν θα πάω). Το Kinect, το RealSense της Intel, το Leap Motion, το Tango της Google, χρησιμοποιούν όλες τις παραλλαγές αυτής της τεχνολογίας.

Το Leap Motion είναι μια καταναλωτική συσκευή για το Gesture Control.Η Apple το έκανε ένα βήμα προς τα εμπρός ενσωματώνοντας όλα αυτά στην μπροστινή κάμερα του iPhone X για το FaceID.

Ηλεκτρομαγνητικό πεδίο

Σε αυτήν τη μέθοδο, το δάχτυλο ή το σώμα του χρήστη ενεργεί ως αγώγιμο αντικείμενο που παραμορφώνει ένα ηλεκτρομαγνητικό πεδίο που παράγεται τοποθετώντας κεραίες πομπού και δέκτη σε ένα αντικείμενο.

Ραντάρ

Τα ραντάρ έχουν χρησιμοποιηθεί από καιρό για την παρακολούθηση αντικειμένων, από αεροπλάνα έως πλοία και αυτοκίνητα. Η ομάδα προηγμένων τεχνολογιών και έργων της Google (ATAP) έκανε μια αξιοσημείωτη δουλειά συρρικνώνοντας το ραντάρ σε μικροτσίπ 8 mm έως 10 mm. Αυτό το γενικό chipset ελέγχου χειρονομίας μπορεί να ενσωματωθεί σε smartwatch, τηλεοράσεις και άλλα αντικείμενα για παρακολούθηση κινήσεων.

Το Project Soli του Google ATAP. Πηγή: Ιστοσελίδα της Soli.Διεπαφή μηχανών μυών από τα Thalmic Labs. Πηγή: Το βίντεο του Thalmic.

Βιοσήματα

Εάν δεν έχετε κάνει ακόμα WOW, ας το πάμε ακόμη περισσότερο. Όλες οι μέθοδοι που αναφέρθηκαν παραπάνω, μετρούν και εντοπίζουν ένα υποπροϊόν των χειρονομιών μας.

Με την επεξεργασία των σημάτων που προέρχονται απευθείας από τα νεύρα στους μυς μας, μπορούμε να φτάσουμε ένα βήμα πιο κοντά στην πρόθεση.

Το Surface EMG (sEMG) που αποκτάται με την τοποθέτηση αισθητήρων στο δέρμα πάνω από τον δικέφαλο / τρικέφαλο ή το αντιβράχιο σας, λαμβάνει ένα σήμα από διαφορετικές μονάδες κινητικών μυών. Ενώ το sEMG είναι ένα πολύ θορυβώδες σήμα, είναι δυνατό να εντοπιστεί ένας αριθμός κινήσεων.

Το Myo by Thalmic Labs ήταν μία από τις πρώτες εταιρείες που ανέπτυξαν μια καταναλωτική συσκευή βασισμένη στο sEMG. Πηγή Imgur.

Στην ιδανική περίπτωση, θα θέλατε να φοράτε τους αισθητήρες στον καρπό. Ωστόσο, οι μύες στον καρπό είναι βαθιές και ως εκ τούτου είναι δύσκολο να αποκτήσετε ένα σήμα που θα μπορούσε να χρησιμοποιηθεί με ακρίβεια για την ανίχνευση χειρονομίας.

Μια νέα εταιρεία, που ονομάζεται CTRL Labs, κάνει τον έλεγχο χειρονομίας από τα σήματα καρπού sEMG. Η συσκευή CTRL Labs μετρά το σήμα sEMG και ανιχνεύει τη νευρική κίνηση που προέρχεται από τον εγκέφαλο πίσω από αυτήν την κίνηση. Αυτό είναι ένα βήμα πιο κοντά στον εγκέφαλο. Με την τεχνολογία τους, θα μπορούσατε να βάλετε τα χέρια σας στις τσέπες σας και να πληκτρολογήσετε το τηλέφωνό σας.

Διεπαφή εγκεφάλου-υπολογιστή

Τον περασμένο χρόνο, έχουν συμβεί πολλά. Η DARPA ξοδεύει 65 εκατομμύρια $ για τη χρηματοδότηση Neural Interfaces. Ο Elon Musk έχει συγκεντρώσει 27 εκατομμύρια δολάρια για το Neuralink, ο Kernel έχει χρηματοδότηση 100 εκατομμυρίων δολαρίων από τον ιδρυτή του Bryan Johnson και το Facebook εργάζεται σε μια διεπαφή υπολογιστή εγκεφάλου. Υπάρχουν δύο πολύ διαφορετικοί τύποι BCI:

Μη επεμβατική BCI

Το ElectroEncephaloGraphy (EEG) λαμβάνει σήμα από το δέρμα στο τριχωτό της κεφαλής.

Είναι σαν να βάζεις ένα μικρόφωνο πάνω από ένα γήπεδο ποδοσφαίρου. Δεν θα ξέρετε για τι μιλάει κάθε άτομο, αλλά μπορείτε να καταλάβετε εάν έχει σημειωθεί ένα γκολ (από τα δυνατά πανηγύρια και τα χειροκρότημα!).

Οι διεπαφές που βασίζονται σε EEG δεν διαβάζουν πραγματικά το μυαλό σας. Για παράδειγμα, το πιο χρησιμοποιημένο παράδειγμα BCI είναι το P300 Speller. Θέλετε να πληκτρολογήσετε το γράμμα "R". Ο υπολογιστής εμφανίζει τυχαία διαφορετικούς χαρακτήρες. Μόλις δείτε το "R" στην οθόνη, τότε ο εγκέφαλός σας εκπλήσσεται και εκπέμπει ένα ειδικό σήμα. Είναι έξυπνο, αλλά δεν θα το αποκαλούσα «ανάγνωση μυαλού» επειδή δεν μπορούμε να εντοπίσουμε τη σκέψη για το «R», αλλά μάλλον βρήκαμε ένα μαγικό τέχνασμα που λειτουργεί.

Εταιρείες όπως οι Emotiv, NeuroSky, Neurable και μερικές άλλες έχουν αναπτύξει ακουστικά EEG ποιότητας καταναλωτή. Το Facebook Building 8 ανακοίνωσε ένα έργο σχετικά με το Brain Typing το οποίο χρησιμοποιεί μια άλλη τεχνική ανίχνευσης εγκεφάλου που ονομάζεται λειτουργική φασματοσκοπία Near Infrared (fNIRS), η οποία στοχεύει στην επίτευξη ταχύτητας 100 λέξεων ανά λεπτό.

Νευρικός. Πηγή: Neurable Website

Επεμβατική BCI

Αυτή είναι η απόλυτη διεπαφή ανθρώπου-υπολογιστή και λειτουργεί τοποθετώντας ηλεκτρόδια μέσα στον εγκέφαλο, ωστόσο, υπάρχουν σοβαρές προκλήσεις που πρέπει να ξεπεραστούν.

Ταινία αναφοράς μειονοτήτων. Flickr.

Προκλήσεις

Μπορεί να σας έχει συμβεί ότι λαμβάνοντας υπόψη όλες τις ενδιαφέρουσες τεχνολογίες που αναφέρονται παραπάνω, γιατί εξακολουθούμε να περιορίζουμε τη χρήση πληκτρολογίου και ποντικιού. Υπάρχουν ορισμένα χαρακτηριστικά στη λίστα ελέγχου που πρέπει να σημειωθούν για μια τεχνολογία αλληλεπίδρασης ανθρώπου-υπολογιστή για να φτάσει στη μαζική αγορά.

Ακρίβεια

Θα χρησιμοποιούσατε μια οθόνη αφής ως την κύρια διεπαφή εάν λειτουργούσε μόνο 7 στις 10 φορές; Για να χρησιμοποιηθεί μια διεπαφή ως η κύρια διεπαφή πρέπει να έχει πολύ υψηλή ακρίβεια.

Αφάνεια

Φανταστείτε για μια στιγμή ότι τα γράμματα που πληκτρολογείτε στο πληκτρολόγιο εμφανίζονται ένα δευτερόλεπτο αφού πατήσετε το πλήκτρο. Ακριβώς ότι ένα δευτερόλεπτο θα σκότωνε την εμπειρία. Μια διεπαφή ανθρώπου-υπολογιστή που έχει καθυστέρηση πάνω από μερικές εκατοντάδες χιλιοστά του δευτερολέπτου είναι απλά άχρηστη.

Εκπαίδευση

Μια διεπαφή ανθρώπου-υπολογιστή δεν πρέπει να απαιτεί από τον χρήστη να ξοδεύει πολύ χρόνο μαθαίνοντας νέες κινήσεις (δηλαδή για να μάθει μια χειρονομία για κάθε γράμμα αλφαβήτου!)

Ανατροφοδότηση

Ο ήχος κλικ του πληκτρολογίου, η δόνηση ενός τηλεφώνου, ο ήχος μικρού ήχου ενός βοηθού φωνής, όλοι σκοπεύουν να κλείσουν το βρόχο ανατροφοδότησης. Ο βρόχος ανατροφοδότησης είναι μια από τις πιο σημαντικές πτυχές οποιουδήποτε σχεδιασμού διεπαφής που συχνά δεν γίνεται αντιληπτό από τους χρήστες. Ο εγκέφαλός μας συνεχίζει να αναζητά μια επιβεβαίωση ότι η δράση του απέδωσε αποτέλεσμα.

Ένας από τους λόγους για τους οποίους είναι πολύ δύσκολο να αντικαταστήσετε το πληκτρολόγιο χρησιμοποιώντας οποιαδήποτε συσκευή ελέγχου χειρονομίας είναι η έλλειψη ισχυρών βρόχων ανατροφοδότησης.

Το μέλλον των διεπαφών ανθρώπου-υπολογιστή

Λόγω των παραπάνω προκλήσεων, φαίνεται ότι δεν είμαστε ακόμη σε θέση να αντικαταστήσουμε τα πληκτρολόγια, τουλάχιστον όχι ακόμη. Αυτό πιστεύω ότι θα είναι το μέλλον των διεπαφών:

  • Multimodal: Θα χρησιμοποιούμε διαφορετικές διεπαφές σε διαφορετικές περιπτώσεις. Ενδέχεται να εξακολουθούμε να χρησιμοποιούμε το πληκτρολόγιο για πληκτρολόγηση, οθόνες αφής για σχεδίαση και σχεδιασμό, φωνή για αλληλεπίδραση με τους ψηφιακούς προσωπικούς βοηθούς μας, έλεγχο χειρονομίας με βάση ραντάρ στο αυτοκίνητο, έλεγχος χειρονομίας με βάση μυς για παιχνίδια και VR και Επιλογές εγκεφάλου-υπολογιστή για επιλογή η καλύτερη μουσική για να παίξετε για τη διάθεσή σας.
  • Γνωρίζοντας τα συμφραζόμενα: Διαβάζετε ένα άρθρο στον φορητό υπολογιστή σας σχετικά με τις πυρκαγιές στη βόρεια Καλιφόρνια και, στη συνέχεια, ρωτάτε τον βοηθό φωνής σας στο έξυπνο ακουστικό σας «Πόσο άνεμος είναι εκεί;». Πρέπει να καταλάβετε ότι αναφέρεστε πού βρίσκονται οι πυρκαγιές.
  • Αυτοματοποιημένη: Με τη βοήθεια του AI, ο υπολογιστής θα γίνει καλύτερος στην πρόβλεψη του τι σκοπεύετε να κάνετε, οπότε δεν χρειάζεται καν να το ελέγξετε. Θα ξέρει ότι χρειάζεστε μια συγκεκριμένη μουσική για να παίζετε όταν ξυπνάτε, οπότε δεν χρειάζεστε καν μια διεπαφή για να βρείτε και να παίξετε ένα τραγούδι το πρωί.

Είμαι επιχειρηματίας στο Silicon Valley και το πάθος μου είναι η αλληλεπίδραση ανθρώπου-υπολογιστή. Έχω κάνει έρευνα για διεπαφές εγκεφάλου-υπολογιστή, διεπαφές μηχανών μυών και συσκευές ελέγχου χειρονομίας. Δημοσιεύω για επιχειρηματικότητα, επιχειρηματικό κεφάλαιο και νέες τεχνολογίες. Ακολουθήστε με στο LinkedIn, το Twitter και το Medium.