Storysign: Wie KI gehörlosen Kindern Geschichten erzählt

Künstliche Intelligenz kann das Leben der Menschen gravierend verbessern. Ein wunderbares Beispiel ist die Storysign-App von Huawei. Denn KI hilft hier gehörlosen Kindern beim Lesen und Verstehen von Büchern.

Storysign: Wie KI gehörlosen Kindern Geschichten erzählt
Foto: Huawei

Storysign ist nicht einfach nur Werbung für aktuelle Smartphones von Huawei. Ganz im Gegenteil: Der chinesische Konzern arbeitete unter anderem mit der Europäischen Union der Gehörlosen und dem Britischen Gehörlosenbund zusammen, um eine sinnvolle Anwendung für Kinder ohne Gehör zu entwerfen. Herausgekommen ist eine App, die für eine Vielzahl aktueller Smartphones mit Android gedacht ist – ein Telefon von Huawei wird also nicht zwingend benötigt.

Das ist Storysign

Storysign richtet sich unter anderem an die Eltern der 32 Millionen gehörlosen Kinder weltweit. Sie wissen, dass es für dem Nachwuchs nicht leicht ist, das Lesen zu erlernen. Unter anderem fehlt den Kids das akustische Feedback beim Vorlesen von Geschichten, oftmals beherrschen Mutti und Vati auch nicht die Gebärdensprache. Somit fällt es tauben Kindern schwer, gedruckte Wörter mit der Bedeutung in der Realität abzugleichen.

Die App hilft beim Lesen und Verstehen. (Foto: Huawei)
Die App hilft beim Lesen und Verstehen. (Foto: Huawei)

Huawei nutzte für Storysign eine eigene KI-Technologie, um Kinderbücher ohne ein Zutun der Anwender in Gebärdensprache zu übersetzen. Ein digitaler Avatar in der App stellt diese mit Mimik und Gestik dar – basierend auf den Texten, die die Smartphone-Kamera aufnimmt. Vor dem Einsatz muss das jeweilige Kinderbuch nur in der Storysign-Bibliothek ausgewählt werden. Übrigens stammt besagter Avatar namens Star von den britischen Animationsfilmprofis von Aardman Animations, den Schöpfern von „Wallace & Gromit“ oder „Shaun das Schaf“.

Das ist Star, Avatar in Storysign. (Foto: Huawei)
Das ist Star, Avatar in Storysign. (Foto: Huawei)

Nicht nur Kinder lernen bei Storysign in einer angemessenen Geschwindigkeit durch das Hervorheben von Wörtern und das Darstellen der Bedeutungen die Gebärdensprache. Auch Eltern wird es so ermöglicht, die für ihr Kind wichtige Sprache zu verstehen und zu „sprechen“.

Weitere Besonderheiten von Storysign

Doch was gibt’s überhaupt zum Lesen und Entdecken? Zu Beginn sind erste Bücher von Penguin Random House erhältlich, die als physische Version vorausgesetzt werden. In nächster Zeit sollen viele weitere Bücher folgen. Den Anfang hierzulande machte übrigens „Peter Hase: Ein Guckloch-Abenteuer“.

"<yoastmark

Spannend sind die technischen Hintergründe: Kinder können das Smartphone in einem Winkel von bis zu 45 Grad ans Buch halten, die App nimmt die Texte trotzdem wahr. Die HiAI-OCR erkennt mit hoher Genauigkeit und Geschwindigkeit die Wörter. Einige dieser Vorzüge sind Besitzern eines Huawei Mate 20 Pro vorbehalten, denn dann findet der KI-Chip des Telefons explizit Verwendung.

Storysign ist auf Deutsch, Englisch, Französisch, Italienisch, Spanisch, Niederländisch, Portugiesisch, Irisch, Flämisch und Schweizerdeutsch erhältlich.

Storysign zu Weihnachten – nehmt an der Challenge teil!

Pünktlich zu Weihnachten erschien die kostenlose App, um gehörlosen Kindern das Fest zu versüßen. Um auf Storysign aufmerksam zu machen, ließ Huawei von dem Regisseur und Schauspieler Chris Overton einen stimmungsvollen Kurzfilm drehen. Der ist nicht nur schön anzusehen, er erklärt auch die Idee dahinter. Denn man möchte für die Alphabetisierung Gehörloser sensibilisieren – ein wirklich wichtiges Thema.

https://youtu.be/qQj42Gs1KcM

Und da ist noch eine amüsante Storysign-Challenge, an der ihr teilnehmen könnt. Performt das wohl bekannteste Weihnachtslied „Last Christmas“ in…Gebärdensprache! Der bekannte Youtuber AlexiBexi erklärt euch in einem Tutorial, was zu tun ist…

https://youtu.be/P8C7fQjxdFY

Dreht selbst ein Video und nutzt zum Vertaggen die Hashtags #storysignchallenge und #huawei. Euronics hat eine eigene Infoseite zu Huawei Storysign eingerichtet.

Die App Storysign könnt ihr euch im Google Play Store für euer Android-Telefon herunterladen. Ebenso bekommt ihr das Programm in der Appgallery eures Huawei-Smartphones.

Neue Beiträge abonnieren!

Täglich frisch um 17 Uhr im Postfach

Themenauswahl

Änderungen jederzeit über die Abo-Verwaltung möglich – weitere Themen verfügbar

Jetzt kommentieren!

Schreibe einen Kommentar

*
*
Bitte nimm Kenntnis von unseren Datenschutzhinweisen.