新万博体育下载_万博体育app【投注官网】

图片

Press release 73 - 09.11.2020

Corona per SprachApp erkennen?

Prof. Dr. Bj?rn Schuller über seine Spracherkennungsanalysen zur Erkennung von Covid-19 und anderen Erkrankungen

Can a COVID-19 infection be detected based on your voice and sounds? This is what the speech and audio analysis app developed by Prof. Dr. Bj?rn W. Schuller, Professor of Artificial Intelligence and Digital Health is developed for. It estimates the probability of being infected with the corona virus based on prolonged vowels or a text that has been read aloud or free speech. First results are highly promising, but the app is still being improved and tested, in particular by collecting more data.

Image section of the voice analysis app which detects diseases ? 新万博体育下载_万博体育app【投注官网】 of Augsburg

?

Der Weg zur Spracherkennung von Covid-19

Im M?rz 2020 begann Bj?rn Schuller Stimmenaufnahmen aus Wuhan, die er von chinesischen Kollegen erhielt, auszuwerten: Insgesamt verarbeitete das Team zun?chst etwa 50 Stimmen von Covid-19-Patienten und etwa 50 Stimmen von nicht infizierten Patienten. ?Diese Auswertungen waren erste Lernbeispiele für unseren Computer. Je mehr Stimmen wir auswerten k?nnen, umso genauer kann die App sp?ter funktionieren.“, erkl?rt der Informatiker Bj?rn Schuller. ?Inzwischen erhalten wir die Daten aus dem Universit?tsklinikum Augsburg, leider muss man sagen“, erkl?rt der Wissenschaftler angesichts der hohen Inzidenzwerte im Corona-Hotspot Augsburg.

Jetzt werden die Stimmenproben gemeinsam mit ?rzten im Universit?tsklinikum Augsburg aufgenommen. Bj?rn W. Schuller arbeitet dort mit Privatdozent Dr. Markus Wehler, Direktor der IV. 新万博体育下载_万博体育app【投注官网】izinischen Klinik sowie der Zentralen Notaufnahme des Universit?tsklinikums Augsburg, zusammen. ?Aus Sicht der Notfall- und Akutmedizin w?re ein solches Instrument sehr hilfreich, da ein Sprachtest sehr schnell durchzuführen und wenig belastend ist und innerhalb weniger Minuten ein Ergebnis vorliegt“, sagt Wehler. ?Es ist keine Blutabnahme n?tig, kein R?ntgenbild und auch sonst keine aufwendige Diagnostik, das ist von gro?em Vorteil. Selbst wenn das Ergebnis nicht so genau wie bei einem Abstrich ist, k?nnte man dennoch sehr schnell die Verdachts- von den Nicht-Verdachtsf?llen trennen“, so der Notfallmediziner.

Für Schuller liegt der Vorteil dieser Zusammenarbeit auf der Hand: ?So liegen auch verl?ssliche Tests vor. Anhand dieser lernt der Computer selber, worauf er achten muss, um COVID-19 und eben nicht COVID-19 voneinander unterscheiden zu k?nnen.“ Inzwischen liege die Erfolgsquote unserer SpracherkennungsApp zur Covid-19-Erkennung bei über 80 Prozent, erkl?rt er. ?Aber wir sind noch mitten in der Untersuchung, brauchen natürlich weitere Daten, also viele Stimmen sowohl von Covid-19-Erkrankten als auch von gesunden Vergleichskandidaten.“

So funktioniert die Spracherkennungs-App

Die App lernt mit tiefen neuronalen Netzen die wesentlichen Merkmale in der Stimme zu repr?sentieren, um dann anhand dieser eine Entscheidung zu treffen. ?Man kann sich vorstellen, dass sie COVID-19 Einflüsse auf die Stimmbildung heraush?ren kann, etwa Kurzatmigkeit, oder auch einfach Ermüdung und natürlich Husten oder ?hnliches“; beschreibt Schuller. Die Funktionsweise der App basiert auf tiefenneuronalen Netzwerken. Diese erlernen ?hnlich wie im menschlichen Gehirn hochparallel Information zu verarbeiten. In Ebenen bilden sie das Sprachsignal mit zunehmender Komplexit?t ab und k?nnen nach dem Anlernen mit vielen Daten neue Probleme wie COVID-19 selbstst?ndig darstellen und erkennen.

Somit lernt der Computer/die App COVID-19 schon nach wenigen Worten oder S?tzen auch von neuen Personen aus der Stimme zu erkennen. Parallel hat Schuller eine weitere App entwickelt, die über einen l?ngeren Zeitraum zuh?rt und H?ufigkeiten von h?rbaren Symptomen wie Husten, Niesen, Kurzatmigkeit, verstopfte Nase, etc. beobachtet, aus dem ?Geh?rten“ Rückschlüsse zieht und die Nutzerin oder den Nutzer informiert.

?Wir hoffen, mit unserer Anwendung einen wichtigen Beitrag zur Früherkennung von COVID-19 Verdacht leisten zu k?nnen. Die Sprache ist hier quasi das neue Blut - wir verwenden es zur Analyse und brauchen es aber ebenso dringend als Spende, um unsere Systeme insgesamt verbessern zu k?nnen. Natürlich stehen Privatsph?re und Ethik dabei stets an erster Stelle. Wir entwickeln daher L?sungen, die direkt auf dem Endger?t eines Nutzers die Daten auswerten und nur für den Nutzer einsehbar sind“, betont Schuller.

N?chste Schritte

Das Projekt Spracherkennung von Covid-19 ist noch nicht abgeschlossen: ?Wir besch?ftigen uns neben der Verbesserung der Zuverl?ssigkeit mit einer erh?hten Erkl?rbarkeit der Analyse und erh?hten Transparenz der Entscheidung. Natürlich sind wir dann in erster Linie daran interessiert, dass Projekt in eine reale Anwendung überführen zu k?nnen, um für uns alle einen Mehrwert in dieser herausfordernden Zeit leisten zu schaffen.“, beschreibt Prof. Dr. Bj?rn W. Schuller die n?chsten Schritte.?

Noch gibt es keine Partner, aber Schuller arbeitet auch mit seiner Firma audEERING GmbH an L?sungen, die entsprechend bereitgestellt werden k?nnen.

Der Lehrstuhl für Embedded Intelligence for Health Care and Wellbeing

Der Lehrstuhl für Embedded Intelligence for Health Care and Wellbeing an der Universit?t Augsburg verbindet Informatik mit moderner 新万博体育下载_万博体育app【投注官网】izin. Das Forschungsfeld ist die sensor- und wissensbasierte Begleitung und ?berprüfung aller gesundheitsrelevanten Parameter bei sportlichen und anderen Aktivit?ten.

Das Hauptinteresse liegt in der Erfassung, Analyse und Interpretation von Biosignalen, wie sie etwa bei der ?berwachung der Herzaktivit?t, des Stoffwechsels oder neuronalen Aktivit?ten anfallen. Daneben werden auch akustische Parameter (Sprache und andere akustische Ereignisse) sowie visuelle Parameter (Gesicht, Gestik, K?rpermotorik) in einem realistischen Szenario (Alltagsleben) verarbeitet.

Der Lehrstuhl von Prof. Dr. Bj?rn Schuller ist angesiedelt in der Fakult?t für Angewandte Informatik (FAI), Bj?rn Schuller ist darüber hinaus Zweitmitglied der 新万博体育下载_万博体育app【投注官网】izinischen Fakult?t sowie im Schwerpunkt 新万博体育下载_万博体育app【投注官网】izinische Informatik aktiv.

Publikationen

"An Early Study on Intelligent Analysis of Speech under COVID-19: Severity, Sleep Quality, Fatigue, and Anxiety" (April 2020)

"An Overview on Audio, Signal, Speech, & Language Processing for COVID-19"

"COVID-19 and Computer Audition: An Overview on WhatSpeech & Sound Analysis Could Contribute in the SARS-CoV-2 Corona Crisis"

Contact

Dr. Manuela Rutsatz
新万博体育下载_万博体育app【投注官网】ia Officer
Communications and 新万博体育下载_万博体育app【投注官网】ia Relations

Search