System głosowej komunikacji dla osób niepełnosprawnych
Projekt jest specjalnie przystosowanym tabletem z autorskim oprogramowaniem, pozwalającym osobom niepełnosprawnym ruchowo na komunikację ze światem. Aplikacja wykorzystuje m.in. sztuczną inteligencję do generowania wypowiedzi na podstawie zestawu symboli wybranych przez użytkownika. Projekt został przetestowany na osobach z częściową i całkowitą niepełnosprawnością fizyczną oraz przez osoby z ASD.
Aplikacja pozwala na komunikację osób niemówiących ze środowiskiem zewnętrznym. Program może zostać zainstalowany na dowolnym tablecie lub smartfonie. Przy jego pomocy możemy wpisać dowolne komunikaty, które zostaną wypowiedziane przez syntezator mowy. Komunikaty zapisujemy w szufladkach, aby wykorzystać je w przyszłości bez potrzeby ponownego wprowadzenia tekstu.
Sztuczna inteligencja znajdująca się w aplikacji podpowiada słowa, przyśpieszając proces wprowadzania tekstu. Istnieje możliwość dołączenia spersonalizowanego syntezatora mowy, który pozwala na generowanie (imitację) mowy wybranej osoby – przykładowo dawnego głosu osoby, która już nie może mówić i aktualnie korzysta z aplikacji. Ta funkcjonalność wymaga jednak wcześniejszego nauczania sztucznej sieci neuronowej na bazie dawnych nagrań głosu oraz połączenia z chmurą obliczeniową. W wersji podstawowej program korzysta z syntezatora mowy IVONA, który nie posiada tych ograniczeń.
Program instalujemy na dowolnym tablecie lub smartfonie. Możemy z niego korzystać w 2 trybach – z wirtualną klawiatura ekranową i zewnętrzną klawiaturą, podpinaną za pośrednictwem specjalnej przejściówki USB do smartfona lub tabletu.
Ekran dotykowy
W polu tekstowym możemy wpisać tekst (po kliknięciu na pole tekstowe pojawia się klawiatura, którą można schować w każdym momencie klikając przycisk MENU w prawej górnej części ekranu). Po wpisaniu tekstu możemy go odczytać – wtedy klikamy ikonę głośnika, która znajduje się z prawej strony pola tekstowego. Możemy też wykasować cały wpisany tekst, klikając czerwony krzyżyk.
Jeśli chcemy zapisać wpisany tekst do szufladki w celu późniejszego wykorzystania, wybieramy odpowiednią szufladkę, w której zostanie zapisany tekst. Po kliknięciu szufladki zacznie ona mrugać; aby dokonać zapisu klikamy na głowę po prawej stronie ekranu. W programie mamy do dyspozycji 5 kart, na każdej znajduje się 6 szufladek. Karty przełączamy strzałkami znajdującymi się na ekranie (lewo / prawo). Czyli w sumie możemy zapisać 30 komunikatów.
Aby odczytać zapisany komunikat wybieramy odpowiednią szufladkę i klikamy żarówkę znajdującą się nad głową. Program pobierze zawartość szufladki i odczyta ją, wstawiając do pola tekstowego.
Aby uruchomić dźwięk gongu możemy kliknąć na dzwonek znajdujący się po prawej stronie głowy. Gong służy do wzywania opiekunów.
Zewnętrzna klawiatura
Jeśli zewnętrzna klawiatura jest podłączona, możemy wpisywać za jej pomocą komunikaty do odczytania. Po wpisaniu komunikatu do pola tekstowego, klikamy na klawisz „: ;”, aby przeczytać komunikat lub wykonać polecenie (szczegóły poniżej).
Gdy mamy podłączoną zewnętrzną klawiaturę nadal możemy korzystać z ekranu dotykowego, zapisując w ten sposób komunikaty do szufladek lub odczytując zapisane już komunikaty. Jeśli jednak chcemy tą funkcjonalność obsługiwać przy pomocy klawiatury, istnieje możliwość wykorzystania komend.
Aby przełączyć karty, wpisujemy polecenie:
k.[numer karty]
Aby przykładowo przejść do karty 3, wpisujemy:
k.3
Gdy przejdziemy do wybranej karty, możemy wskazać szufladkę, z której zawartość zostanie odczytana przez syntezator mowy i przywrócona do okna tekstowego. Wykorzystujemy do tego polecenie:
p.[numer szufladki]
Czyli jeśli po przejściu do karty nr 3 chcemy odczytać szufladkę nr 4, wpisujemy:
p.4
Możemy też wpisać nowy komunikat do szufladki - wtedy dostawiamy kropkę i ten komunikat.
Przykładowo, aby wprowadzić do szufladki nr 4 komunikat „cześć, nazywam się Adrian”, wpisujemy:
p.4.cześć nazywam się Adrian
Innym sposobem zapisania komunikatu do szufladki jest wpisanie sekwencji, która od razu wskazuje na numer szufladki i numer karty. Jednak ta metoda może być mniej intuicyjna:
z.[nr szufladki].[nr karty].[tekst do zapisania]
Przykładowo, aby zapisać tekst: „Nazywam się Adrian, miło cię poznać” w szufladce nr 1 w karcie 2, wpisujemy w polu tekstowym następującą sekwencję znaków:
z.1.2.Nazywam się Adrian, miło cię poznać
Aby odczytać sekwencję z danej szufladki, wpisujemy następujący tekst:
o.[nr karty].[nr szufladki]
Czyli aby odczytać wcześniej zapisaną wypowiedź, wpisujemy
o.1.2
Uwaga. W programie jest do dyspozycji 30 szufladek – 5 kart po 6 szufladek.
Pierwsza wersja została zaprezentowana w poniższym materiale. Użytkownik buduje zdania z zapamiętanych w "szufladkach" lub prognozowanych przez aplikację słów. Do tej pory aplikacja uległa zmianom - w materiale jest wersja z 2016 roku.
Technologie: Android, Tensorflow