Sygnet elektroniczny
Projekt, który wykonałem w 2014 r., będąc jeszcze w szkole średniej. Przy pomocy tego elektronicznego pierścienia, wykonując różne gesty, można zdalnie sterować praktycznie wszystkimi urządzeniami elektronicznymi w domu, samochodzie i innych miejscach. Poprzez zastosowanie usług generujących mowę ludzką i rozpoznawania pisma, pozwoli na pełną obsługę telefonu komórkowego przez osoby niewidzące. Współpracuje ze smartfonami i tabletami.
Niewielki sygnet można nosić stale, jak zegarek. Właściwie tylko od kreatywności użytkownika zależy do czego zostanie wykorzystany. Jego podstawową funkcjonalnością jest wspieranie osób niewidzących podczas obsługi telefonu komórkowego, szczególnie w miejscach publicznych.
Z raportów fundacji osób niewidomych wiem, że największym problemem występującym w miejscach publicznych są często powtarzające się kradzieże - często wartościowego sprzętu, służącego do dzwonienia. Powód jest prosty - smartfon, podczas obsługi, musi być wyciągnięty z kieszeni użytkownika, co zwabia żerujących na czyimś nieszczęściu złodziei.
Przedstawiony projekt stara się rozwiązywać opisywany problem. Po założeniu pierścienia, smartfon może zostać schowany do plecaka lub kieszeni. Od teraz nasz palec staje się wirtualną kredą, a przed nami pojawia się wirtualna tablica, na której zapisujemy różne znaki - litery, komendy etc. Korzystając z opcji precyzyjnego rozpoznawania gestów w przestrzeni (zastosowano do tego sztuczne sieci neuronowe i autorskie rozwiązania pozwalające na dokładne śledzenie trajektorii palca), jesteśmy w stanie w pełni obsługiwać telefon - pisać smsy, dzwonić, odbierać emaile, korzystać z usług multimedialnych i lokalizacyjnych itp. - nie mając fizycznego kontaktu z telefonem. Rolę wyświetlacza pełni system głosowej informacji, który przy pomocy audiodeskrypcji powiadomi nas o wszelkich wykonywanych działaniach.
Projekt w drugiej odsłonie wszedł w skład projektu MATIA, będąc jego integralną częścią.
Funkcje:
- dokładne śledzenie trajektorii palca w przestrzeni trójwymiarowej (zaawansowana agregacja danych z akcelerometru, żyroskopu i magnetometru),
- sztuczna sieć neuronowa MLP do rozpoznawania gestów; modyfikacja sieci w trakcie używania systemu pozwala na nauczenie aplikacji nowych gestów,
- przyciski funkcyjne działające wg ustalonych przez użytkownika schematów,
- aplikacja pracująca pod kontrolą systemu Android w wersji >= 4.0, łącząca się z sygnetem przez Bluetooth,
- wtyczki pozwalające na podpinanie i sterowanie zewnętrznymi aplikacjami (np. grami, komunikatorami dla osób głuchoniemych i niewidomych, książką telefoniczną, kalendarzem, edytorem SMS itd.).
Wykorzystane technologie: AVR, FANN, Android