Studentka tworzy aplikację tłumaczącą język migowy na tekst

Studentka inżynierii Priyanjali Gupta tworzy aplikację na bazie sztucznej inteligencji, która ma w czasie rzeczywistym tłumaczyć język migowy.

Motywacją do działania była matka studentki, ktora droczyła się z nią, mówiąc, aby „zrobiła coś, kiedy już studiuje inżynierię”. Jet to powiedzenie powtarzane przez większość indyjskich matek. Priyanjali  jest studentką trzeciego roku informatyki w Vellore Institute of Technology w Tamil Nadu. To było w lutym 2021 roku.

— Naśmiewała się ze mnie. Jednak skłoniło mnie to do zastanowienia się nad tym, co mogłabym zrobić z moją wiedzą i umiejętnościami. Pewnego pięknego dnia, podczas rozmów z Alexą (sztuczną inteligencją z Amazona), wpadłam na pomysł zastosowania technologii integracyjnej. To zapoczątkowało zestaw planów — powiedziała studentka z Delhi w wywiadzie dla czasopisma Interesting Engineering.

Po roku udało jej się stworzyć model AI wykorzystujący aplikację do wykrywania obiektów. Jak wyjaśnia Priyanjali Gupta, inspiracją do stworzenia aplikacji był film Nicholasa Renotte na temat wykrywania języka migowego w czasie rzeczywistym.

— Zbiór danych jest tworzony za pomocą kamery internetowej i opatrzony adnotacjami. Na razie program szkoli się na pojedynczych klatkach. Dążę do tego, aby aplikacja płynnie uczył się z obrazu wideo. W tym celu prawdopodobnie wykorzystam wirtualną sieć neuronową LSTM. Obecnie to badam – mówi Priyanjali Gupta.

Sieci pamięci krótkotrwałej LSTM zostały uznane za skuteczne rozwiązanie problemów z przewidywaniem sekwencji w nauce o danych.

Studentka przyznaje, że tworzenie modelu głębokiego uczenia od zera nie jest najłatwiejszym zadaniem.

— Tworzenie głębokiej sieci neuronowej wyłącznie do wykrywania znaków jest dość skomplikowane — powiedziała IE.

Na jeden z komentarzy odpowiada w tym samym tonie: „Jestem tylko studentką-amatorem, ale się uczę. I wierzę, że prędzej czy później nasza społeczność open source, która jest znacznie bardziej doświadczona ode mnie, znajdzie rozwiązanie ”.

Poniżej nagranie pokazujące działanie aplikacji.