Дали приложението за превод на жестомимичен език някога ще стане реалност?

реклама

Представете си свят, в който бариерите между глухите и слуха нямат. Свят, в който разговорите текат плавно между тези, които чуват звук, и тези, които не го правят. Може ли този свят да стане реален в близко бъдеще?

Още през юни група студенти по маркетинг в Berghs School of Communication разработиха концептуален видеоклип за измислен продукт, наречен Google Gesture. Продуктът включваше носеща лента за китката и мобилно приложение, което използва електромиография, за да чете мускулните движения на глух човек, който прави езика на знака. След това системата предава тези сигнали на приложението, което превежда тези сигнали в дигитализиран глас и ще говори за човека.

Гледането на фалшив маркетинг видео беше доста вълнуващо. Всъщност е толкова вълнуващо, че големи технологични сайтове като Mashable, Slashgear и други първоначално обявиха продукта за истински, а по-късно трябваше да преразгледат искането и да се извинят за грешката си. Това беше странна грешка, като се има предвид, че наистина има

е продукт на Google, наречен Google Gesture Search [Няма по-дълги налични], който ви позволява да рисувате жестове върху мобилния си екран, за да търсите контакти, отметки и др.

Независимо от това, концепцията на студентите в Berghs представи забележителна идея, което доведе до въпроса - възможно ли е да се създаде такова приложение за реално?

Възможно ли е преводът на жестомимичен език?

Разкриването на маркетинговата концепция на техническо ниво разкрива, че технологията, използваща електромиография (EMG) за „смисъл“ на жестомимичен език, всъщност не е толкова добра. Още през 2009 г. изследователи от университета във Вашингтон бяха в състояние да използват множество EMG сензори, за да декодират движенията на мускулите и да ги преобразуват в действителни жестове на ръка и ръка.

Изследователите всъщност изградиха пълна „библиотека за разпознаване на жестове“, идентифицирайки кои мускулни сигнали представляват кой жест. Изследването доказва, че този вид технология е налична и готова за внедряване в този вид приложение, което предвиждаха студентите от Бергс.

Значи някой всъщност е постигнал това още? Ако не, защо никой не прави това и предоставя на глухите и слуховите хора възможността да комуникират с никого по света чрез езика на знаците?

Бъдещето на технологиите за превод в реално време

Истината е, че някой всъщност работи върху такава технология за превод на езици в реално време.

Има компания, наречена SpeechTrans [Премахнат счупен URL адрес], която натиска границите на преводни технологии Забравете Google Translate: 3 начина да получите точен, бърз преводНезависимо дали планирате да кандидатствате за работа или апартамент в чужбина, или искате да преведете уеб страницата си, трябва да оправите нещата дори с чужд език. Прочетете още в последните години. SpeechTrans работи с технологични партньори за производство на някои от най-забележителните услуги за превод на език в реално време на пазара днес. Това са услуги, които превеждат текстовия чат в текстов чат, глас в текст и дори превод на език в глас в реално време чрез приложения за мобилни телефони и настолни компютри.

За да проучи дали технологията на езика на знаците може да се превърне в реалност в близко бъдеще, MakeUseOf седна с главния изпълнителен директор на SpeechTrans Джон Фрей и главния директор Ян Ауербах, за да обсъдят тази новаторска нова технология за превод Разберете всеки език с тези 5 уебсайта за превод на езициТехнологиите превърнаха света в по-малко място. Хората от всяка част на тази планета използват много от едни и същи инструменти, посещават някои от едни и същи уебсайтове и се смесват в различни чат стаи онлайн. В ... Прочетете още и колко далече може да бъде в бъдещето.

Разработване на приложение за превод на език на жестомимиката

MUO: Възможно ли е да се извърши видът на жестомимичен език на превод на реч, който студентите от Бергс изобразяват в това видео с концепцията на Google Gesture?

Джон: Бих казал, че технологията е налична за това. В момента работим с Microsoft и Intel за изследване на някои от технологиите, с които излизат, по отношение на хардуера и софтуера. Предвиждаме възможността да използваме тази технология за разпознаване на езика на знаците и след това да ги преобразуваме в изход на реч и аудио.

MUO: Вие активно работите върху разработването на тази технология в момента?

Yan: И така, имаше клиент, който използваше нашия софтуер и смяташе, че би било прекрасно, ако успеем да го модифицираме, така че хората с увреден слух да могат да го използват за осъществявайте телефонни обаждания от нашето приложение, за да комуникирате без да се нуждаете от език на знаците, когато са лично или без да е необходима услуга от тип TTY за телефон призовава. Ние разработихме този продукт и с финансиране от Microsoft и Intel стартирахме SpeechTrans за нарушен слух в Windows 8.1, който премахва нуждата от език на знаците.

MUO: Как работи приложението „лично“?

Yan: Има режим на слушане и има режим на въвеждане Така че, когато някой ви говори, вие влизате в режим на слушане и той въвежда всичко, което казва на екрана, в текст. След това, когато отговорите обратно, го въвеждате и тогава той говори на глас това, което пишете. С телефона просто набирате телефонния номер на всеки човек и когато той отговори на телефона, той става като незабавно съобщение. Каквото и да говорят, вие получавате като УИ. След това, каквото и да напишете, се изговаря на глас по телефона. Това е първата фаза.

Близо превод на езика на бъдещето

MUO: Какви технологии могат да очакват хората да видят в близко бъдеще? Каква е следващата фаза?

Джон: Ние предвиждаме - за някой, който има само способността да използва езика на знаците - да може да го направи пред устройство като телефон, компютър или лаптоп. Intel има нова система от камери, а Microsoft се справя добре с Kinect, която разпознава жестове.

MUO: Как е по-добре от концепцията за лента за ръце, представена от студентите в Бергс?

Yan: По принцип нашето ще работи по начин, при който не е необходимо да поставяте нищо на ръката си. Той ще разпознае 64 точки на ръката ви. Използваме бета версията на камерата на RealSense на Intel. Така че не само ще можем да разпознаем целия език на знака и множество различни диалекти на езика на знаците, но ще също така да бъде в състояние да разпознава емоции, изражение на лицето и други малки нюанси и след това да ги преобразува в изговорени думи като добре.

Това няма да изисква да носите ръкавици или нещо друго. Ние се фокусираме конкретно върху този пазар, защото просто искаме да помагаме на хората като цяло. Ние не искаме само да помагаме на хора, които искат да говорят на много различни езици, но също така искаме да помагаме на хора, които не могат да говорят на никой език. Технологията съществува и няма причина качеството им на живот да бъде по-различно от нашето.

Джон: Това е осъществима концепция. Това е просто различен вход и изход Някои от разговорите, които проведохме с Microsoft за някои от бъдещите технологии, са къде някой всъщност би могъл да имплантира микрочип в шията си и той директно чете мозъчната им вълна модели. Така че, ако помагате на хора, които не могат да общуват, всъщност ще видим нещо подобно като фаза три.

Миналата година имаше група студенти, които излязоха с работещ прототип на ръкавица, която беше включена в компютър. Жестовете, които сте направили с ръкавицата, ще бъдат разпознати и превърнати в език на знаците. Така че те вече имат възможностите с настоящата технология.

Нашата визия е, че всъщност не искаме да създаваме аксесоарите като лентите за ръце, които трябва да облечете. Трябва просто да е естествено и свободно течащо за тях [хората, които правят езици на знаците] да го правят пред видеокамерата си. 90% от това, което хората казват в общуването, всъщност е в езика на тялото им. Като имаме достъп до разпознаване на лица, жестове и емоции, ще можем да използваме тези данни като добре, за да се уверим, че преводът и това, което се опитват да предадат, са изразени вдясно образуват.

MUO: Intel ли е в рамките на 5 години от използването на тази технология за разпознаване на езика на знаците?

Джон: Intel определено разполага с много ресурси. Технологията и техният софтуер се приближават с темпове, при които можем да направим това да се случи доста бързо.

MUO: Имате ли времева рамка, когато се надявате да пуснете тази технология на пазара?

Джон: За езика на знаците е около 12 до 18 месеца.

MUO: Някой друг там има ли нещо друго за превода на език на жестомията?

Джон: Видях в YouTube видео на IBM, което прави прототип, където някой прави език на жестомията, но това беше доказателство за концепция и имаше само три или четири думи, които разпознаваше. Имаме над петстотин хиляди думи, с които планираме да го внедрим, така че ще го пренесем на съвсем друго ниво.

заключение

Докато визията, за която мечтаеха студентите в Берг, може да не се превърне в приложението за превод на жестомимичен език на бъдещето, това не означава, че подобна концепция няма да се случи. Това, което свърши работата в SpeechTran, Intel и Microsoft, е, че преводът на езици на знаците е почти сигурен, че ще се превърне в истинска технология само за няколко години. Най-вероятно няма да включва тромави ленти за ръце, но вместо това нищо повече от специална видеокамера и мобилно приложение.

Чрез магията на жестовете и разпознаването на лицето това приложение за превод на езика на знака на бъдещето обещава напълно да революционизира междуличностните комуникации за стотици хиляди увреден слух 5 най-добри ресурси за потребители на Mac и Apple устройства с увреждания Прочетете още или трудно чуващи хора по целия свят.