이제는 수어 서비스도 아바타 기술로!

사람들과 나누는 간단한 의사소통 조차 힘들고, 길을 걷다가 발생하는 위험 소리도 들을 수 없는 청각장애인들은 생활 속 불편함을 많이 느끼고 있다.

 

청각장애인들이 사용하는 ‘수어’는 비장애인들이 사용하기 쉽지 않다. 때문에 청각장애인들은 삶에서 소통의 부재로 인한 어려움을 빼놓을 수 없다. 특히, 코로나19와 같은 팬데믹 상황에서는 정보를 더욱 확실하게 전달받아야 할 필요가 있다.

 

최근 우리에게 익숙한 존재인 ‘아바타’가 그 역할을 도맡아 할 수 있게 되었다고 한다.

 

청각 장애인의 병원 출입 편의성을 위한 아바타 수어 서비스

 

< 출처 : “ETRI, 아바타 수어 서비스 개발…청각장애인 병원 이용 편의성 제고”, <CCTV NEWS>, 2021.04.20. >

 

한 국립대학병원 출입문 키오스크에는 코로나19 방역 관리 절차 안내 아바타 수어를 서비스 중이다. 이는 국내 연구진이 청각장애인을 위해 개발한 아바타 수어 기술로, 코로나19 시국에도 청각장애인들이 정보 획득에 어려움을 겪지 않도록 하고, 소통의 부재로 인한 불편함을 해소해 준다.

 

코로나19로 인해 많은 건물들이 복잡한 출입 절차를 가지게 되었다. 철저한 방역 관리를 위해서는 관리 및 출입 절차가 복잡할 수 밖에 없는데, 장애인들은 디지털 정보 이용에 취약하여 건물 출입에 불편을 겪고 있는 상황이었다.

 

해당 병원은 가상 캐릭터인 아바타 활용으로 청각장애인 대상 감염병 방역 절차를 수어 안내하는 서비스 도입을 하였다. 아바타가 화면을 통해 청각장애인에게 코로나19 생활 방역 지침 내용을 음성과 수어로 동시에 전달하여 장애인들도 정확한 정보를 알 수 있게 도와주는 방식이다. 방역 관련 문진 과정이나 확인 사항까지 쉽게 전달할 수 있다.

 

아바타 수어 영상 원리

아바타 수어 번역의 워크플로우는 한국어 문장이 번역 엔진을 거쳐 수어 스크립트로 나오고, 최종적으로 수어 애니메이션이 생성되는 원리이다.

 

연구진들은 출입 절차 설명에 필요한 수어 애니메이션 콘텐츠를 제작하고, 아바타가 다양한 표정을 구사할 수 있도록 하여 전달력을 높였다. 비수지 신호는 손동작으로 구현할 수 없는 소리의 억양이나 세기를 입, 눈썹, 머리, 어깨 움직임 등으로 표현하는 것을 말하는데, 해당 아바타는 머리와 눈썹, 눈, 입, 뺨, 몸통, 움직임 등 무려 22개 비수지 신호를 나타낼 수 있도록 제작되었다고 한다.

 

제작된 수어 애니메이션 영상 콘텐츠는 최종적으로 농아 유관기관의 검수를 거친다고 한다. 때문에 장애인들이 중요한 정보를 놓치지 않도록 제작되었다.

 

< 출처 : “ETRI, 청각장애인 병원출입 돕는 ‘아바타 수어’ 개발”, <디트 NEWS 24>, 2021.04.19. >

 

아바타 수어 서비스 분야 확장 가능성

아바타 수어 기술은 병원 출입에서 더 나아가 진료 과정 및 공공 시설 민원 안내, 온라인 학습 시스템 등 여러 일상 생활에서 필요한 정보 전달과 의사소통에 적용될 수 있도록 계속 발전해 나갈 예정이다.

 

또, 주문형 비디오(VOD), 넷플릭스와 같은 OTT(온라인 동영상 서비스)에도 적용될 계획이라고 한다. 미디어 콘텐츠 대상으로 자막과 같은 수어 번역 대상 분야를 확대해 나간다면, 장애인들도 더욱 원활한 미디어 서비스 이용을 할 수 있게 된다. 앞으로의 기술 발전으로 아바타가 미디어 콘텐츠 음성을 듣고 실시간 자막 및 수어로 번역해주는 것이 가능할 것으로 예상된다.

 

정부는 2019년부터 스마트폰 내 애플리케이션 설치 후 영상을 재생하면 AI가 바로 자막으로 변환해주는 기술도 개발 중이다. 더불어, 자막 정보를 토대로 아바타가 수어 통역을 해주는 기술 역시 개발 중이기 때문에 점차 아바타 수어 서비스 기술 수준이 향상되고 적용되는 분야 또한 확장될 것으로 전망된다.

 

아바타가 수어 통역을 해주는 2단계 기술에서의 관건은 더 많은 학습으로 표정까지 살려내는 것이다. 청각장애인들은 손동작 뿐만이 아니라, 얼굴 표정이나 몸짓에서도 상대방의 말을 알아차린다. 따라서 음성을 넘어 좀 더 다양한 음향 효과 및 풍부한 표정을 구현해내는 것이 아바타 수어 서비스가 해결해야 할 숙제일 것이다.

 

사회적 격차를 해소하는 기술

현재 기술 수준은 아바타가 입력된 문장을 수어로 표현하는 정도로, 장애 유형에 맞는 안내나 상호 의사소통은 힘든 상태이다. 앞으로 이 아바타가 청각장애인과 자유롭게 대화할 수 있는 정도까지 활발한 연구가 진행되었으면 한다.

 

아바타 수어 기술은 청각장애인들이 좀 더 쉽게 병원을 이용할 수 있도록 해 준다. 디지털 기술의 발달로 모두가 정보 소외 없이 의료 혜택을 받을 수 있도록 발전하고 있다.

 

아바타 수어 기술 개발은 장애인들이 기술 발달에서 소외되지 않도록 권리를 보장하고, 사회적 격차를 해소한다는 것에서 의미가 있다. 점차 ICT 기술은 발전하고 많은 사람들이 많은 혜택을 얻고 있다. 반대로 장애인들은 기술 발전에서 오는 새로운 환경에 불편함까지 느끼고 있다. 때문에 아바타 수어 서비스가 장애인들 역시 기술 발전의 혜택을 누릴 수 있도록 보장하는데 발판이 될 것으로 기대된다.

 

[출처]

- “ETRI, 아바타 수어 서비스 개발…청각장애인 병원 이용 편의성 제고”, <CCTV NEWS>, 2021.04.20.

- “ETRI, 청각장애인 병원출입 돕는 ‘아바타 수어’ 개발”, <디트 NEWS 24>, 2021.04.19.

- “AI, 음성 듣고 자막에 수어까지 ‘바로바로’ ”, <YTN>, 2021.04.20.

- “청각장애인 병원 출입 돕는 아바타 수어 서비스”, <동아사이언스>, 2021.04.19.