서울시 AI 행동분석 시스템 확대…효과만큼 중요한 것은 발달장애인의 데이터와 통제권
‘도전행동 78% 감소’라는 숫자 뒤에 남은 질문
본문
△ 종로구발달장애인평생교육센터에 도입된 AI발달장애인 케어시스템 'CareVia'
인공지능(AI)이 발달장애인의 ‘도전행동’을 자동으로 포착하고, 행동중재 전문가의 개입을 돕는 시스템이 서울시 내 발달장애인평생교육센터 현장에 확대되고 있다.
서울시는 2023년 종로·도봉센터에서 시작한 ‘AI 행동분석 시스템’을 현재 중랑·동대문센터까지 4개 센터에서 운영하고 있으며, 올해 하반기 노원 등 2개 센터에 추가 설치해 연말까지 총 6개 센터로 확대할 계획이라고 밝혔다.
AI가 센터 내 영상에서 도전행동을 포착해 유형과 횟수, 지속시간 등을 기록하고, 축적된 자료를 행동중재 전문가의 분석과 맞춤형 중재에 활용하는 방식이다.
서울시가 내세우는 성과도 눈에 띈다. 도봉센터 이용인의 도전행동 발생 건수는 지난해 상반기 181건에서 올해 상반기 39건으로 78% 감소했고, 중랑센터 역시 124건에서 82건으로 34% 줄었다는 것이다. 서울시는 이를 AI 자동기록과 전문가 맞춤형 중재가 결합한 결과로 설명하고 있다.
하지만 이 사업을 둘러싼 질문은 이번이 처음 제기되는 것이 아니다.
지난해 8월 <함께걸음>은 「국내 장애 현장에 도입된 AI의 현주소」를 통해 종로발달장애인평생교육센터에 도입된 SK텔레콤의 AI 기반 행동분석 시스템 ‘CareVia’를 직접 살펴봤다. 당시 취재에서는 머리를 넘기는 동작을 얼굴을 때리는 행동으로 인식하는 오탐 사례가 확인됐고, 행동 발생 전후 일정 시간의 영상만 저장되는 방식으로는 행동의 맥락과 원인을 충분히 파악하기 어렵다는 현장의 문제 제기도 있었다. 무엇보다 발달장애인의 일상적인 움직임을 지속적으로 영상으로 기록하고 분석하는 과정에서 개인정보와 사생활 침해, 실질적인 동의 절차에 대한 우려가 제기됐다. 지난해 8월 <함께걸음> 「국내 장애 현장에 도입된 AI의 현주소」
물론 기술의 정확도가 높아지고 실제 행동 감소 효과가 확인됐다면 이는 긍정적인 변화로 볼 수 있지만 사업이 확대되는 만큼 지난해 제기된 질문에도 답이 마련됐는지에 대한 논의도 필요하다.
오탐과 행동 맥락의 문제는 어떻게 개선됐나
먼저 AI가 포착한 행동이 실제 행동과 얼마나 일치하는지에 대한 문제다. 지난해 <함께걸음> 취재 당시 CareVia에서는 머리를 넘기는 동작을 얼굴을 때리는 행동으로 인식하는 사례가 확인됐다. AI가 특정 행동을 자동으로 인식하는 과정에서 실제 행동과 시스템의 판단 사이에 차이가 발생할 수 있다는 것이다.
행동분석 시스템의 목적이 도전행동의 원인을 파악하고 적절한 중재를 지원하는 데 있다면, 행동을 얼마나 정확하게 포착하는지는 중요한 요소다. 잘못된 행동 인식이 반복될 경우 축적된 데이터의 정확성에도 영향을 줄 수 있기 때문이다.
서울시는 이번 사업 확대를 발표하면서 도전행동 감소 수치를 주요 성과로 제시했지만, 기존에 제기됐던 오탐 문제가 현재 어느 정도 개선됐는지, 행동 인식의 정확도를 어떻게 확인하고 있는지에 대해서는 추가적인 설명이 필요하다.
또 하나의 문제는 행동의 발생 사실과 행동의 맥락은 다르다는 점이다. AI는 특정 동작이 언제, 몇 차례 발생했는지를 기록할 수 있지만, 해당 행동이 왜 발생했는지까지 영상만으로 판단하기는 어렵다. 지난해 취재에서도 행동 발생 전후의 제한된 영상만으로는 행동의 원인을 충분히 파악하기 어렵다는 현장의 의견이 제기됐다.
영상 데이터의 보호와 동의 절차도 확인해야
개인정보와 사생활 보호 문제 역시 사업 확대에 따라 중요성이 커진다. AI 행동분석 시스템은 발달장애인의 행동을 분석하기 위해 센터 내 영상을 지속적으로 촬영하고, 특정 행동이 발생하면 해당 장면을 분석에 활용한다. 이는 단순한 시설 내 CCTV와 달리 개인의 행동 특성을 분석하고 기록하는 과정이 포함된다는 점에서 개인정보 보호에 대한 세심한 검토가 필요하다.
<함께걸음> 취재에서도 이 같은 방식이 개인정보와 사생활을 침해할 수 있다는 우려가 제기된 바 있다. 특히 발달장애인의 경우 자신이 촬영되고 있다는 사실뿐 아니라 영상이 어떤 목적으로 활용되고, 어떻게 분석되는지 충분히 이해한 뒤 동의할 수 있는 절차가 마련돼 있는지가 중요하다.
사업 초기부터 제기된 이 문제는 센터가 늘어날수록 더욱 중요해진다. 서울시가 사업을 6개 센터로 확대한다면 각 센터에서 동일한 개인정보 보호 기준과 동의 절차가 적용되고 있는지도 확인할 필요가 있다.
특히 영상이 어느 범위까지 저장되는지, 저장 기간은 얼마나 되는지, 누가 영상과 분석 결과에 접근할 수 있는지, 사업에 참여한 이용인이 이후 데이터 활용에 대해 어떤 선택권을 갖는지 등 구체적인 기준이 공개되어야 할 것이다.
AI 행동분석 시스템을 통한 도전행동 감소 효과 자체를 넘어 그 과정에서 당사자의 권리가 충분히 보장됐는가에 대한 점검도 필요한 시점이다.
작성자김영연 기자 cowalk1004@daum.net
Copyright by 함께걸음(http://news.cowalk.or.kr) All Rights Reserved. 무단 전재 및 재배포 금지
댓글목록
등록된 댓글이 없습니다.
