[첨단 헬로티]

일본에서는 앞으로 저출산 고령화가 진행되어 노동 인구가 감소하는 한편, 필요해지는 케어 직원 수는 증가한다. 후생노동성에 따르면, 2025년에는 케어 인력이 253만명 필요하나 공급 예상은 215만2천명에 그쳐 37만7천명이 부족할 것으로 추정하고 있다. 케어 인력을 늘리려고 해도 생산 연령 인구가 감소하고, 또한 임금을 올리기 어려운 개호보험(장기요양보험에 해당) 제도에서는 되려는 사람도 적다. 그렇기 때문에 대책의 하나로서 정보 기술을 활용한 케어 업무의 효율화가 기대된다.

유비쿼터스 컴퓨팅 분야에서는 스마트폰을 비롯한 휴대 센서를 이용한 인간의 행동 인식 기술의 연구가 이루어져 왔다. 이 기술을 케어 행동의 인식에 응용하면 케어 업무 기록을 자동으로 작성할 수 있으며, 현장에서 이루어지고 있는 케어 기록이나 업무 기록 등의 업무를 효율화할 수 있다. 또한, 본인이 그 기록을 가시화해 돌이켜봄으로써 업무 개선 자료로도 사용할 수 있다.

이 글에서는 문부과학성 지역 이노베이션 에코 시스템 형성 프로그램 ‘IoT에 의한 액티브 시니어 활약도시기반개발사업’으로 실시하고 있다. 케어 시설에서 직원에게 케어 기록을 스마트폰을 통해 기록하게 하면서 행동 인식을 함으로써 케어 기록을 효율화하는 시스템을 소개, 케어 시설에서 4개월 동안 실증실험한 결과를 소개한다. 스마트폰에 익숙하지 않은 직원도 사용할 수 있도록 설계된 시스템은 케어 기록 내용을 수기에 비해 약 1.5배 충실하게 해, 기록 시간을 평균 57분 6초에서 34분 6초로 단축했다.

이어서 얻은 데이터를 사용한 케어 행동 인식의 정도에 대해 평가한 결과를 나타낸다. 행동 인식에 대해서는 4행동에 대해 80% 이상, 10행동에 대해 60% 이상의 정도를 달성할 수 있었다. 마지막으로 케어 시설과 같은 현장 필드의 대량 데이터 취득과 고해상도의 센서를 갖춘 스마트 라이프 케어 공동창조공방을 조합, IoT 에스컬레이션, 즉 IoT 서비스를 원활하게 실용화하기 위한 대응을 소개한다.

여기에서 소개하는 시스템은 이번 글의 주안인 헬스케어 IoT를 이용해 직접 환자를 모니터하고 건강관리를 하는 것은 아니다. 그러나 의료나 케어 등의 헬스케어 분야에 종사하는 직원을 지원하는 IoT 기술은 현시점에서 업무로서 성립하고 있는 영역에 직접 도움이 되는 것으로, 예를 들면 환자의 긴급 사태 시에 의사에게 충분한 기록 정보를 제공하는 등 환자를 간접적으로 지원하는 점이나, IoT와 함께 자주 이용되는 기계학습의 학습 데이터를 얻기 쉬운 점에서 헬스케어 IoT의 보급을 위한 하나의 시사가 될 것으로 생각된다.

케어 기록·행동 인식 시스템

여기에서는 케어 시설에서 직원에게 케어 기록을 스마트폰을 통해 기록하게 하면서 행동 인식을 위한 센서와 학습을 위한 행동 라벨을 동시에 취득해 클라우드 서버에 저장하고 일상 행동 인식을 가능하게 하는 시스템을 소개, 실제로 케어 시설에서 4개월간 사용한 결과를 소개한다.

이 시스템의 소프트웨어는 2016년 히로시마에서 열린 모바일 및 유비쿼터스 시스템 국제회의에서 발표된 ‘Supervised and Unsupervised Transfer Learning for Activity Recognition from Simple In-home Sensors’의 시스템을 개량한 것이다. 이 시스템을 사용함으로써 직원은 케어 기록을 며칠 동안 기록함으로써 케어 행동을 기입하지 않아도 자동적으로 추정할 수 있게 된다.

이 시스템에서 직원은 스마트폰 상의 앱에서 케어 기록 및 행동 라벨을 스마트폰에 입력, 스마트폰은 스마트폰 상의 센서 데이터와 함께 케어 시설에 놓인 Wi-Fi 라우터를 경유해 클라우드 측에 데이터를 보낸다. 클라우드 서비스는 인증과 Web에 의한 유저 인터페이스(UI)를 제공하는 동시에, 정기적으로 받은 데이터로부터 기계학습을 통해 행동 인식 모델을 훈련하고 동시에 행동 라벨이 부여되어 있지 않은 센서 데이터에 대한 행동 인식을 한다. 추정된 행동은 Web 상에서 확인 및 수정할 수 있고, 그것이 또한 학습 데이터로서 다음의 학습에 사용된다.

1. 스마트폰용 앱

개발한 Android 스마트폰용 앱 FonLog는 직원이 업무 중에 케어 기록을 입력, 그 스마트폰 내의 센서 데이터와 함께 클라우드 상의 서버에 중계하는 기능을 갖는다. 케어 직원은 반드시 스마트폰 이용에 익숙한 사람만 있는 것이 아니라서, 의도하지 않은 스와이프 등으로 화면이 전환되면 어떻게 해야 좋을지 모르는 사람도 과거의 실험에서 볼 수 있었다.

따라서 그림 1 (a)와 같은 메인 화면에서 기본적으로는 탭이나 스와이프 등으로 전환되지 않도록 하고, 세부 사항 입력 시에는 그림 1 (b)～(d)와 같은 다이얼로그로 표시했다. 이것은 결과적으로 과거의 실험보다 좋은 인상을 갖게 했다.

2. 케어 기록·행동 인식 클라우드 서비스 

클라우드 서비스 측에서는 FonLog로부터 받은 데이터를 보관하고, 케어 기록의 장표화 및 집계, 행동 인식을 한다. 

장표 출력 기능에 대해서는 행동 라벨 및 행동 세부 사항이, 그림 1과 같이 케어 시설이 일반적으로 이용하는 형태의 장표로 출력된다. 특히 그림 2 (d)와 같은 케어 기록이라고 불리는 것은 나중에 인쇄해 자치체에 제출되는 형식이 된다.

시스템 설계 시에 논의된 점으로서 피케어자에게 건강상의 긴급 사태가 발생했을 때에, 이러한 기록을 의사나 구급대원에게 보여주는 기능이 있다. 수기한 기록의 경우는 과거의 파일을 하나로 모아서 꺼내면 되지만, 전자화한 경우에는 본인에 대한 과거의 케어 기록을 정리, 입수해 시설 외부에서도 열람할 수 있어야 한다. 이를 위해 인터넷이 있으면 시설 외부에서도 기록을 볼 수 있지만, 그 외에도 피케어자마다의 과거 기록을 정리해 인쇄하는 버튼을 눈에 띄는 형태로 준비해 긴급 사태에 대비하기로 했다.

케어 시설의 실증실험

2017년 3월∼6월 사이에 기타큐슈시의 유료 케어 시설 노인홈에서 직원 및 입주자에게 사전에 동의를 얻은 후, 케어 기록 및 행동 인식의 검증실험을 했다. 

실험 시설에서는 일반적으로 케어 기록을 수기로 기록하고 있는데, 실험에서는 처음 2개월인 3, 4월에는 일반적으로 수기 기록을 계속하게 하면서 실험 시스템도 병행해서 이용하게 하고, 후반 5, 6월에는 실험 시스템의 안정성도 향상되었기 때문에 실험 시스템의 기록을 본 기록으로 하고 수기 기록을 중지하게 했다.

실험 기간 직원은 스마트폰을 근무 시간 중에 주머니 등의 임의 위치에 휴대하게 했다. 또한, 행동 라벨 및 행동 세부사항을 케어 기록으로서 스마트폰 앱을 이용해 기록하게 했다. 특히 행동 라벨에 대해서는 행동의 시작 시와 종료 시에 각각 시작·종료를 누르도록 요청했다.

실험에서는 이외에도 방에 Bluetooth LE의 ID를 송출하는 iBeacon 센서와 방 환경 센서 정보를 수집해 LoRaWAN 프로토콜로 송출하는 환경 센서, 침대의 이용 상태를 검출하는 비접촉 초전 센서도 도입했는데, 이 글에서는 케어 기록과 행동 인식 기술에 초점을 맞추기 위해 이들에 대해서는 생략한다.

1. 행동 클래스

행동 클래스는 사전에 케어 시설의 케어 기록 등 서류를 보고 협의한 후에, 28종류를 설정했다. 그 일람을 표 1에 나타냈다.

2. 결과

실험에서 얻은 데이터로부터 케어 기록의 건수와 기록 시간에 대해, 시스템 도입 효과를 분석한다. 분석에 있어서는

A.  행동 라벨 수집 및 케어 기록 입력이 시스템에 의해 충실해졌는가의 여부 

B.  케어 기록 입력 시간이 시스템에 의해 단축되었는가

를 주로 분석한다.

(1) 케어 기록 건수 

동일한 시설에서 과거에 실험한 ‘케어 시설 케어 직원의 행동 센싱 실험’에서 케어사가 기록한 행동 라벨의 하루 총 수와 이번의 전반·후반의 행동 라벨 수를 비교했다. ‘케어 시설 케어 직원의 행동 센싱 실험’에서는 행동 라벨 수집용 범용 앱 aTimeLogger를 이용해 기록을 했는데, 그때의 평균 101개/일에 비해 이번 전반의 실험에서는 85.1개/일로 감소되어 있지만 후반의 실험에서는 494.3개/일로 대폭으로 늘어났다.

이 결과로부터 알 수 있는 것으로서 A)의 행동 라벨 수집에 관해 ‘케어 시설 케어 직원의 행동 센싱 실험’과 비교해 입력 수가 늘어나 있기 때문에 이번과 같이 케어 기록 시스템과 행동 라벨 수집을 통합함으로써 수집 수가 대폭으로 늘어난 것을 알 수 있다. 

또한, A)의 케어 기록 입력에 관해서는 ‘케어 시설의 케어 직원의 행동 센싱 실험’ 및 이번 전반의 실험에서는 수기로 기록을 하고 있었기 때문에 그림 2 (d)의 케어 기록이 어느 정도 양이 증가했는가를 육안으로 관찰했다. 그 결과, 시스템 이용으로 약 1.5배의 입력량이 됐다.

(2) 케어 기록 시간 

다음으로 B)의 행동 기록 시간에 대해 분석을 시도했다. 그런데 기록된 행동 라벨의 계속 시간을 조사한 결과, 1분 이내에 종료되는 행동이 다수 발견됐다. 그렇기 때문에 직원은 ‘행동 시간’을 기록한 것이 아니라, ‘케어 기록 시간’을 기록한 것은 아닌가 하는 의문이 생겼기 때문에 다시 직원들을 대상으로 설문 조사를 했다. 

그 결과, 전반의 실험에서 수기 기록은 행동 라벨 종료 후에 실시한 사람이 응답한 22명 중 18명, 전후반 실험에서 행동 상세 입력 즉 케어 기록을 행동 라벨의 시간 외에 실시한 사람이 응답한 22명 중 13명이라는 결과가 나왔다. 더구나 실제 케어 행동의 타이밍은 행동 라벨 시간 외에 실시한 사람이 응답한 23명 중 11명이라는 결과가 나왔다.

이것은 케어 기록과 행동 라벨 수집을 통일함으로써 행동 라벨의 구간이 부정확하게 기록된다고 하는 마이너스 측면을 부각시킨 형태로 하고 있다. 우리들이 2016년 히로시마에서 열린 모바일 및 유비쿼터스 시스템 국제회의에서 발표한 ‘Mobile Activity Recognition from Training Labels with Inaccurate Activity Segments’에서 나타낸 시간 보정 기술이 필요한데, 여기에서는 이 결과를 역으로 이용해 케어 기록 시간을 비교하기 위해 이 결과를 이용하기로 했다.

전반 실험의 수기 기록과 후반 실험의 행동 상세 입력을 행동 라벨 시간 내에 하고 있던 직원에 대해 전후의 행동 라벨 시간을 비교한 결과, 후반의 실험 쪽이 기록 행동 종류는 늘어나 있는 것에 더해, 전반·후반 양쪽에 존재하는 행동 클래스에서도 후반 쪽이 행동 라벨 시간이 줄어 있는 것을 알 수 있었다. 모든 행동 클래스를 합계하면, 1일 평균 57분 6초였던 것을 1일 평균 34분 6초로 단축할 수 있었다. 

이러한 결과로부터

· 케어 기록과 행동 라벨 수집을 통합함으로써 케어 기록과 행동 라벨 수집의 종류와 건수를 향상시킬 수 있다는 것 

· 단, 행동 라벨의 시작·종료 시각에는 부정확성이 남는다는 것

· 기록 시간에 대해서도 수기에 비해 단축할 수 있다는 것

등을 알 수 있었다.

스마트폰 센서를 사용한 행동 인식

얻어진 센서 데이터 및 행동 라벨을 이용해 행동 인식 알고리즘의 기계학습 및 정도 평가를 시험했다. 케어 기록의 시간을 보다 더 단축할 수 있는 가능성이 있고, 병원의 간호사에게 시험해 온 행동 인식을 케어 직원에게 적용하는 것이다. 이하에 그 상세와 결과를 나타냈다.

1. 전처리

이번에 센서 데이터로서는 스마트폰 상의 3축 가속도만을 사용했다. 각 센서에 대해 1분마다 1일 중의 시각 및 x, y, z축 각각에 대해 평균, 표준편차, 최대값, 최소값을 특징량으로 추출했다.

한편으로 행동 라벨에 대해서도 정형을 했다. 케어 시설의 실증실험 결과에서 설명한 것처럼 직원의 절반 가까이가 행동 라벨 구간 외에서 실제로 케어 행동을 한 것이 판명됐기 때문에 기록된 행동 라벨보다 넓은 구간으로 행동 라벨을 변경했다. 이것은 행동 라벨 구간을 최적화 파라미터로 파악해 인식 정도를 최대화하는 수치 최적화함으로써 기록된 행동 라벨 시작 시간에서 20분 전, 종료 시간에서 17분 후로 바꿔 썼다.

2. 평가 방법

행동 인식의 기계학습 알고리즘으로서는 Extremely Randomized Tree를 이용해 이용자마다 1000 특징량 샘플을 샘플링하고, 이용자별로 기계학습과 평가를 했다. 크로스 검증에 대해서는 일정 날의 학습 데이터를 다음 날에 이용할 수 있다고 가정, 홀수 날과 짝수 날을 나누어 한쪽에서 학습, 다른 한쪽에서 평가를 했다.

3. 행동 인식 정도

그림 3에 AUC에 의한 행동 인식 정도를 나타냈다. 그림으로부터 4행동에 대해 80% 이상의 정도, 10행동에 대해 60% 이상의 정도가 나와 있는 것을 알 수 있다. 스마트폰의 가속도만이라는 단순한 센서에서 이 정도의 정도를 낼 수 있었던 것은 개인마다 특화해 학습한 것과 케어 기록 시스템에 의해 충분한 샘플 수를 수집했기 때문이라고 예상된다.

앞으로 인식 정도가 향상됨에 따라 케어 기록 시간을 앞에서 말한 결과보다 더 단축할 수  있을 것으로 기대할 수 있다. 현재의 정도로 추정에 의해 놓치는 것이 있는 경우에는 원래의 기록 시간, 놓치는 것이 없는 경우에는 원래의 50% 정도의 기록 시간, 오판이 있을 때에는 삭제를 위해 약 10초 정도 시간이 걸릴 것으로 가정해 케어 기록 시간을 추측한 결과, 1인 1일당 10분 9초의 단축을 예상할 수 있다는 것을 알 수 있었다. 이 정도 단축으로도 2025년에 200만 명 이상 필요한 케어사의 총단축 시간을 생각하면 상당한 효율성을 예상할 수 있다.

스마트 라이프 케어 공동창조공방을 활용한 IoT 에스컬레이션

지금까지 소개한 바와 같이 IoT 기술의 활용은 AI의 주요 기술인 기계학습과 조합함으로써 효과를 발휘하는 경우가 많다. 그러나 ‘기계학습, 데이터가 없으면 기회도 없다’고 하듯이 기계학습에는 충분한 데이터가 필요하다. 그러나 인터넷에서 데이터를 수집하기 쉬운 이미지나 텍스트와는 달리, IoT의 데이터를 수집하려면 하드웨어의 코스트가 든다. 디바이스의 코스트를 낮춤으로써 수를 늘리거나 보급되기 쉽게 할 수 있지만, 이번에는 하나 하나의 디바이스 품질이나 센서에서 얻을 수 있는 정보의 질이 떨어진다는 문제가 발생한다. 즉, IoT와 기계학습을 이용한 시스템을 개발할 때에 ‘알고리즘’의 성능과 ‘실장의 품질(버그 ​​등)’, ‘데이터의 품질이나 양’의 어디에 문제가 있는지 구분하기 어려운 상황에 있는 것이 IoT와 기계학습을 활용한 시스템에 자주 있는 문제이다. 최근에는 기계학습 공학이라는 분야도 생기고 있듯이 이러한 문제는 중요한 주제이다.

우리는 이러한 문제에 대응하기 위해 큐슈공업대학 스마트 라이프 케어 사회창조유닛(대표 : 시바타 토모히로)을 조직, 문부과학성 ‘지역과학기술 실증거점정비사업’에 의해, 모션 캡처와 같은 고정도 센서와 침대나 화장실 등의 케어 기기를 설치한 스마트 라이프 케어 공동창조공방을 기타큐슈 학술연구도시 내에 정비했다(그림 4). 실제 필드에서 해상도는 낮지만 대량의 데이터를 수집하면서, 한편으로는 스마트 라이프 케어 공동창조공방에서 소량이지만 고해상도 데이터를 수집함으로써

· IoT 디바이스 벤더에 있어 센서 디바이스를 고해상도 센서와 비교·평가한다

· IoT 서비스 벤더에 있어 디바이스와 데이터와 시스템 실장의 문제 구분을 한다

· 케어 시설의 직원이 공방에서 계측해 케어 기술 평가를 한다

· 피케어자를 공방에서 계측해 재활 효과를 측정한다

등의 라이프 케어에 관련된 다방면의 실증을 오픈 이노베이션에 의해 실시하는 것을 지향하고 있으며, 이미 몇 개의 실적을 올리고 있다. 이러한 대응에 의해 IoT를 활용한 케어 관련 서비스가 라이프 케어 분야에 원활하게 에스컬레이션해 가는데 도움이 되기를 기대한다.

맺음말

이 글에서는 케어 시설에서 직원에게 케어 기록을 스마트폰을 통해 기록하게 하면서 행동 인식을 함으로써 케어 기록을 효율화하는 시스템을 케어 시설에서 4개월 동안 실증실험한 결과, 케어 기록과 행동 라벨 수집 건수 및 기록 시간을 효율화한 사례를 나타내고, 행동 인식의 정도 및 IoT 에스컬레이션을 위한 스마트 라이프 케어 공동창조공방을 소개했다. 

이 글에서 나타냈듯이 IoT 서비스 도입에 있어서는 IoT 데이터뿐만 아니라 업무 데이터 등의 플러스알파 데이터가 기계학습이나 서비스 고도화에 매우 효과적인 것을 강조하고 싶다. 동일한 시기에 동일한 시설에서 수면 센서를 도입해 일상 행동과의 상관을 조사하는 연구나 병원에서 실시한 근미래 예측을 동일한 시설에서 시험하기도 했지만, 이와 같은 연구도 플러스알파 데이터를 가진 시점에서 가능한 것이다. 이러한 시점을 받아들이면서 헬스케어 IoT를 위한 에코 시스템을 형성해 가고 싶다.

井上 創造·房前 悟·相馬 功·柴田 智広,   큐슈공업대학