기존에 손쉽게 사용하던 터치제어나 음성제어를 사용할 수 없는 경우들이 종종 생깁니다. 전등의 버튼이 멀리 있어 움직여서 전원을 끈다던지, 주방에서 요리를 하며 터치 조작을 할 수도 없으며, 조리 중 소음으로 음성 조작도 힘들어 난감한 상황이 종종 발생하죠.

단순한 귀찮음을 넘어 부상이나 장애로 스마트 기기의 조작이 어려운 사용자들도 존재합니다. 또, 스마트기기의 섬세한 조작이 낯설어 디지털소외를 느끼는 취약계층 역시 다양한 기기를 자유롭게 활용할 수가 없습니다.

따라서 보다 직관적으로 사용할 수 있는 동작 제어 솔루션을 제시하고자 합니다. 동작을 통해 삼성 생태계의 SmartThing의 기기들을 조작할 수 있고, Bixby를 통해 신체 정보를 얻어 활용할 수 있습니다.

특히 현재 팬더믹을 초래한 코로나-19에서는 최소한의 접촉, 최소한의 대화를 권장하고 있습니다. 5FNSaaS가 제시하는 동작 제어 솔루션은 이러한 불편함과 문제점을 해결해, 동작 인식을 넘어 삼성 생태계에서 높은 활용성을 보일 수 있습니다.

동작 인식/제어 중에서 가장 기본적이고 많이 활용할 수 있는 기본적인 모델인 몸 동작과 손 동작을 최우선으로 개발하였습니다.

• 모델 적용 화면 : 현재 보여지는 Webcam 혹은 외부 IoTCam 영상에 모델이 정상적으로 적용이 되는지 확인할 수 있습니다.
• 타이머 : 등록하는 과정에서 더 자유로운 동작을 위해 타이머 기능을 추가했습니다.
• 결과창 : 결과적으로 등록된 모델 적용 화면 및 KeyPoint의 값을 Table로 제공합니다.

사전에 등록한 동작과 가장 유사한 동작을 찾는 알고리즘을 통해 원하는 결과를 동작할 수 있도록 합니다.
사용자가 원하는 다양한 상황을 언제든 해결할 수 있게 되는 것이 가장 큰 장점이 되겠습니다.

동작을 활용해서 스스로가 원하는 서비스를 개발할 수 있습니다.
Samsung Automation Studio for Mashup(SASM)을 활용해 삼성의 생태계를 활용한다면, Bixby에게 서비스 시작을 요청하고 그 결과를 받을 수도 있습니다.
현재 5FNSaaS에서 제시하는 활용 Flow는 "헬스 트레이닝" 입니다.
이것을 응용해 매일 규칙적인 운동 습관을 할 수 있는 Bixby 루틴도 만들 수 있으며, Notification을 통해 결과를 안내할 수도 있습니다.

• motion pose collection
• node-red-contrib-motion-pose

Flow

• Hands IoT Control
• Body IoT Control
• Body Home Training