필수 구현 사항

HW

• 소유

  • 한 web 계정이 한 로봇만 소유

• 카메라

  • 실시간 스트리밍 with youtube live
  • 영상 인식으로 아이 감지
  • 아이를 대체할 인형 등을 OpenCV로 학습시키기
  • 학습시킨 게 화면 정중앙에 올 수 있도록 보행 방향 조정(목은 고정, 몸 방향 자체를 바꿔야 함)

• 보행

  • 보행 상태는 로봇 내에서만 관여(DB에 올리지 않음)
  • 웹에서 방향 조정 명령이 들어오면 보행 방향 변경
  • 웹에서 오는 방향 조정 변경은 DB를 통해서가 아니라 라즈베리파이와 직접 통신을 통해 들어옴(MQTT 등)
  • 앞으로, 뒤로, 정지, 왼쪽, 오른쪽, 가운데 보행 수행
  • 초음파 센서로 너무 가까워지면 멈춤

• 움직임

  • 음성 인식으로 아이가 하라고 명령을 하면 함
  • [가능]
    • 손
    • 앉아
    • 점프
    • Look (다리 고정)
      • 위 보기
      • 아래 보기
      • +) 고개 끄덕임 (위/아래 연결) 혹은 전신 움직임..
  • [아마 가능]
    • 엎드려
  • 있는 기능을 조합해서 새로운 움직임을 만드는 것까지만 필수에서 진행
  • 이 때 해금된 움직임만 보여줌
  • DB에 움직임 리스트, 가능 여부를 넣지 말고 HW에서 직접 처리

• 마이크

  • 마이크에서 음성 받아서 google stt로 텍스트로 변환
  • 변환된 텍스트에서 특정 명령어 찾기
    • 명령어 기준 parsing
  • 보행, 움직임 관련 명령어

  ---

  • 음성 메시지는 귀에 있는 버튼을 눌러 시작 & 끝 표시(귀에 있는 버튼을 눌러 메시지를 말한 후 다시 버튼을 누르면 되는 형식)
  • 녹음된 음성 메시지가 S3에 저장됨
  • S3에 저장된 음성 메시지는 로봇에서는 삭제
  • 새로운 음성 메시지가 발생했다는 걸 웹에 직접적인 통신을 통해 보냄, 이 때 S3에 저장됨 path 등 정보를 줌

  ---

  • 부모님이 음성 메시지를 녹음해서 저장했다면 라즈베리파이에 직접 통신을 통해 새로운 음성 메시지가 있음을 알림
  • S3에서 새로운 음성 메시지를 다운 받아옴, 이 때 S3에 저장된 path 등 정보를 줌
  • 스피커를 통해 송출
  • 다음 새로운 메시지가 오면 이전 메시지는 삭제

• 스피커

  • 부모님이 보낸 음성 전달
    • S3에서 가져온 음성 파일 송출

  • 친밀도에 따른 인사말

• 센서

  • 온습도 센서 : 센싱 값 웹에 표시
  • 가스 센서 : 유해 가스 탐지
  • 초음파 센서 (고글) : 장애물에 근접하게 되면 정지
  • OLED (눈) : 감정 표현 & 시간 표현
  • 터치 센서
    • 터치를 5번(?) 하면 친밀도 오르는 방식
  • 일정 주기 마다 온습도, 가스센서 값 DB에 저장
    • 센싱은 1분에 한 번 진행
    • DB에서는 하루 치(??) 값을 그래프로 확인할 수 있음
    • 24 * 60 개의 row만 유지

• 남은 배터리양

  • 전압 값을 DB에 송신
  • 일정 주기 마다
    • 센서 값이랑 같이 보내기
  • 최대 전압(8.4)~최소 전압(7.0)을 알아내기
  • 전압 값 자체 DB에 보내기
  • esp32에서 serial 통신을 통해 RPI에 보내주면 RPI에서 DB에 올림
  • 충전중일때는 어떻게 표시할지 생각해야

• 웹이랑 연결

  • wifi 연결
  • 특정 유튜브 라이브 아이디로 영상, 음성 데이터 송출
  • S3, server 랑 연결
  • 가능하다면 QR 코드를 이용하여 자동으로 진행되도록
  • 안 된다면 시연에서는 그냥 연결된 상태를 가정하고 진행

• 친밀도

  • 높이는 방법
    • 부모님에게 메세지 전송(원래는 비밀이야기하는 친구 컨셉이어서 나오는 아이디어)
    • 충전시키기
    • 동작시간 🎃🎉
    • 움직임 명령어 사용 횟수🐿️👀🎉🦉
    • 쓰다듬기 🦉 🎃👀🐿️
    • 특정 말을 했을때 (사랑해 등)
  • 일정 주기마다 DB에 저장
    • 로그 등은 DB에 올리지 말고 로봇에서 연산을 모두 한 후 그 시각 기준 친밀도/경험치만 DB에 저장
    • 1분에 한 번씩

• 전원

  • 전원 키는 버튼
  • 전원이 켜지면 스트리밍이 자동으로 시작, 스트리밍은 전원이 켜져있는 동안 멈추지 않고 쭉 지속됨
  • 절전 기능
    • 웹에서 설정
    • 웹에서 라즈베리파이와 직접 통신을 통해 절전 모드를 보내면 모션 인식 등 기능 꺼버림
    • 스트리밍 기능은 유지
    • OLED에 현재 시간 표시

WEB

• 형태 : 웹 앱
• 타겟 사용자 : 부모님
• 기술스택
  • FE : HTML5, CSS3, Javascript, React.js, Node.js, PWA
  • BE : Python, Django
  • Server : MySQL, AWS S3
• 로그인
  • Google Login API
    • 영상을 스트리밍할 유튜브 계정 연동
  • 자체제작 로그인 API
• 1계정 1로봇 1디바이스
• qr코드를 통해 계정과 로봇과 연동
  • 가능한 경우 - 그렇지 않으면 연결 상태 일단 가정
• 기능
  • 기초 페이지
    • 앱 하단에 음성전송 토글을 활성화하면 앱 사용자가 음성을 녹음하고 비활성화하면 음성파일 형태로 서버에 저장하고 저장된 음성을 로봇에서 재생함 (카톡음성메시지랑 비슷한데 따로 재생버튼 안누르고 음성이 바로 나오는?)
      • 로봇에게 직접 통신으로 메시지를 보냈고 보낸 메시지 path 보내주기
    • 앱 상단에 실시간 로봇 배터리 잔량 표시기능 (충전 중일때는 잔량 표시없이 충전 중이라고만 표시할지)
  • 조작 페이지에서 로봇 전후좌우 이동 조작 가능 (기기와 직접 연결_인터넷)
    • 기초 조작: 좌/우/전진/후진 버튼 필요 (십자버튼)
      • 좌우-방향전환
      • 전후-전진/후진
    • 로봇에게 직접 통신으로 보내주기
  • 영상 스트리밍 기능
    • 유투브 계정과 연동
    • 웹캠으로 받아온 영상과 마이크로 받아온 음성을 합쳐서 유투브 라이브 형태로 실시간으로 스트리밍해서 보여주기 (음성 + 영상 합치는게 되는지 일단 해보자구)
  • 아카이브 기능
    • 스트리밍중인 영상을 실시간으로 캡처하여 아카이브에 저장하는 기능 ⇒가능? (기술 알아보기)
    • 스트리밍된 영상을 개인 유투브 스튜디오에서 편집해서 저장하고 저장된 영상의 링크와 그 영상의 썸네일을 아카이브 형태로 저장
  • 아이가 로봇을 통해 보낸 음성 메시지 조회 페이지 (미확인/확인 분류, 알림 팝업?)
    • 로봇에서 S3로 보낸 음성 메시지를 받아와 화면에서 출력
    • 로봇에서 새로운 메시지 알림을 받는 경우 데이터를 읽어오고 사용자에게 알림
  • 센서로 받아온 실시간 데이터를 보여주는 페이지
    • 현재 온도와 습도
    • 30분에 한 번 실시간으로 최신 데이터 출력
    • 일정 주기(30분? 1시간?)마다 저장된 온습도 값을 특정 기간동안 그래프 형태로 보여주는 기능
    • 가스 센서 - 1분마다 갱신되는 센서값에서 유해 가스값이 비정상적으로 높으면 반응(alert)
  • 로봇과의 친밀도를 나타내는 페이지
    • 특정 행동을 하면 친밀도 경험치가 쌓임
    • 경험치가 어느 정도 쌓이면 친밀도 레벨이 올라감
    • 친밀도 레벨에 따라 스토리와 가능한 행동들을 보여줌
    • 친밀도 레벨이 올라감에 따라 스토리와 로봇이 가능한 행동들이 점점 해금됨
    • 가능한 행동 리스트를 클릭하면 로봇이 그 행동을 하는 영상을 보여줌 (사전에 영상 녹화하여 삽입 (영상은 s3에 저장))
    • 1분마다 DB에 친밀도 update
  • 환경설정 페이지
    • 앱 테마 설정 : 기본모드 / 다크모드
    • 절전모드 설정 : 활성화시 로봇은 영상촬영을 비롯한 모든 행동을 멈추고 영상 촬영 및 스트리밍 진행과 눈 부분에 부착된 OLED에서 현재 시간만 보여줌
      • 절전모드 활성화, 비활성화 로봇에게 직접 통신으로 보내줌

추가 기능

• Web
  • 가능하다면 스트리밍 영상을 자체적으로 보여주는 UI 제작
  • 스트리밍된 영상을 자체적으로 송출하는 UI에서 영상 녹화(간단한 편집)를 할 수 있도록 지원
  • 환경설정 - 초기화 : DB만 초기화
  • 보비 음량 설정 : 보비 목소리 크기 조절
    • 5단계로 나눠서 각각 음성 파일을 만들어 재생(스피커 실제 음량은 그냥 고정)
    • 비싼 스피커
    • 열심히 굴러서 있는 걸로 조절
• HW
  • 자이로 센서를 이용한 로봇 충돌 감지(아이가 로봇을 때리는 경우)
  • 충전 중 배터리 잔량은 어떻게 표시해야하는지?
• 앱 초기 시작 시 각 페이지의 용도 및 사용 방법 알려주는 기능 (ex. 네이버)

제외 기능

• 웹에서 로봇의 이동 등 상태 확인 - 불필요

기타

• 웹 조작 기능의 의의: 화면에서 아이를 놓쳤을 때 / 아이 말고 다른 곳을 확인하고 싶을 때