あなたの健康を「ミマモール＆ササエール」

吸盤等で取り外し可能なカメラ装置を設置し、自分で意識することなく、自動的に顔認証を行い、日々の状態をフィードバックするシステムを実装。
体調変化をAIで判定し、スマホ等でチェックができる。

レストルームでの使用例

１．レストルームでの使用例
カメラ部分の角度が変えられるため、ある程度の身長差でも対応できる。

２．VRキーボードやディスプレイも接続可能。
VRなので、清潔に保ちやすい。

ベッドサイドでの使用例

１．ベッドサイドでの使用例
顔色や血流のモニタリングなどによる、体調の確認
呼吸の有無や活動の有無等による、生存確認
活動の様子により、転倒、転落予測、危険度のアラーム発報

モーションセンサーと火災報知器

１．モーションセンサーによる身体の動きをフォロー
転倒や長期（例えば、24～48時間）の動きが無い場合などを判断した場合、登録したIDにフィードバックを送る。

LineBotとの連携

１．LineBot登録時
２．顔認識によるフィードバック
３．モーションセンサーによるフィードバック

技術的要素

・サーモカメラ・深度カメラ・RGBカメラ・赤外線スペクトルセンサー等を3Dプリンターを利用した製品を作成し、１つの筐体に収めた。
・RaspberryPi4+ディープラーニングユニットを利用し、端末サイドのシステムは、Python+OpenCVによる顔認識機能、サーバーへの伝送機能を実装。サーバーサイドは、googleAppsScriptにて実装。データはgoogleSpreadsheetへ書き込みを行うように設定して、LineBOTシステムを実装。
・リアルタイム処理を実現。

メンバー紹介

  1. dr-valley
  2. ayumin
  3. yasnufkin
  4. Akira

作成動機

  • 在宅療養をする方は、自分自身の健康問題に必ずしもタイムリーに対処できていない
  • 健康寿命をより延伸するためには、健康時からの体調管理、健康生活の保持、増進に対するアプローチが必要と考えるが、過去の健康アプリケーションの利用データからは積極的な活用はない
  • 能動的なアプリ等の活用デザインではなく、自動的なデータ収集による健康状態のフィードバックを行うことで、健康状態の見える化することを目的とする
  • センサー類・AIを用いて、心身の体調（表情、姿勢、表面温度など）のフィードバック（例えばbotのようなかたち）を行うことで、日々の体調管理をすることを目的とした

１.チーム参加のいきさつ

職場の物づくり好き、作業好きの有志の集まり。類は友を呼ぶ。

２.リサーチクエスチョンとアイディア出し

  • 健康な方、慢性疾患を持つ方を含めて、日々の健康状態を客観的な判断をしたい
  • 日々の体調変化を負担を掛けずに、客観的にとらえたい
  • 人間の感覚的な部分で、状態の良い、悪いの判断をすることがある（顔色がよいなど）
  • 顔色がよい、悪いを客観的に評価できるか？
  • 視覚データだけで、どこまで、体調の良しあし、医療的な部分の判断がどこまでできるか
  • データの蓄積により、体調変化についての縦断的なデータ活用による、AIによる体調判断
  • センサー類による自動化されたデータ収集、解析、フィードバック
  • 深度カメラ、RGBカメラ、サーモカメラ、通信はBluetoothかWiFi
  • スマホと連動させ、アプリによる健康状態のフィードバック

つくりかた・やったこと


1.情報収集

1.利用できそうなセンサー類を探す。
2.装置全体のイメージとブロックダイアグラムを検討する。
3.製作するシステムの設置場所の環境を調べる。

2.作業途中

1.実画像、赤外線、深度、サーモ、スペクトルの各種光学
　センサ　を利用して身体動作や顔面の各部の変化を日々
　記録し、日常の　健康管理につなげる試み。

取り組んだ内容の紹介や苦労したことなど

＊本日の開発時間で行ったことを記入してください
  • ラズパイでの実装
  • 画像認識プログラムの開発
  • センサー類を収納するケースを３DーCADにて設計