はんべつーる

Created Date: 2019-08-31/ updated date: 2019-10-19
Owner & Collaborators
License
はんべつーる by FT is licensed under the Creative Commons - Attribution license.
Summary
画像判別AIや3Dプリンタを使ってちょっと面白いものを作ってみました。
それは、物事を自動で判別してくれるツールです。
ゆっくり見ていってください。

Materials

    Tools

      Blueprints

        Making

        • はんべつーるとは物事を自動で判別してくれるツールです!
          見えないところ、遠いところ、暗いところ、狭いところといった人の目が届きにくいところの様子を教えてくれます。
          具体的には、机の裏にゴ○ブリがいないか?遠く離れた的のどこに矢が刺さっているか?ソファーの下に落とし物をしていないか?などを教えてくれます。
          すでにある技術・サービスを利用し、それを組み合わせて作りました。
          そのため、専門的な知識の乏しい自分や他の高校生、一般の人々でも理解し作ったり利用したりすることができると思います。


          • 材料→3Dプリンタ、画像判別AI、スマホ、タスク自動化アプリ、鏡、イヤホン、スピーカー、懐中電灯、くねくねスタンドなど
            工夫したところ
            鏡でスマホのカメラの光を反射し上方向も撮影できるようにしたり、懐中電灯で明るくしたりして、狭いとこ暗いところでも使えるようにしました。3Dプリンタを使ってそれらを一体化しました。

          • 使い方の例を紹介する動画も作ってみました。
            動画で紹介した例以外にも他の事にも応用することができます。
            簡単な動画ですが是非見てみてください。

            ↓(制作過程が長くなってしまいました。特に最初のアーチェリーの得点判別の制作過程は手探りだったため分かりにくいかもしれません)
        • はじめまして、兵庫県の高校二年生です。
          今、夏休み明けで勉強、部活、生徒会活動と、、忙しいです。
          日々の学習意外にも今世の中で起きている事も積極的に知るようにしています。
          そのため、日頃からニュースも読むようにしていますが、自分の知らない間に新しくて面白い技術がどんどん増えているような気がします。
          たまに、インターネットなどででとても面白いものや商品を見つけて
          こんなものがあるんだ!!とか、こんなこともできるんだ!!と思うことがよくあるからです。
          しかし、新しいものを1から作ることはとても難しく専門の知識が必要だったり莫大な費用と時間がかかったりすることもあります。
          • そこで、既知の技術や広く使われているものを使って新しいもの、身近に活用できるものを作れたらいいなと思いfab3Dコンテストにとりくんでみることにしました。専門的な知識の少ない、実際に町に住んでいる一般人の視点で自分の身近なまちに面白い技術を加えていけたら幸いです。



        • 自分は高校でアーチェリー部に所属しています。
          オリンピックでもアーチェリーがあり、来年に迫った東京オリンピックでも試合が行われます。
          来年は受験で見に行けそうにないのですが、とても楽しみで待ち遠しいです。

          • アーチェリーについて知らない人も多いと思うので簡単に解説しておきます。
            アーチェリーとは弓で矢を打ち、離れた距離にある的を狙いその得点を競う競技です。
            具体的に距離は18m、30m、50m、70m、90mがあります。
            最初に見たときはとおぉぉい!!ってなったのをよく覚えています。
            的がとっても小さく見えます。
            そのため、自分の放った矢がどこに当たったのか肉眼では分からないのです。
            的は大きく黄、赤、青、黒と塗られ見やすいのですが矢は遠くから見るとほんの小さな点です。
            試合や練習ではアーチャーは隣にスコープを置いていちいち確認しています。
            スコープで矢がどこに刺さったか?何点か?判断することができます。

          • しかし、それってとても効率が悪くないですか。
            練習でも試合でも限られた時間の中で矢を打ち確認する、、もっと効率よくするために、
            アーチェリーの得点を自動で判別する機械を作ってみます。
          • 現在のアーチャーのサイクル
            1、数回矢を放つ
            2、スコープで的中場所(点数)を確認
            3、1、2を数回繰り返す
            4、矢を取りに行く

            目指すサイクル
            1、たくさん矢を放ち瞬時に確認
            2、矢を取りに行く

            これでいちいちスコープで確認する手間が省け、連続して練習することで効率が上がるはずです。
          • 的を撮影し点数を認識。それを使用者に伝える。
            具体的には、的の上にカメラを置き、AIで点数を判断し使用者に音で伝えます。
            常に的を狙う事ができるよう視覚的にではなく、イヤホン等の音で伝えることが重要だと思います。
        • 自分は独学で様々な事を学んだりしていて、AIにも興味があったのですが、実際につくるとことなるとまだまだ実力不足です。
          そこで、AIメーカーというサービスを利用すことにしました。
          これは機械学習を始められるWEBプラットフォームであまり専門の知識がなくてもAIがつくれます。


          • まず、もととなるデータを用意します。
            的に矢が刺さっている写真をたくさん用意し得点でわけて学習させます。
            この作業が大変時間がかかりました。
            実際に的に矢を刺しそれをカメラで撮影しパソコンにいれて得点で仕分けしてプラットフォームに
            アップしました。
            約200枚の写真を学習させました。

          • つくったAIに的に矢が刺さった写真を読み込ませてちゃんと判断できるかチェックしました。
            本格的な機械学習に比べればとても少ない学習量でしたが、ちゃんと判断できました。
            しかし、2本同時や、的の得点線上に刺さった矢は判断が難しいようです。


          • 5点の画像を判断させたら右の画像のような結果になりました。



          • 200枚用意するのも大変だったんですが、もっと精度を上げるためさらに120枚ほど追加で学習させました。何度かテストしたところ少し精度が上がっていることが確認できました。
        • 制御するシステムといっても本格的なものではなく、スマホの有料アプリなどを使って自動で動くようにしました。
          外部からのボタンとしてワイヤレスイヤホンの音量ボタンもつかいました。
          • いっさい画面を触らずに、
            撮影⇒アップロード⇒判別⇒読み上げ
            までできるようになりました。
            bluetoothなどでつないた外部のボタンでスタートさせると自動で結果を音で教えてくれます。
            外部の音量ボタン等でスタート!
            それをトリガーにしてChromeが開く!
            Chromeが開くとそれをトリガーに前もって仕組んでおいたタッピングツールがスタート!
            自動で撮影、画像アップロード、判別結果の読み上げまでしてくれます!
          • いっさい画面を触らずに、外部のボタンだけで繰り返し使えるようになりました。
            bluetoothなどでつないた外部のボタンでスタートさせると自動で撮影、判別し結果を音で教えてくれます。
            これはアーチェリーの得点判別は初めての事が多くほとんど写真やがとれていないため後に作成したG判別のときの動画です。

        • スマホで撮影しても使うことはできるのですが、いくつか問題点があります。特に後述しているような他の用途で使うときに!!
          ・常に明るくしていないと正常に動作しなかったりする
          ・スマホのカメラだと狭いところや難しい角度からを撮影できない
          ・固定するものがいる
          これらを3Dプリンタを使って解決してみる!
          しかし、家には3Dプリンタなんてないので業者に依頼してみます。
          簡単な構想⇒
          • 3Dプリントをするにあたって、3Dデータの作成から依頼できるDMM3Dプリントにメールでやりとりをしました。メールで設計図や寸法などをやりとりしましたが、なかなか思うようなものはできませんでしたがなんとか3Dデータが完成し造形しました。写真は3Dデータです。
          • 2週間のメールでの激闘の末やっと家に届きました。写真⇒

            (お小遣いが、、)

          • これらを取り付けました↓
            明暗いところでも判別できるようにするためのライト!
            狭いところでも撮影できるようにするするために鏡!
            どこにもでも設置可能なぐねぐねスタンド!
          • 机の裏の普通なら撮影できないようなところもこんなふうに!
            スマホだと前と後ろしか撮影できないのですが、鏡を使って上方向も撮影できるようになりました。これで狭いとこも問題なし!
            鏡を使っているので視界が狭くなり判別に支障が出るか心配でしたが、
            問題なく判別してくれて助かりました。

            写真はG判別の様子です→

          • 鏡を使うことで、狭いところでも使えるようになりました。
            さらに様々な場所にも、角度でも設置できるようになりました。
            幅約80mm→幅30mm


        • う、動いたー!!
          一度テストしてみたところ正常に動作してくれました。
          ここまで長かった、、
          アーチェリーの得点を自動で判別してくれるツールができました!
          実際に使って見ると確かにおぉーってなるけど、、なんか物足りないです。
          用途が限定されているんですね。
          もっとたくさんの人が使えて簡単で便利でちょっぴり面白いようなものを作らなきゃ!
          っと思いました。
          そのため次は他のことに応用していきます。
          (動いたときの動画撮っておけばよかったっと後悔していたり、、)



          • はんべつーるに
            机の裏にGがいないかチェック!
            ポストの中身チェック!!
            ソファーの下に消しゴム落ちていないかチェック!!
            をやらせてみたいと思います。
            (ポストの中身チェック!!はできませんでした(-_-))

            • こんなことありますよね?
              夜家でくつろいでると、、、、
              ガサガサ、、
              ゴソゴソ、、
              恐る恐る音のする方へ見に行くと、、そこには黒い彗星が、、
              そう、、ごき○りです。
              まさか、いる?って思うたびに確認するって怖いですよね。
              その仕事をさせてみます。
              本物のGを用意することはできないので、
              本物に見立てた手作りGを使います。
            • Gのいる画像といない画像をたくさん用意しました。
              あとはパソコンで読み込ませるだけです。
              思うようにちゃんと判別してくれました。


            • 2回目であるため効率よく作れました。
              自分の部屋で何度か使ってみましたが、
              そういうときに限ってGは現れないんですよね。
              何回も使ったのに読み上げてくれるのはいつも無機質な(いません)でした。
              しかし、身近な日常に基づいたユニークなものを作ることができたので満足しています。
              他にも、少し手を加えれば駆除スプレーと組み合わせたり、他の虫にも対応したり、定期的に確認したりとさらに応用して使うことができます。
            • 家の近くにあまり使われていないポストがあるのですが、そこのポストの配達員がポストを確認したけどなにもはいってなかったぁーってなっているのをよく見かけます。
              しかし!はんべつーるを使えばポストの中を開けずに確認できます。
              これを使えば配達員の仕事が減って効率化するのでは?と思いました。
              しかし、家の近くにあるポストに勝手にはんべつーるを取り付けるわけにはいかないので学校の生徒会の意見箱に取り付けてみようとしたところ、拒否されちゃいました。
              代わりに、ソファーの下に消しゴムをオとしていないかチェック!を作成することにしました。
            • みんなのあるある!
              机から消しゴムを落とすこと。
              自分もよく落としてしまいます。
              しかもそれに気がつかないんです。
              (勉強に集中してるからですねw)
              自分の部屋の机で勉強しているときもよく落とします(もちろん気がづかない)。
              そのため、消しゴムをなくしたことを後になってから気がつくのです。

            • 一方、落ちた消しゴムは床に跳ね返って転がり高確率でソファーの下に潜ります。
              自分の部屋の家具の置き方(机の横にソファーを置いている)が原因です。
              (自分はこのソファーのことを消しゴムブラックホールとよんでいます)
              だから自分は消しゴムがないことに気がつくと真っ先にソファーの下を確認します。
              しかし、ソファーの下に落ちているものを確認するのは容易ではないんですね。
              ソファーの前で寝そべって懐中電灯を片手に定規で探したり、力任せにソファーごと動かしたりと探すのに苦労します。
              しかも、結局ソファーの下に落ちていなかった!ってことも、、
              そこで!その仕事をはんべつーるにやらせてみようと思いました。
            • まず、自分が普段使っている消しゴムを用意して、それらがソファーの下におちている画像とそうではない画像を用意します。
              自分が使っている4種類の消しゴムに対応できるようにまんべんなく多めに写真を撮りました。計200まいぐらいです。
              実際の写真→
            • しっかり動作してくれました。
              3回目なので早く終わりました。
              これはとっても実用的で他にソファーの下に無くしてしまうもの(鉛筆、スリッパ、テレビのリモコン、ミニカーなど)にも対応することもできます。

              写真はパソコンで写真を学習させているところです→
          • なんとか無事完成することができました。
            まだまだ未熟な作品ですが、将来的にもっと腕を磨いて、これをもっと発展させていきます。
            作品を作るにあたって自分に必要な力、足りない力、役に立った力が見えてきました。
            自分にはできないことがたくさんあって、けどそれをできるようになりなりたいと思いました。
            これからも、努力を続けて腕を磨いていきます。
            ありがうございました。
            • https://tokyo2020.org/jp/games/sport/olympic/archery/

              http://www.kowa-prominar.ne.jp/archive/event/report_archery161021/

              http://www.ztv.ne.jp/ji2uyl/archery/what%20is%20archery/what%20is%20archery.htm

              https://aimaker.io/


          Add Card Order

          References

            Usages

              Project comments