視線入力で機材を演奏したい～3Dプリンタ・ロボット化計画～

Created Date: 2021-01-11/ updated date: 2021-06-01
Owner & Collaborators
License
視線入力で機材を演奏したい～3Dプリンタ・ロボット化計画～ by ICTRehabilitaionResearchLabo, TakayukiOhtomo, hamade, Yukari0514, domy1980 is licensed under the Creative Commons - Attribution-ShareAlike license.
Summary
梶山さんのチームです．視線入力のすごさを機材演奏でプレゼンしたい，という思いを実現するためのプロジェクト．メイン動画は，以前梶山さんが仲間たちと開発した視線入力で音楽演奏するためのツールで演奏している様子です．視線入力だけだと聴いているみんなにプレイのすごさが伝わらないので，物理的に機材を動かすこと，プレイの見える化が目標です．

Materials

    Tools

      Blueprints

        Making

        • ニードノウアについて

          0
          進行性筋ジストロフィーにて身体機能全廃、呼吸障害により発声に制限がある状態です。
          24時間の介護サービスを利用して一人暮らし。左親指と目は動かすことができ、これまで様々な入力デバイスを試してきた中で、現在は視覚センサーとスイッチの組み合わせでパソコンを操作しています。
          ロックとテクノが大好きで、野外フェスに出かけたりもしています。視線入力でゲームを楽しむことも好きで、ゲームを通じて後進の育成に励んでいます。

          Comments

            • チームメンバー

              0
              大友 高行／鈴木 一登／鈴木 ゆかり／土肥 栄祐／ハマナカナオキ

              Comments

              • 視線入力によるソフトウェアシンセ演奏の様子

                0
                梶山さんは，プロのアーティストも多く使っているアプリ，Ableton Live を視線入力でお使いです．オンラインメイカソン開催期間中に開催されたトークショーでも自作のアプリと連携したリアルタイム演奏を披露していただきました．
                しかし，この演奏だと実際の機材を物理的に操作している，という感覚がなく，視線入力のすごさも伝わらないのではないか，とお考えでした．

                Comments

                Add Annotation Order

              • 課題・要求 (Bad / Good ストーリー)

                0
                視線入力でゲームなどを楽しんでいたりもしますが、「視線入力のすごさを知ってもらいたい」という思いと大好きなロックやテクノを聞くばかりでなく、演奏したい、という思いから、「視覚センサーと指先でのスイッチ操作の組み合わせにより、ローランドMC-101グルーヴボックスを独自のスタイルで演奏でき、フジロックなどの野外フェスに出演したりして、音楽に囲まれた素敵な人生を送る！」というニーズとなりました。

                Comments

                  • Bad ストーリー

                    0
                    実際に楽器を演奏できず、ソフトウェアの中だけで留まってしまう。視線入力で演奏はできるが、そのすごさをうまく伝えることができず、フラストレーションが溜まりがち。DJ たちのように実際につまみやフェーダーを操作できないもどかしさが常にある。

                    Comments

                    • Good ストーリー

                      0
                      実際の機材をダイレクトに操作することができることは、憧れのアーティストと同じ機材を使えている、という満足につながる。
                      Roland MC-101 の操作ができるようになれば、きっと他の機器も操作できるようになる。
                      これらの機器を使ってライブをする様子を多くの人に見てもらえることになれば、視線入力の可能性も伝えられそう。

                      Comments

                      • 目標・課題

                        0
                        そのために
                        ①自助具によって指先の動きのみのスイッチ操作を改善したい。
                        ② 物理的にモノを動かして音楽を演奏するトリックが欲しい。
                        ③視線入力を使ってノブを回したい。視線入力とピエゾニューマティックスイッチを組み合わせて何らかのデバイスを動かし、MC-101のツマミを1つ操作できるようにする。

                        Comments

                        • 機材紹介-Roland MC-101

                          0
                          梶山さんが実際に操作してみたい機材のひとつが，Roland MC-101 Groovebox というものです．
                          4トラックのループを自在に構築し，フェーダーやエフェクターの組み合わせで演奏することができます．
                          メーカー公式サイト：https://www.roland.com/jp/products/mc-101/

                          Comments

                          Add Annotation Order

                        • 解決策・アイデアスケッチ

                          0
                          上の「目標・課題」

                          ①自助具によって指先の動きのみのスイッチ操作を改善したい。
                          ② 物理的にモノを動かして音楽を演奏するトリックが欲しい。
                          ③視線入力を使ってノブを回したい。視線入力とピエゾニューマティックスイッチを組み合わせて3Dプリンタを動かし、MC-101のツマミを1つ操作できるようにする。

                          を解決するためのアイデア

                          Comments

                            • 3DプリンターDJ

                              0
                              3Dプリンタをハックして，Gcode でフェーダーやノブを動かすアイデアです．
                              既存技術を活用して早い実装ができそうに思います．

                              Comments

                              • ロボットDJ

                                0
                                ロボットアームを活用した解決案です．ロボットアームが群舞する様子はとても見てみたいところ。
                                オープンソースのロボットアームが普及してきました。価格は下がってきたとはいえ、いまだ数十万円はかかりそうなソリューションです。

                                Comments

                                • ロボットアーム：おまけ

                                  0
                                  ファブラボ品川で6年ほど前に作成したオープンソースのロボットアームプロジェクト、meArm の現状。安価なマイコンとビジュアルプログラミングで操作することができますが、サーボモーターの性能限界もあり、素早い動作などには程遠いものでした。ただ、基本的な制御技術については仕組みがよくわかる優れたプロジェクトです。

                                  Comments

                                  • つまみカバー

                                    0
                                    つまみを3Dプリンタで動かせるようにカバーを付ける。
                                    つまみ部分はピッチリとはまるようにTPU素材、旗(羽)の部分はPETG素材で。 
                                    PLA素材でもいいと思います。 

                                    Comments

                                    Add Annotation Order

                                  • プロトタイピング

                                    0
                                    アイデアスケッチの3DプリンターDJについての取り組み

                                    Comments

                                      • 3Dプリンターをパソコンから直接操作するテスト

                                        0
                                        Python でプログラムしたアプリケーションから直接 3D プリンタを操作するテストです。
                                        ノズル部分の操作をイメージしたく簡易的にカメラを設置してみました。
                                        ノズル部分の移動はカメラで撮影している領域の上下左右にボタンを設置し、ここにマウスポインタが重なると、G-Codeが転送されてノズルが移動します。UFOキャッチャーのクレーンにカメラがついているイメージです。
                                        とりあえず自分の中の初期イメージですが、このユーザーインターフェースは梶山さんの意見を反映しながら改善していきます。

                                        Comments

                                        • 操作系の修正

                                          0
                                          操作画面を修正。
                                          画面の任意の位置にマウスポインタを置いてクリックすると、画面中央からの距離と方向を赤い線で表示させています。この赤い線の長さと方向でノズル部分の移動を操作します。（G-Codeは未実装）
                                          梶山さんがTinkerCADを視線入力だけで操作されているということなので、そこからヒントが得られないかなと考えてます。フェーダーやツマミの操作は検討中。
                                          ちなみに画面は自分のディスプレイの背景です。

                                          Comments

                                          • つまみカバー

                                            0
                                            つまみにかぶせるカバーのプロトタイプ各種
                                            プロトタイプ1は，旗タイプで異素材の組合せとしている．旗が干渉する問題があり，サイズを調整した．
                                            その後，Z軸高さが操作スピードに関わる影響が大きいことがわかり，高さを低くしつつ操作性を高めるために十字形のつまみをデザインした．
                                            フェーダーカバーもつまみと高さを揃えている．

                                            プロトタイプ-1：旗タイプ，ロングアンドショート
                                            プロトタイプ-2：十字型
                                            フェーダーカバー

                                            Comments

                                            Add Annotation Order

                                          • ノズルカバー製作

                                            0
                                            厚みを2㎜で製作。
                                            実際に動かしてみると、写真の手前〜奥方向は大丈夫でしたが、左右方向はノズルヘッドが3Dプリンタの支柱とぶつかってしまい厚みを減らすことになりました。

                                            Comments

                                              • ノズルカバー改良

                                                0
                                                ノズルカバーの下側に取り付けている棒を使って機器のボタンやフェーダーを操作しますが、3Dプリンタの支柱が邪魔なので、棒の位置をずらしました。
                                                画像はノズルカバーの改良案です。stlファイルの図面は以下にあります。

                                                Comments

                                                • ノズルに直接取り付けるデザイン案

                                                  0
                                                  3D プリンタのノズル径と同じボルト (M6) で直接ヒートブロックに取り付けるアイデアです．
                                                  パーツ本体はショア硬度が高めの TPU にしています．
                                                  別途，M6キャップボルト (15mm) が必要です．

                                                  Comments

                                                  Add Annotation Order

                                                • 解消された世界

                                                  0
                                                  視線入力で表現できる音楽で梶山さんの中の世界観を引き出す
                                                  テクノやロックの演奏でライブ活動（目指せ、The Chemical Brothers）

                                                  Comments

                                                      Add Annotation Order

                                                    • Next Action

                                                      0
                                                      視線入力でオーケストラ
                                                      複数人で演奏、視線入力で複数のアクチュエーターの操作
                                                      リアルタイムの使用感、タイムラグのない演奏
                                                      音楽とビジュアルの演出：視線入力 VJ との共演など

                                                      Comments

                                                          Add Annotation Order
                                                        Add Card Order

                                                        References

                                                          Usages

                                                            Project comments

                                                            • No.001domy1980Posted date: 2021-02-06
                                                              しゅごいです❗️😭❗️