全6281文字
PR

 サパテアードのリズムを機械学習すると決めたところまでは良かったが、そこからは試行錯誤の連続だった。まずはYouTubeに投稿されているガルバン氏の動画から音を集めてきて簡易的なモデルを生成してみた。しかし、うまくいかなかった。

高速ステップにセンサーが追い付かず

 そこでセンサーを取り付けた靴をガルバン氏に履いてもらい、データの収集を始めようとしたら、今度はセンサーが3秒で壊れた。ガルバン氏の足のスピードが想像以上に速く、床を踏みつける力も強かったため、センサーが衝撃に耐えられなかった。

 そこで振動センサーや光学センサー、加速度センサー、ジャイロセンサー、静電容量センサー、そしてマイクなど、考え付くだけのセンシング技術をいろいろ用いて、しかも靴のどこに取り付けるかも一つひとつ探りながら、データ収集を進めた。

 だがデータは取れるようになっても、やはりガルバン氏の足の圧力が強過ぎて測定範囲の上限を超えてしまう。その瞬間が何度もあり、やり直しになった。

ガルバン氏がセンサーを取り付けた靴を履き、足のステップの音をデータとして収集した
ガルバン氏がセンサーを取り付けた靴を履き、足のステップの音をデータとして収集した
(出所:山口情報芸術センター)
[画像のクリックで拡大表示]

 足をカメラで撮影したときのモーションキャプチャーの感覚でいえば、ガルバン氏のステップは記録精度(1秒当たりのフレーム数)を通常の3倍に上げないと、正確なデータは取れないことが分かった。

 こうして足の力加減への対応は何とかクリアできたが、また次の課題が見つかる。先ほども触れたように、フラメンコは靴のさまざまな場所を使って複雑な音を鳴らす。それを高速かつ正確にこなせるのが、ガルバン氏の最大の持ち味と言ってもいい。

 同じ靴でも、かかとと爪先では鳴る音の質感が異なる。さらに靴で床面をなぞったりこすったりするような音まで収集できないと、フラメンコらしい音にはならないことも分かってきた。だからといってセンサーの感度を上げると、今度は右足の音を左足のセンサーが拾ってしまったりもした。こうなるとデータの切り分けが大変になる。

 IoT(インターネット・オブ・シングズ)の靴をイメージしてもらえればいいのだが、計測対象が人並み外れた相手になるとIoTの設計は途端に難しくなる。しかしデータが取れないとAIは学習できないので、測定を諦めるわけにはいかない。

 通常、音楽(曲)をAIに学習させる場合、あらかじめ譜面の解析ができる。フラメンコでも伝統的な演目には譜面があるが、ガルバン氏の即興ダンスには譜面などない。音源もギターのようによく使われる楽器ならあるが、フラメンコの足のステップ音源は存在しない。だから全部、自分たちで作った。

 IoTシューズの開発とデータ収集および解析は、とにかく苦労の連続だった。それでも何とか準備が整うと徳井氏らはスペインに旅立ち、ガルバン氏に靴を履いてもらってデータを集めた。こうして音の学習データが整っていった。