機械学習の第一人者が世界初公演に参加
世界最高峰のフラメンコダンサーであるガルバン氏の動きをAIに学習させるのは、最初から困難が予想された。そこでYCAMは強力な助っ人を招いた。音楽やメディアアートの世界にいち早く機械学習を持ち込んだことで知られる、クリエーティブスタジオQosmo(コズモ)の代表を務める徳井直生氏だ。
2017年12月からプロジェクトに参加しているが、最初はフラメンコのこともガルバン氏もよく知らなかったという。なお、徳井氏は機械学習の豊富な実績が評価されて、2019年4月に慶応大学の准教授に就任することが決まっている。
徳井氏がガルバン氏と初めて対面したとき気付いたのは「フラメンコは極めて音楽的な側面が強いダンス」ということだった。それは「サパテアード」と呼ばれる、フラメンコダンサー特有の足のステップに起因する。
ガルバン氏はかかとが高いフラメンコシューズを履き、足の裏全体やかかと、爪先などを使い分けながら床を踏み鳴らし、サパテアードのリズムを刻む。徳井氏はこのサパテアードに「ガルバン氏らしさが一番出ている」と感じた。
もともとDJであり、音楽に精通している徳井氏らしい目の付けどころだ。「足のステップのリズムや音をAIが深層学習(ディープラーニング)して、ガルバン氏が奏でるサパテアードの生成モデルをつくることに注力した」(徳井氏)。
ガルバン氏自身も「自分はダンサーであると同時に、ミュージシャンの役割も担っている」と話している。今回の公演では足や指だけでなく、衣装の下に剣道の胴の防具を身に着けておなかの音まで鳴らしていた。ガルバン氏は「人間打楽器」でもあるのだ。体全体を使って音を鳴らす。
公演中は機械学習で生成したサパテアードのモデルに従って振動する靴型の機械がステップを踏み、床をたたく装置が音を立て、小型のお掃除ロボットのようなものがステージ上でガタガタと揺れたりする。
それだけではなく、会場の照明や音響装置もサパテアードの生成モデルによって出力する光や音を変えていく。そうした機械たちの動きや音、光に、ガルバン氏が本番中に刺激を受ける。
この公演でいうところの競演とは、そうしたことだった。結局最後まで、Pepper(ペッパー)やASIMO(アシモ)のようなロボットが出てきてガルバン氏と一緒に踊るようなシーンは一切なかった。