【AI注目発明】音響情報で動作シーケンスの差を直感的に理解する

最終更新: 2月24日


動作の型が決まっているスポーツや舞踊など、プロの演技者の実演は素晴らしいものです。しかし、“言うは易く行うは難し”で、一連の動作を身に付けるのには長い年月のトレーニングが必要です。今回は、自身の動作シーケンスと理想的な動作シーケンスとの差を、リアルタイムで計算し、音響情報に変換して伝えることで、自らの動作の修正すべき点を直感的に把握させて学習者のトレーニング効果を高める発明に注目しました(特開2020-195431、東京大学)。


動作のシーケンスが重要な身体運動


スポーツの指導においては、身体運動について計測や撮影を行い、その結果に基づいて指導者が改善点を提案するという手法が多く行われています。特に動作のシーケンスが重要な身体運動においては、お手本と学習者の動作をどのように比較し、学習者に伝えるかという課題があります。ゴルフは動作のシーケンスが確立されているスポーツの1つです。ゴルフスイングは、短時間で複数の身体部位が相互作用しながら完了する動作であり、スイング動画を再生しても、身体部位の動作の連鎖を視覚的に把握することは困難です。また、各身体部位の動作のタイミングが望ましい形で行われているかを認識でき、自覚して修正できるのはすでに上級者レベルです。動作シーケンスの評価を、学習者にわかりやすく伝えることが重要です。


動作シーケンスの差を、音響情報として提示する


この発明は、参照となる動作シーケンスと、運動データから取得した学習者の動作シーケンスとの差を、音響情報として学習者にリアルタイムないしニア・リアルタイムで提示することで、学習者が自らの動作を自覚し修正を行うことができる直感的な方法の発明です。

モーションキャプチャで身体運動の時系列データを取得し、身体部位の動作及びその動作を引き起こしている別の身体部位の動作の時間変化について、それぞれの動作上の転換点(イベント)の間隔や順序についての調査を行います。


この発明では、特定部位の運動上の転換点(イベント)のタイミング評価6項目を採用しています。イベントは学習者に取り付けられた身体およびゴルフクラブ上のマーカの3次元位置座標から計算されます(図6)


・左膝の角度最大となる時刻

・左手首の固定が解除される時刻

・腰の回転角速度が最大となる時刻

・肩の回転角速度が最大となる時刻

・手首の速度が最大となる時刻

・ゴルフクラブのヘッド速度が最大とな   る時刻











手本のスイングについて、それぞれのイベントに異なる周波数(frefi音)を対応させます。


ここで、hrefiは、Aの音(周波数440Hz)からの音程差を半音の数で表現したものです。ここでは、上記6音を同時に鳴らすと、C11と呼ばれる和音になるように設定しています。各イベントへの音の割り当てを表4に示します。

続いて、評価対象のスイングについて、各イベントに音を対応させます。 ここで、手本スイングと比較して、そのイベントの発生順序が早くなっていた場合に音程を半音上にずらし、遅くなっていた場合に音程を半音下にずらして対応させます。 これらのデータを利用して、周波数frefiの音声を時間tだけ順番に鳴らしていくことで、手本のスイングのタイミング評価を提示し、手本のタイミング評価提示終了時刻から時間t´i後に周波数fiの音声が再生されるようにします。


このように、手本と評価対象のスイングについて音声が再生される順序や再生時間を変化させることで、各タイミングのズレの直観的な提示を行うことができます。その後、評価対象のスイングにおける6つの音声を同時に再生します。これによって、イベント発生順序が手本と異なっている場合、不協和音として音響情報を提示することになり、学習者に順序のズレを直感的に提示することができます。


音響情報で動作シーケンスを比較した例