ARリリックビデオ｜HARU.ROBINSON - HOWL
Music videos that include lyrics as graphic elements are called lyric videos, and many music artists have released lyric videos with lyrics added through motion graphics and visual effects. But this was the world’s first music video to include lyrics graphically created by AR (augmented reality) technology. The lyrics were handwritten by the music artist using AR technology and added via camera tracking to a video captured by iPhone.
In the music video, the artist performs his song while walking outdoors with the lyrics seemingly floating in the air around him. The lyrics are displayed in sequence as they are sung. To capture the entire video in a single cut without any other people appearing as the artist walked 300 meters through the streets of Harajuku, one of Tokyo’s most crowded areas, it had to be shot over 100 times (including test shots). Only two tries were acceptable.
ARリリックビデオは、世界で初めてAR（拡張現実）の技法を使い、アーティスト本人による直筆の歌詞をそのまま現実空間にマッピングして、iPhoneで撮影されたミュージックビデオ。
アーティスト自身が演奏しながら、歌詞で埋め尽くされた屋外の空間を歩く。音楽と歌詞は完全に一致しておりリリックビデオとして機能している。この撮影のためにスマートフォンアプリを開発し、東京で最も多くの人が行き交う原宿で人のいない一瞬のスキを狙い、300mに渡るワンカット撮影に挑んだ。テスト撮影を含めると100回以上撮影し、OKカットはわずか2回のみだった。
GoogleのVRイラストレーションソフト「Tilt Brush」を使って、アーティスト本人が空間に歌詞を1文字ずつ書いた。次に、ゲーム開発などでも用いられる開発ソフトUnityを使って、原宿を模した空間をデータ上に正確に再現し、そこにデータ化した歌詞をレイアウトしていった。最後に、独自にスマートフォンの撮影用アプリを開発し、歌詞を現実空間にマッピングしていった。撮影機材はiPhoneと手ブレ防止の機材だけ、ARを起動させるマーカーを読み込むと現実世界に歌詞が現れる仕掛けとなっている。
