ビジュアルクリエイターのための TOUCHDESIGNER バイブル

TouchDesigner (タッチデザイナー) は、カナダの Derivative (デリバティブ) 社が開発した、あらゆる映像や音楽で構成されたメディアアートのシステムをデスクトップ上で簡単に構築することができるソフトウエアです。
インスタレーションアート、プロジェクションマッピングや、音楽と映像をシンクロさせた音楽ライブや演劇の演出で使われるメディアアートの創造に絶大な表現力を発揮し、視聴する者を魅了しています。

また、ハリウッド映画では SF 映画の宇宙船の操縦パネルの GUI (グラフィックユーザーインターフェイス) として使用されるなど、一般的にも目にすることが増えてきています。
コード (プログラム) を書かなくても、オペレータというボックスをつなぎ合わせていくことで、視覚的に容易に直感的なプログラミングができるソフトウエアとして、近年、ハイエンドな映像制作会社や映像クリエイターのニーズが高まってきています。

同書は、ハイエンド映像クリエイションの現場で活躍するトップクリエイター、川村健一を中心に同様のクリエイター松岡湧紀、森岡東洋志が、自身の作例を元にふんだんな制作過程の画像を元に丁寧に解説します。

■目次抜粋
TouchDesigner とは
はじめに

First Step1:TouchDesigner をはじめよう
First Step2:TouchDesigner の基本操作を覚えよう
Touch Designer User's Showcase
Step1:音に反応するグラフィックを作ってみよう
Step2:Web カメラを使った時間差表現
Step3:3D 空間を活用したオーディオリアクティブなグラフィック
Step4:TouchDesigner でのパーティクル表現
Step5:3D オブジェクトを使った表現
Step6:カメラを使ったアニメーション表現
Step7:UI を使って表現を切り替える
Step8:スマートフォンと連携させる
Step9:Depht Camera を使った表現
Step10:物理シミュレーションを使った作例。Bullet を使用した 2D ゲーム
Step11:GLSL の基本
Step12:GLSL MAT を使用した表現
Step13:スクリプトを書く

TIPS
TouchDesigner の学習方法
おわりに

*********************************

『ビジュアルクリエイターのための TOUCHDESIGNER バイブル』 (川村 健一、松岡 湧紀、森岡 東洋志 著、ベン・ヴォイト 監修、誠文堂新光社、2020 年 12 月刊) は、カナダの Derivative 社が開発した TouchDesigner の使い方を、著者自身の作例の制作過程を追いながら学ぶ書籍です。副題は「映像と音楽を駆使したビジュアルアートの創り方をトップクリエイターの作例から解説」で、版元の紹介文は TouchDesigner を、コードを書かなくてもオペレータというボックスをつなぎ合わせて直感的にプログラミングできるソフトウエアとして紹介しています。インスタレーションやプロジェクションマッピング、音楽ライブの映像演出を自分の手で組み立てたい映像クリエイターやデザイナーに向けた一冊です。

導入と基本操作から 13 本の作例 Step へ進む構成

冒頭の「TouchDesigner とは」と「はじめに」に続く First Step1 は、ユーザー登録、ダウンロードとバージョン、ライセンスの種類、起動とライセンス認証という導入の手続きを扱い、First Step2 では最初の Hello,world! に当たる操作から、プロジェクトの保存と読み込み、Designer Mode と Perform Mode、COMP と tox、パネルのレイアウト、Timeline と Palette の GUI までを押さえます。その後に海外の制作者 3 組の作品を紹介する「Touch Designer User's Showcase」が挟まります。作例の本編は Step1 から Step13 までの 13 本です。Step1 の音に反応するグラフィック、Step2 の Web カメラを使った時間差表現、Step3 の 3D 空間を使ったオーディオリアクティブなグラフィックと、音と映像の入力を起点にした作例が続き、Step4 のパーティクル表現、Step5 の 3D オブジェクトを使った表現、Step6 のカメラを使ったアニメーション表現で 3D の扱いを広げます。Step7 は UI による表現の切り替え、Step8 はスマートフォンとの連携、Step9 は深度カメラを使った点群やマスクの表現、Step10 は物理演算の Bullet を使った 2D ゲームです。Step11 と Step12 は GLSL を扱い、最後の Step13 では Expression から始めて Script SOP や Python のライブラリ、Script CHOP による画像処理までを組み立てます。巻末には TIPS として「TouchDesigner の学習方法」と「おわりに」が置かれています。

オペレータの系統とデータの流れ、GPU で描く仕組み

TouchDesigner のオペレータは、扱うデータの種類ごとに系統が分かれています。画像やテクスチャを扱う TOP、時間とともに変わる数値の列 (チャンネル) を扱う CHOP、3D の形状を扱う SOP、表やテキストを扱う DAT、材質を扱う MAT、それらを部品としてまとめる COMP という分け方で、本書の目次にも Particle SOP、Button COMP、Table DAT、GLSL TOP、GLSL MAT、Script CHOP といった名前が並びます。音を 3 つの周波数に分けて円の大きさに割り当てる Step1 のように、ある系統の値を別の系統へ渡す接続が表現の要になり、ノードをつなぐ順がそのまま処理の流れになるため、どこで値が変わったかを画面の上で追えるのがこの方式の強みです。一方で、描画の負荷を詰めたり独自の効果を作ったりする段では、GPU 上で動くシェーダー言語の GLSL や、パラメーターの式とスクリプトを書くための Python の知識が要ります。カメラ映像から輪郭や動きを取り出すような処理は、画像処理ライブラリの OpenCV が得意とする領域で、ノードの組み合わせだけで作るより短く書ける場面があります。こうした段差に向けて、本書の Step11 は GPU とレンダリングパイプラインの説明から始まり、UV 座標や Uniform 変数へと進みます。

機材と版の前提、映像演出の現場で TouchDesigner を使いたい人へ

Step8 はスマートフォンとパソコンの連携、Step9 は深度カメラの機材を前提にした作例なので、同じものを動かすには機材の用意が必要です。また本書は 2020 年 12 月刊で、その時点の TouchDesigner を前提に書かれています。後のバージョンとの画面や操作の差は、Derivative 社の公式の資料と照らし合わせながら読むことになります。個々のオペレータのパラメーターを網羅的に引く用途には、本書の作例を順に追う構成は向きません。その代わり、音や映像、センサーの入力をリアルタイムの表現に結びつける手順を、著者自身の作例の単位で一本ずつ再現できます。映像演出やイベントの仕事で TouchDesigner を使い始めたい人や、ノードの基本操作を覚えた後に何を作ればよいか迷っている人にとって、表現の引き出しを具体的に増やせる一冊です。