Close
Type at least 1 character to search
Back to top

本日は、台風ですね。もはや、猛暑+台風とか、あれだ、もう、TDやるしかないっすよね。 ってことで、前回、ご紹介したTDの教本から「オーディオビジュアライゼーション」について振り返りをしたいと思います。 下の映像は、教本見ながらTDで作ってみたオーディオビジュアライゼーションです。 基本的には、「Visual Thinking with TouchDesigner – プロが選ぶリアルタイムレンダリング&プロトタイピングの極意」に沿って制作すれば、サクッとこんな感じのオーディオビジュアライザーションができるのかと思いきや、少しつまずいたところもあったので、補足的な内容を記載したいと思います。 まだ初心者なので用語の使い方が間違っている可能性も.. ※「Visual Thinking with TouchDesigner – プロが選ぶリアルタイムレンダリング&プロトタイピングの極意」で基本操作を一通り終えている前提での説明になるので、細かい点は、本を購入してご確認頂くのが良いと思います! https://vimeo.com/282070549 かなりざっくり言うと、CHOPでオーディオファイルを読み込み解析後、数値データをSOPに渡して、Y軸の変化量として波形描画。その後、feedbackやblurでいい感じにエフェクトかけてるって感じ。 step1~step6のブロックごとに軽く説明したいと思う。            step1. CHOPで音源を数値として扱えるようにする CHOPにも多様なオペレータが用意されている。 音源の読み込みは、「audiofilein」オペレータ、フーリエ変換は「audiospect」、チャネルのデータの時間変化を記録する「trail」オペレータ、入力された音源の最大値や最小値などを分析する「analyze」などなど.. 公式サイトを眺めていると、CHOPだけでも数十種類のオペレータがあるので機会があったら確認したいと思う(※TDはオペレータの種類と定義知っている=目標の表現のためにストラクチャーを考えられる、と言っても過言では無いので) ここでは、「audiofilein」で読み込んだ音源をそのまま、null に渡して、SOP に渡す。(※nullに渡すのが違和感を感じる方もいるかもですが、TDでは他のオペレータに値を渡すためには、nullに保持させて渡すのがお作法なのでここは何も考えずにそうすることにする) step2. CHOPの値に基づき波形を描画する 「grid SOP」「chop to SOP」「geo COMP(3Dモデルを入れるための箱のようなもの)」の順に繋いでいく。 ここで、「chop to」のパラメータパネル上の「CHOP」に、step1で作成した「null CHOP」を参照させることで、grid SOPのY座標Y(1)が、CHOPデータ(ポイントとポイントのアトリビュート(属性))に変換される。また、「Chanel Scope」には参照チャネルを設定、「Attribure Scope」にはY(1)を設定することで、Y値だけを参照するように設定する。 ※ 「geo COMP」を作成後、「chop to」と接続ができないかと。普通に本を読み進めるとここでつまずくはずです。 「geo COMP」をダブルクリックすると「Torus」が配置されているが、「Torus」を削除後に「in」「out」を配置し「out」オペレータの右端の紫ボタンを点灯させておく。上の階層に戻ると波形が描画されているはず。 あとは、「wireframe」のMATオペレータを配置し、geoのRenderでMaterialを「wireframe」に設定(ここは好きなMATで良いです) そして、最後に「geo COMP」→「render TOP」、「render TOP」に「 Camera COMP 」を割り当てることで、レンダリングされる。 step3~4. CHOPの値に基づき波形を描画する ここでは、step2でレンダリングされた波形に対して「残像」をつけてみよう。 残像を加えたい場合には、「Feedback」を活用します。Feedbackは前のフレームの映像を表示してくれるため、ループ系を構成することで残像効果をつけることができる。残像を残したいのが「comp1」になるので、「Feedback」の「Target TOP」のパラメータに「comp1」を参照させる。 これで一旦は完了だが、もう少し味付け。とうことで、キックに合わせて波形の色合いを変化させてみる。 「audioband CHOP」「analyze CHOP」「Trigger CHOP」と「analyze CHOP」「Trail CHOP」を繋げる。 「audioband CHOP」はいわゆるEQ(イコライザ)。詳細は割愛するが、この事例では、高音域をカットするように設定している。キックのタイミングは、「analyze CHOP」のRMS powerのパラメータを活用し「Trigger CHOP」で、RMS powerのパラメータが一定しきい値以上を超えたら、level TOPの透明度を変更するようにしている。 step5~6. ぼかし・背景色を追加し出力設定・書き出しをする 最後に波形にグロー(ぼかし)のエフェクトをつける。下の図のように「Bur TOP」をつなぐだけである。加えて、「constant TOP」で背景色に「黒」を設定し「Over TOP」で背景色として重ねれば完成。 完成したオーディオビジュアライゼーションを全画面で観たい時には、「window COMP」を活用する。「Open as Perform window」で「Perform」を選択すれば、全画面で確認することができる。 駆け足ですが以上が作成フローとなる。詳細は、教本にとても丁寧に記載があるので、是非、ご確認を! 勝手に本の宣伝みたいですが。

  はじめに あなたは何の専門家だろうか? アルゴリズム?アート?プロダクトデザイン?グラフィックデザイン?データサイエンス?ハードウェアデザイン?ビジネスデザイン? この記事を目にしているということは、あなたもきっと上に挙げたような専門領域を複数横断して、プロジェクトや作品制作をしている、または、これから進めようとしているのではないだうか。 "Art"、"Design"、"Engineering"、"Science"(以降、4象限と呼ぼう)をピボットすることが当たり前の時代になってきているように感じる。例えば、ある美術展では、アーティストとして社会に"問い"を投げかけていたかと思いきや、あるトップカンファレンスでは研究者として最新の技術的な研究知見を発表、起業家、もしくは投資家としても研究成果の社会実装に挑戦している、といった感じだ。 様々な企業がイノベーションだとかクリエイティビティが必要だと声を挙げているが、少しだけ解像度を上げると"Antidisciplinary(脱専門的)"な態度を誰もが求められる時代になってきている。(そもそもスキル的な観点で各領域への参入障壁が下がっているからこそ、求めることができるようになったのだろう。例えば、Technologyという観点では、AWSやGCPなどが民主化していくことで小難しい技術のコア部分はどんどん隠蔽されておりコマンドをGoogleで調べれば誰でも容易に扱える) このような趨勢において、時代の先端を行こうとする個人、もしくは組織にとっては、肩書など一言で説明できない状況になっているのが当たり前なのだ。脱専門的な態度が"スタンダード"になってきている。 4象限の境界を越境して、"Antidisciplinary(脱専門的)"な態度が必要であることは、MITメディアラボのNeri Oxmanが、Age of Entanglement(もつれ時代)[1] で主張している。 "Antidisciplinary(脱専門的)"でしか成し遂げられないことを志す人は、是非、読んでほしい。どの領域に自分が位置しており、そしてどこにピボットすべきであるのか、"海図とコンパス"としても示唆に富んだ内容であった。個人的に、己の状況を俯瞰すると、時宜にかなってもいると感じたので、この場でまとめておきたいと思う。 もつれ時代"における海図とコンパスを手に入れる 4象限のうち何処で活動しているのかを判断するための海図をあなたは持っているだろうか。 例えば、John Maeda(ジョン・マエダ)氏の The Bermuda Quadrilateral が参考になるだろう(確かに何処にいるのか自分でもよく分からなくなるので"魔の海域"という言葉はしっくりくる)では、Art、Design、Engineering、Science の本質を、 Art(to express) Design(to communicate) Engineering(to invent) Science(to explore) とシンプルに説明しており、複数の興味領域があったとしても、自分のコアな位置づけは分かる。     一方で、今後、成し遂げようとすることに対して、どの象限にピボットする必要があるのか、もしくは何故、その象限にピボットしたのかを明確にするためには不足である。まあ、コンパスがほしいのだ。 そんなことを考えていた時に、たまたま、Neri Oxmanの「Age of Entanglement(もつれ時代)[1]」を JoDS(Journal of Design and Science)で目にする。ここでは、「Krebs Cycle of Creativity[2]」という創造的なエネルギーを生み出すための図式を提唱している。 ※ JoDSをご存知だろうか。学界や学術出版とは異なり、誰もが著者の書いた投稿に文脈の補足等の加筆できる「ピアツーピア」なレビュー方式を採用したプラットフォームである。思わず読み込みたくなる論文が豊富に掲載されているので、気になる方は、覗いてみると良いだろう。 Krebs Cycle of Creativity | 創造性におけるクエン酸回路(創造性を生み出すサイクル) 高校の生物学の授業で"クエン酸回路"という専門用語を聞いたことがあるだろう。 大学以降では、1937年にドイツの科学者のHans Krebs(ハンス・クレブス)が発見したことにちなんで「Krebs Cycle」とも呼ばれたりする。生物が代謝するための重要な生化学反応であり、酸素呼吸をする生物全般に見られる反応のことを指す。 詳細な説明は割愛するが、Neri氏の「Krebs Cycle of Creativity(KCC)」は、クエン酸回路をアナロジーとして、経済を循環させるためには、どのように創造的なエネルギーを循環させるべきか(Neri氏はCreative ATP, CreATPと呼ぶ)を図式化したものである。 時代の変革期においての創造性を写した図式であると捉えると、バウハウスのウォルター・グロピウスの"Bauhaus Preliminary Course curriculum wheel (1923)"の現代版が、"Krebs Cycle of Creativity"といっても良いだろう。  ※KCCにおいては、基礎理論"Perception"の中心に哲学、応用実践"Production"の中心に経済学をおく。人間の創造性である4ドメイン、"Art"、"Design"、"Engineering"、"Science"がクエン酸回路の炭素化合物にあたる。各ドメインが他ドメインへトランスフォーメーションさせる通貨(具体的な意味は後述する)を生成することで、創造性のエネルギーが代謝するようになる。 この図式で表す内容を簡単に説明すると次のようになる。 Science で我々の世界を説明・予測することで、Engineering で活用可能な知識を生み出す Engineering:課題解決に科学的知識を活用することで実用性を生み出す Design:実用性(Utility)を最大化することで我々の行動変容を生み出す Art:我々の行動変容を批評することで新たな認識を世界に生み出す 他ドメインを活性化させる通貨を各象限が発行することで、創造性のエネルギーが循環し、イノベーションが促されるのだとNeri氏は言う。 この図式を前提にすると、現代において、イノベーションが生まれにくいと言われる理由も何となく見えてくる。 以下は、私が前に、リチャード・フロリダ著書の「クリエイティブ資本論」についてのレビューを書いた際の内容だが、リチャードはこの本で、KCCの循環を回すための基盤について述べているとの視点で読むこともできる。 人間のクリエイティビティ(創造性)が経済発展のカギとなる。字面だけでは、そんなの当たり前だろと一蹴りしてしまいそうであるが、その創造性たるものを一人ひとりから引き出す、または醸成させるためには、どうすれば良いのか?──と、聞かれると、具体的な答えを返せるだろうか。この問いするひとつの答えとして、著者のリチャート・フロリダは、「クリエイティブ契約」として、一種の社会契約を提唱している。 近年の経済活況の背景として「クリエイティブ・クラス」という新しい経済階層の台頭がある。クリエイティブ・クラスとは、「意義のある新しい形態を作り出す仕事に従事している階層」、すなわち、エンジニアリング、建築、デザイン、芸術、音楽、教育等に関わる人々を指す。このような人々の経済機能としては、新しい発想、技術、作品をつくりあげ、新たな経済価値を世に生み出すことである。米国の被雇用者全体の約3分の1(約4千万人)がこの階層に属し、彼らが生み出す富は、米国の被雇用者所得の半分を占める1.7兆円にも及ぶという。米国の経済成長と都市の発展には、如何にクリエイティブ・クラスを惹きつけ、支援し、育む環境を提供できるかがカギだとフロリダは主張している。 フロリダは、クリエイティブクラスが労働人口の約40%以上を占める都市には、経済成長の3つのT、「Technology(技術)」「Talent(才能)」「Tolerance(寛容性)」が備わっていることを実証研究で示した。3つのTの全てが1箇所で提供されることが有能なクリエイティブ・クラスを惹きつける磁力を生み、都市を繁栄へと惹きつけるのだという。 一方、クリエイティブ・クラスという新たな階層の拡大が経済を興起をもたらすことは事実だが、伝統的なコミュニティを中心とした都市との経済的格差を急速に進行させている。この課題に対して、未だスタジアムや博物館の建設といった方途で、都市の豊かさを示そうとする行政の施策を強烈に批判しており、クリエイティビティが創出される環境づくり、新たな制度の必要性を主張する。この主張が、本書の最大のエッセンス、「クリエイティブ契約」である──(具体的な内容は書籍で読んでほしい)。 フロリダの提唱は非常に興味深い。翻って、日本経済にこの論証を適用できるかという点については、日本では未だに終身雇用、企業への帰属意識が高く、多民族国家の米国に対して「Tolerance(寛容性)」という点でも遥かにベースが劣る。フロリダが提唱する「クリエイティブ契約」が、日本においても、唯一の経済発展の方途だとすると、そのインストールのためには、国家としてどのような戦略が必要となるだろうか──。 ※もちろん、Science to Designの橋渡しも考えられるが、ここで注意したいのはこれはあくまでも技術(Technology)を前提とした図式であることだ。A(応用可)/NA(応用不可)を区別している点は注意したい。 KCCの循環はCG業界から学ぶのも良い? さて、KCCの循環を考えた時、真っ先に、参考として思い浮かんだのがCG業界の動向だ。 先日、Los Angeles Convention Centerで開催されたCG技術に関するトップカンファレンスであるSIGGRAPH2019(SIGGRAPHの説明は割愛するが、興味がある方は調べてみてほしい)に参加したのだが、まさにこの場ではKCCが高速に回転している。 公式サイトのセッション構成からも分かるように、KCCの4象限が当たり前のように入り乱れている。このトップカンファレンスでは、Disney ResearchやAdobe Researchといった企業の研究組織から、MARVEL STUDIOといったプロダクション、UnityTechnologies、Unreal Engineといったゲームエンジン開発会社まで、当たり前のように4象限を横断しているプレイヤー達が、デモ展示や技術論文発表、最新のCG作品の発表を行う。加えて、トップレベルの研究を行う大学の研究室による技術論文発表などもあり、1日あたり80セッション程度が開催される。5日間の開催期間中は、アートからテクノロジーまで熱い議論が交わされていた。 ゲームや映画制作においては、各領域の専門家の連携が必須である(連携してコミュニケーションしないとそもそも制作できないので)ことが当たり前なので、そりゃ、もちろん、脱専門的な態度が根付いているのだが、他業界から見ると割と特殊な状況に見える。アートペイント担当者がDeepLearningセッションに参加していたり、AI研究者がアートセッションに参加している姿はまさに理想的な状況だ。コピーライターやアートディレクターが,Deep Learningセッションを熱心に聴いていたらどんなに未来を感じるだろうことか.. Pixer 作品が、毎回、世の中の期待を超えていくのは、各領域へのリスペクトと領域間の密な連携の賜物ではないかと思う。この点については、別の機会に書いていきたい。 最後に せっかく、変動の時代に生きているのだから、もう少し世の中のクリエイティビティのエネルギー循環に貢献するような活動をしたいと思う方は少なからずいるだろう。瞬きする間も無いぐらいに世界は動いているけれども、多くの業界では、KCCの循環が明らかに停滞している。クリエイティビティを掲げる企業は多いが、その実情はまだまだ各領域が水平分断しているのではないだろうか―。   今後、Enginneringの民主化は加速していくので、誰にとっても基礎装備となるだろう。 Enginnering+Designを主軸に"Art to Science"までアプローチできる人材に、ますます注目と期待が高まるかもしれない。 既に、コンサル業界でも"問い"だとか"課題発見力"だとか言っていることかも想像できる。4象限のピボットは明らかに茨道だが、最前線で活躍する人達にとってはスタンダードとなってきている。 個人的には、会社に求められずとも、独学で作りたいものを作っている人の方が、呼吸をするようにKCC循環のコツを掴んでいるように感じる。 さて、脱専門的であることがスタンダードな時代で、あなたは、この瞬間に何ができるだろうか。    

秋が深まり、目の前は黄金。ポケットの中のギターのリフがいつも以上に楽しげで、黄金色の落ち葉も愉快に踊る。黄金の粉が舞って、街路樹は唄う ──。 木々が色づくのは、生命活動の最適化が行われるからである。 この時期になると日差しが穏やかになり光合成で得られるエネルギーが、葉を維持するエネルギーよりも小さくなると、葉に栄養の供給をストップする。すると、緑色の色素、クロロフィルが分解される。この分解されたクロロフィルと葉の糖分が合わさって、アントシアニンが作られる。 このアントシアニンというやつが赤色の色素、赤い紅葉を生み出している。黄色の紅葉は、クロロフィルが壊されて、葉の表面のカロチノイドが現れると黄色の色素になるそうだ。 木々は、春までの間、自身の生命を維持するべく忙しく活動している様子がこの素晴らしい色合いをつくっているのだ。 上野公園 ──目の前には異様な青。 工業地帯のタンク群を彷彿とさせる。 正体は、「錦鯉品評会」 「変わり鯉」「別甲」など様々に名付けられた錦鯉達が青いビニールの中に入れられている。 きっといい餌を食べているんだろう。彼らはどっぷりと太っており、色も鮮やか。そんじょそこらの鯉とは格が違う、エリート達だ。 エリートの彼らの子孫達は、袋詰にされ、コンクリートの上に整然と並べられている。 彼らは生き物だけども、モノとしての扱われる。なんだか異様な光景で残酷に見えてくる 生命維持のために、色づく木々とは対象的に、錦鯉達は人間の手によって、より鮮やかな種のみが取捨選択され、エリート達が将来も生き続ける。 紅葉も錦鯉の鮮やかさも、同じ生命が生み出した美である。 どちらも、生命活動の結果、美しく色鮮やかなのだが、鮮やかさの背景は全く違う。 人間のエゴに操作された色合いはなんだか毒のようで、一気に世界が灰色になった。