オーディオ・ビジュアルアートついてそろそろ深く考える時期にきているという話
12月は、「視覚×聴覚」を掛け合わせた芸術表現、言い換えると「オーディオ・ビジュアルアート」作品（とりわけパフォーマンス領域における）に触れる機会が多かったのだが、作品を観ながら、個人的にオーディオ・ビジュアルアートに対する論を整理する必要があると思い始めたので、このようなタイトルで投稿をしている。
そもそも何故そんなことを思ったかと言うと、最近、自身の作品制作を通じて、ビジュアル側がオーディオの気持ちを掬い取れていない、オーディオとビジュアルの対立が生じている、その結果、「違和感」が先行することが多かった、という非常に個人的な経験が根底にある。
違和感の根底にあるのはなんだったのか、視覚と聴覚刺激の対立ではなく、調和や共鳴、その条件とは一体何なのか？制作者の感性を超えた論に展開することができるのだろうか、という疑問が沸いて出てきている。
― 私自身、個人的な活動として、ゲームエンジンなどを活用してオーディオ・ビジュアルアートを趣味として実践する身であるが、過去に鑑賞した作品や技術の制限の元で実験的に表現を作ることが多く、自身の制作に対する考えを言語化可能なレベルには到底及んでいない。
そろそろ、闇雲にオーディオ・ビジュアルアート の実験をするフェーズから、次のフェーズに移行したい。もう少し、言葉を付け加えると、自分なりに オーディオ・ビジュアルアート に対する一本の論を持って実践したいと考え始めており、そのさわりとして、今回、この投稿で keyboard を走らせている―。
オーディオ・ビジュアルアート とは何なのか（W.I.P）
オーディオ・ビジュアルアート と聴いてどのようなイメージが皆さんは浮かぶだろうか。
以下の動画は、私自身が尊敬する３人のアーティストの作品である。私が頭に浮かぶ「 オーディオ・ビジュアルアート 」とはこのような視覚情報と聴覚情報に同時に刺激が提示される表現のことを指しているのだが、一般的な定義はもう少し広義であるようだ（wikipedia 以外の定義を探したものの信頼できるリソースが無いという事実を知る）
Audiovisual art is the exploration of kinetic abstract art and music or sound set in relation to each other. It includes visual music, abstract film, audiovisual performances and installations
wikipedia
「オーディオ・ビジュアルアート」。今では、一般的になっている表現であるが、かつて、絵画あるいは彫刻などの視覚への刺激を中心とした表現作品と、音楽などの聴覚への刺激を中心とした表現作品は、制作の前提となるメディアの違いから、互いにインスピレーションを共有することはあっても、融合する、ということはなかったと思われる。それが、デジタルメディアの発達により、音と映像を同一のデジタルメディアへ記録が可能となったことにより、互いの表現を密接に関係させることが可能になったのだろう。
聴覚と視覚情報の対応付けは、多くの科学者や作家の興味の対象として様々な探求がされている。
例えば、アイザック・ニュートンは、音波振動と光の波長の対応付けの公式化を試みていたし（できなかったらしいが）、芸術領域では、18世紀～19世紀において、視覚クラブサンやカラーオルガンといった、音と光の対応付けを探求する作品が登場する。
また、2021年12月24日時点で、東京都現代美術館で開催されている「クリスチャン・マークレー トランスレーティング［翻訳する］」でも記憶に新しい、クリスチャン・マークレーも視覚と聴覚の関係性を追求し続けている。
「オーディオ・ビジュアルアート」と一言で言っても、前述した個人的に頭に浮かんだイメージ以上に、その歴史は奥深い。
別の機会にその歴史と代表作品の調査と取りまとめをしてきたい。
音楽と映像の調和に関する議論
ここで、音（聴覚）と映像（視覚）の関係性については、先行する議論がいくつかあるようだ。
日本においては、芸術工学学会や感性工学会、情報処理学会で議論されており、参考になる論文がいくつか存在するのが、ここでは、各論文の紹介はせずに、多くの論文で参照されていた調和連合理論（Congruence-Associatist theory）[1] を中心に、冒頭で触れた個人的な違和感について考えていきたい。
Bolovar ら [1] によると、音楽と映像の調和には、構造的調和と意味的調和の２つがあるとされている。構造的調和とは、音楽と映像の構成要素間の物理的な調和を意味しており、意味的調和は、音楽と映像の間に生じる意味の対応付けによる調和である。ここでは、音楽と映像を関連付けする際、意味的調和が構造的調和を先行して生じるとある（この概念図は、広く視覚と聴覚の関係性について対象にしている）
自分自身の経験を振り返ってみると、オーディオ・ビジュアルアートに対峙した際、音楽を構成する音に対する映像の構成要素の同期に意識が向く前に、視覚と聴覚のそれぞれの刺激が何を意味しているのか無意識に類似性を確かめていると思う。
先ほどの動画の Ryoji Ikeda を例にとると、複雑な音響が、白黒（0/1）で構成される幾何で緻密に可視化されており、勝手に解釈をすると、複雑な音楽でもその構造は0/1の塊であり、記号化できてしまう、さらにその複雑な音響の裏に隠されたパターン、ルールを感じる、といったように意味を先行して考えることが多い。
― 先日の違和感がまさに意味的調和の不一致であり、聴覚からの刺激の結果、脳裏に浮かんだイメージと映像の乖離だと思った。
さらに、構造的調和についても、特にCGを駆使した映像表現においては、映像を構成する要素の多様性と音楽を構成していた要素の多様性が物理的に対応付けできていない（例えば、CG内に５種別のオブジェクトがあったとして音の構成要素はその数十倍にも多いなど）と両者の価値が一気に下がる、という感覚もある。
音楽の抽象性に対して、映像が加わることで、片方では決して到達できない体験価値を生む、ということは言うまでもないが、一定の制作理論がなければ下手すると「何を見せられているのかわからない」という状況になりかねない、というのが私のとりわけパフォーマンスにおけるオーディオ・ビジュアルアートに対する最近の課題感である。
では、センスという言葉を超えて、聴覚と視覚を意味的に調和させるための制作の条件を言い当てることはできるのだろうか。
個人的には「色」が大きな役割があると考えているのだが、この問いに対する応えは、現段階で書き下せないので、22年に継続して考えていきたい（続く）
参考文献
- Bolivar, V. J., Cohen, A. J., & Fentres, J. C.: Semantic and formal congruency in music and motion pictures: effects on the interpretation of visual action. Psychomusicology, 13, pp.28-59, 1994.