데이터로 구성되는 시간

 

데이터


일반적인 미술 전시의 경우 전시를 오픈한다는 건 그를 위해 이전부터 해왔던 작가의 작업이 완결되었다는 걸 의미한다. 오픈 전까지의 시간은 작가에게는 작품을 창작하는 시간이고, 전시의 오픈은 그 창작의 종결이다. 그런데 2020년 전시 <Time in Ignorance>에서 그레이코드/지인은 전시 오프닝을 작품의 시작점으로 삼았다. 오프닝 콘서트에서 만들어진 사운드의 주파수가 전시 기간인 720시간동안 서서히 낮아져 결국 비가청 범위로 사라지는 것이 이 전시의 컨셉이었기 때문이다. 이번 전시 <Data Composition>에서도 전시의 오픈은 작업의 완결이 아닌 그 시작이다. 이는 전시장 입구에 마련된 A, B, C 세 섹션 구분에서부터 확인된다. A 섹션에는 “Data composition –1”, B 에는 “50 Days Exhibition”이 적혀있고, 정작 “Data composition”은 C 섹션에 할당되어 있다. 왜 하나의 전시가 세 부분으로 구획되어 있는 것일까? 이는 이 전시의 핵심 키워드인 ‘데이터’와 관련되어있다.

현대 정보이론의 토대가 된 클로드 섀넌의 <MTC : Mathematical Theory of Communication>은 정보를 한 시스템 내 ‘데이터 결여 data deficit’를 감축하는 정도에 따라 양으로 표시할 수 있는 방법을 제시하였다. 올해 건강검진을 받을지 말지를 동전을 던져 정한다고 해보자. 앞면이 나오면 검진을 받고 뒷면이 나오면 받지 않을 것이다. 이 결정 시스템을 채택한 내가 아직 동전을 던지기 전에는 결정에 요구되는 데이터가 결여된 상태다. 결정은 동전을 던져 나오는 데이터가 있어야 완결될 것이다. “Data Composition –1”에서 “-1”은 전시를 위한 시스템은 구축되었으나 아직 그를 위한 데이터가 결여된 상태를 지칭한다. “50일간의 전시”는 그 결여된 데이터 수집을 위해 할당되어있다. 50일 동안 수집되는 데이터가 채워지면 “Data Composition”은 완결될 것이다. 그러니, 2021년 1월 15일 세종문화회관 미술관에서 오픈한 전시는 사실상 <Data composition> 전체의 1/3에 불과하다. 전시장을 방문한 당신은 이 전시의 B섹션에 위치하면서 전시완결에 필요한 데이터 제공자가 된다. 전시 리플렛에는 “우리가 이 공간에서 머무는 시간은 Graycode, Jiiiin의 음악에 무늬를 수놓을 것”이라고 시적으로 쓰여 있지만 실제 이 과정은 지극히 수학적이다. 당신이 도슨트의 안내에 따라 “dc.seoul,kr” 웹페이지에 접속하면 당신의 IP 주소, 웹페이지에서 당신이 머문 섹션과 머문시간은 수치화되어 저장된다. 전시기간 동안 이렇게 수집된 데이터들이 “Data composition –1”의 데이터 결여를 채우면 <Data Composition>이 완결된다.  

이를 ‘참여예술 participation art’이라 말할 수 있을까? 전혀 아니다. 여기서 관객은 작품에 의미론적으로 참여하는 것이 아니다. 정보이론에서 중요한 것은 데이터나 정보의 의미론이 아니다. 여기서는 당신이 선택해야 하는 것이 건강검진이건, 결혼상대자건, 신형 스마트폰 모델이건 상관없이 모두 정보의 양으로 환원된다. 여기서의 문제는 그것이 당신에게 갖는 의미나 가치가 아니라 수적으로 계산될 수 있는 개연성이나 가능성의 감축이다. 참여예술이 관객에게 작품에의 참여라는 경험을 제공하고, 작품의 창작을 작가 개인이 아닌 다수의 관객에게 귀속시킨다면, 여기서는 당신이 전시장에서 무엇을 느끼고, 어떤 경험을 했는지는 이 전시를 완결시키는데 필요한 데이터로 산정되지 않는다.

관객이 전시 웹페이지에 접속했던 시간만으로 생성되는 데이터, 그렇게 모인 데이터에 기반해 작품을 만든다는 것은 도대체 어떤 의미를 갖는 것일까? 이 물음을 위해 오늘날 우리에게 데이터와 정보가 갖는 위상을 생각해보자. 필요한 정보를 구글이나 네이버에서 검색하고, 물건은 인터넷 몰에서 구매하고, 음식은 인터넷 플랫폼에서 주문하고 신용카드로 결제하는 건 당연한 일상이 되었다. 페이스 북, 트위터, 인스타그램 게시물에 좋아요를 누르고, 리트윗하고, 댓글을 달거나, 스마트폰으로 QR 체크인을 하고, 맛집을 검색해 찾아다니는 것도, 넷플릭스나 유튜브 채널을 구독하고, 자동 재생되는 유튜브 영상을 시청하는 것도 마찬가지다. 생각해보면 하루 24시간의 거의 절반에 육박하는 시간을 우리는 네트워크에 접속해 생활하고 있다. 우리가 네트워크에 접속해 있는 시간, 네트워크 위에서 벌이는 모든 일들은 의식하든 못하든 끊임없이 데이터를 생산한다. 심지어 스마트 워치 같은 디바이스는 걸음이나 수면시간은 물론 혈입과 심박수 등 ‘행위’라 말하기도 힘든 우리의 생명활동마저 데이터화한다. 우리는 이렇게 모인 데이터들이 “현재 이 순간의 노동과 경계, 사회구조를 변화시키고 있으며, 실제를 만든다”는 걸 알고 있다. 그레이코드와 지인의 작가 노트에서 발췌한 이 문장은 조금도 과장이 아니다. 우리의 활동, 하루하루의 우리의 삶 자체에서 생겨난 이 데이터들이, 그에 근거해 정부가 특정정책을 홍보하고 정당이 특정한 유권자층에 맞춤 선거운동 캠페인을 벌일 뿐만 아니라, 기업이 마케팅 전략을 수립하고 소비성향에 맞춘 광고를 내보내는 정보가 된다. 루치아노 플로리디는 오늘날의 세계는 정보 공간이 리얼리티 자체와 동의어가 되어버리는 ‘정보 스페어 infosphere (1)’가 되었다고 지적한다. 우리가 사는 세계는 우리의 삶과 움직임이 생산하는 데이터들과 그것이 역으로 우리의 삶과 움직임을 규정하는 피드백 루프로 구성된다. 미술 전시장 방문이 데이터화되어 사운드 작품으로 피드백된다는 건, 이러한 정보스페어에서 살아가고 있는 우리들에게 사실 그리 특별할 것이 없는 일이다. 이 전시는 우리의 활동이 데이터화되어 우리의 삶과 활동에 피드백되는 오늘날의 상황자체를 전시라는 형식으로 모델링하고 있을 뿐이다.  

재현이 아닌 모델링       


여기서 이 작가 - 그레이코드/지인 - 작업방식의 특징이 드러난다. 이 두 작가에게 예술은 재현이 아니다. 이들은 우리가 연루되어 있으나 감지하지 못하는 어떤 과정을 전시의 형태로 모델링한다. <Time in Ignorance>가 물질계에서 일어나고 있으나 우리가 감지하지 못하는 열역학적 평형상태로의 이행을 720 시간에 압축해 들려주었다면, <Data Composition>이 모델링하는 건 우리가 살아가는 시간이 데이터화되어 다시 우리에게 피드백되는 과정이다. 이런 방식의 예술을 어떻게 특징지울 수 있을까? 오랫동안 예술을 정의해왔던 ‘재현 representation’ 개념은 예술과 실제 세계의 분리라는 강고한 구분선을 전제한다. 작품에서 접하는 것이 실제가 아니라 그것의 모방 혹은 재현이라는 전제가 창작이나 감상의 근본조건이었기 때문이다. 현대미술은 다양한 방식으로 이 재현의 틀에서 벗어나고자 해왔다. 이미 일어난 사건을 무대 위에서 재현하는 대신, 사건 자체를 생성 또는 활성화하기 위한 해프닝이나, 사건의 실제 시간을 압축해 재현하는 대신 사건이 일어나는 시간 자체를 주제화하는 ‘durational art’ 등이 그 사례다. 그런데 해프닝이나 durational art도 우리 삶의 시간 정도는 우습게 넘어서는 스케일의 사건이나 과정을 다룰 수는 없다. 예를 들어 약 140억 년 전 대폭발로 시작되었던 우주의 탄생이나 그 후 물리적 공간에서 일어나고 있는 에너지 질서도의 해체 등, 인간의 경험조건을 초월하기에 메이야수가 ‘절대적 실재’라 부르는 사건들 말이다. 이때 사용되는 것이 상징이나 인위적 기호들을 통한 재현이다. 예를 들어 과학 다큐멘터리에서는 컴퓨터 그래픽을 이용하여 빅뱅의 장면이나, 두뇌 속 뉴런들이 전기신호를 주고받는 모습, 우주에서 시-공간이 휘어지는 현상도 재현한다. 하지만 엄밀히 말해 여기서 우리가 접하는 것은 그에 대한 ‘가상적 재현’일 뿐 실제로 일어나는 그 과정 자체가 아니다.

그레이코드와 지인은 컴퓨터와 프로그래밍에 능숙하지만, 디지털 디바이스들을 사건의 ‘가상적 재현’을 위해 사용하지 않는다. 예를 들어보자. “on illusion of time” 입구의 커튼을 열고 들어서면 2.4미터 높이에 길이가 16미터에 달하는 공간에 DLP 프로젝터 8대가 투사하는 거대한 빛의 다발에 둘러싸인다. 양쪽에 설치된 6개의 스피커에서는 39.4 헤르츠, 61.0 헤르츠의 서로 다른 주파수의 사운드가 흘러나온다. 헤르츠가 1초에 반복되는 시그널 패턴의 수를 지칭하니 왼쪽에서 나오는 사운드는 시그널이 1초에 39.4 회, 오른쪽 사운드는 61회 반복된다는 뜻이다. 관객이 서 있는 곳에서 이 서로 다른 진동의 주파수가  맞부딪혀 상호간섭을 일으키며 변조된다. 양쪽 벽에서 볼 수 있는 무아레 무늬 역시 맞은편을 향해 프로젝션되는 빛의 상호간섭 결과물이다. 여기서 관객이 보고, 듣는 것은 빛과 소리의 상호 간섭에 대한 상징적 혹은 가상적 재현이 아니라, 바로 그 순간 실제로 일어나고 있는 빛/소리 상호 간섭의 결과다. 관객의 몸이 그 간섭이 일어나는 한 가운데에서 움직이기에 사운드와 빛은 미묘하게 변화한다.  

관객의 움직임이 작품의 변화를 일으킨다고 해서 이를 ‘인터랙티브’ 작품이라 말하는 건 잘못이다. 인터랙티브 아트는 관객의 움직임을 감지하는 센서를 통해 훨씬 더 분명하게 변화하는 시각, 청각적 이미지들을 보여줌으로써 관객의 흥미를 자극한다. 이와는 달리 “on illusion of time”에는 관객의 움직임이 작품의 변화에 기여한다는 걸 확실히 느낄 수 있도록 마련된 센서 장치가 없다. 관객의 움직임으로 인해 생겨나는 특정한 시청각적 효과가 작품의 의도가 아니기 때문이다. 센서를 통해 관객의 움직임을 포착해 실시간으로 작품변화에 반영하는 인터랙티브 미디어 작품에서는 상실되는 것이 있는데, 이 작품을 바로 그것에 주목한다. 예를 들어 지금 창 밖에서 누군가가 쌓인 눈을 치우는 소리가 창과 공기의 서로 다른 매질을 통과해 내 고막을 울리고, 내 손이 컴퓨터 자판을 치는 소리가 그와 미묘한 간섭을 일으켜 내는 일, 센서도 증폭기도 없기에 분명히 지각할 수 있는 형태로 드러나지는 않지만 우리를 둘러싼 실제의 물리적 시공간에서 일어나고 있음에 분명한 사건 말이다. “on  illusion of time”의 설치공간 안에서 관객의 존재가 소리간섭에 영향을 미치고 있다는 것은 그 안에서 말을 할 때 생겨나는 변조현상을 통해서만 겨우 알아차릴 수 있다. 그건 소리와 빛 간섭의 가상적 재현이 아니라 소리와 빛 간섭의 장 자체가 발생하고 있다는 증거다.   


----
(1)  Luciano Floridi, Information.2010.

시간  

우리가 감지하기는 어렵지만 계속 발생하고 있는 사건 중 시간만큼 미묘하고 포착하기 힘든 게 있을까. 그레이코드와 지인은 첫 번째 전시 <Time in Ignorance>에서부터 시간이라는 테마에 관심을 가져왔다. 이번에도 시간은 핵심 주제다. 작품 제목 “on illusion of time”과 전시장 벽에 쓰인 아인슈타인의 문장 - “우리 같은 사람들은 과거와 현재 그리고 미래의 구별이 단지 끈질긴 환상일 뿐이라는 것을 알고 있다.” - 에서 시간은 ‘환상 Illusion’이라는 단어와 함께 등장한다. 시간이 환상이라는 아인슈타인의 말은 우선, 여전히 시간에 대한 관념을 지배하고 있는 뉴턴의 절대적 시간에 대한 비판이다. 시간이 우주의 물질과 물질의 변화에 따라 휘어지거나 늘어날 수도 있으며 물질이 사라지면 함께 사라진다는 아인슈타인의 입장에서 보자면, 물질이나 물질적 변화와 무관하게 우주 모든 곳에서 동질적이고, 동일한 척도로 흐르며 이전과 이후, 과거와 미래라는 분명한 인과질서를 따른다는 뉴턴 물리학의 절대적 시간 개념(2)은 ‘환상’일 수 밖에 없다.

그런데 이 전시에서 ‘환상’이라는 단어는 뉴턴적 시간개념을 부정하기 위해서만 사용되지 않았다. 아인슈타인은 시간에 대해 이런 말도 했다. “예쁜 소녀와 함께 보낸 2시간을 당신은 1분으로 여길 것이다. 반대로 뜨거운 난로 위에 앉아 있던 1분을 당신은 2시간이라 여길 것이다. 이것이 상대성이다(3).” 이 말은 시간이란 그때그때 상황에 대한 각자의 주관적 느낌 같은 것이라고 주장하는 듯 들린다. 절대적인 시간 개념이 ‘환상’이라 하더라도 시간을 이렇게 이해해도 좋을까? 아인슈타인이 즐겨 읽던 철학자 칸트를 참조해보자. <순수이성비판>에서 칸트는 시간이 객관적이냐 주관적이냐는 질문에 대해 실로 교묘한 대답을 내놓았다. 시간은 감성의 선험적 형식이라는 것이다. 시간은 무엇인가를 경험하기 위해 필연적으로 투과해야 하는 필터, 그래서 우리가 경험하는 모든 것들이 바로 그 안에서만 경험되는 선험적 선글라스 같은 것이다. 그걸 통해서가 아니라면 도무지 그 무엇도 경험할 수 없다는 점에서 시간은 우리가 하는 모든 경험의 절대적 조건이다. 그렇다고 시간이 우리의 경험을 초월해 ‘객관적으로’ 있다고 말할 수는 없다. 요는, 우리는 시간을 그 자체로 경험할 수는 없지만 우리의 모든 경험은 시간(이라는 선험적 형식) 속에서 이루어진다는 말이다. 시간에 대한 둘 사이의 견해 차이(4)에도 불구하고 칸트와 아인슈타인은 공히 시간이 사물/물질(에 대한 우리의 경험)(5)과 독립적이지 않다고 본다.

‘시간을 경험한다’고 말할 때 정작 우리가 경험하는 건 시간 자체가 아니라, 움직이는 초침이나 바뀌는 숫자판, 떠오르거나 지는 태양, 자라난 손톱이나 머리카락 등 사물의 변화다. 그런데도 우리는 우리가 경험하는 사물의 변화/운동에 일정한 연속성을 부여함으로써 생겨나는 내적 감각을 시간이라고 부른다. 조금 무리해보자면 이를 ‘환상’이라 부를 수도 있겠다. 작품 “now slice”는 이러한 시간의 성격을 예시해준다. 직경 1미터가 넘는 화면에 빛을 내는 입자들이 무질서하게 우주공간 혹은 심해에서 부유하는 듯한 화면이 디스플레이 된다. 1초에 한 프레임씩 전환되는 화면은 마치 화성 탐사선이 지구로 전송하는 화면처럼 불연속적이다. 그 화면을 보면서 우리는 ‘지금 now’ 보는 한 프레임이 연속적인 시간에서 잘라낸 한 ‘단면 slice’ 이라고 생각한다. 정작 우리가 보지는 못하는 한 프레임과 다음 프레임 ‘사이’에 어떤 변화/움직임이 계속 일어나고 있다고 여기는 것이다. 이처럼 눈에 보이지 않는 물질/사물의 변화들 ‘사이’에 우리가 부여하는 그 연속성이 우리가 시간이라고 생각하는 내적 감각을 만들어낸다. 엄밀히 말해 우리는 사물/물질의 변화/운동을 그 연속성 속에서 지각할 수 없다. 불붙은 장작을 5분마다 한번 씩 지켜보고 있다고 생각해보자. 지금 내가 본 타는 장작과 5분후의 그것 사이에는 변화가 생겼다. 이전보다 불꽃이 더 커졌거나 반대로 더 약해졌을 수 있는데, 우리는 그 변화의 ‘사이’에 연속성을 부여하고는 ‘시간이 흘렀다’고 말한다. 그런데 타오르는 장작불에서 눈을 떼지 않고 계속 바라본다면 어떨까? 내가 지각할 수 있는 어떤 변화를 좇을 수는 있겠지만, 내가 눈을 깜빡이는 사이, 혹은 산화되는 물질에서 일어나는 모든 미시적 변화들을 다 포착할 수는 없다. 내가 보는 건 타고 있는 장작에서 일어나는 변화의 불연속적 이미지들의 연쇄일 뿐이다. ‘시간’이란 이 불연속적 이미지들의 연쇄를 연속화시키는 우리가 구성해내는 것(6)이다.  

----
(2) „Absolute, true, and mathematical time, of itself, and from its own nature, flows equably without relation to anything external, and by another name is called duration: relative, apparent, and common time, is some sensible and external (whether accurate or unequable) measure of duration by the means of motion, which is commonly used instead of true time; such as an hour, a day, a month, a year“. https://plato.stanford.edu/entries/newton-stm/scholium.html

(3) https://www.br.de/fernsehen/ard-alpha/programmkalender/sendung-1315134.html

(4) 아인슈타인에게는 물질이 사라지면 시간도 사라지지만 칸트의 시간은 경험 가능한 물질이 없어도 존속가능한 선험적 형식이다. 
https://www.menscheinstein.de/biografie/biografie_jsp/key=2414.html

(5) 아인슈타인이 말하는 우주의 물질 공간은 아직 우리가 직접 경험할 수 있는 것은 아니다.

(6) 후설의 시간의식과 시간구성에 대해서는 Römer, Inga & Bernet, Rudolf & Taminiaux, J. & IJsseling, S. & Leonardy, H. & Lories, D. & Melle, Ullrich & Bernasconi, R. & Carr, D. & Casey, E.S. & Cobb-Stevens, R. & Courtine, J.F. & Dastur, F. & Düsing, K. & Hart, J. & Held, K. & Kaehler, K.E. & Lohmar, D. & McKenna, W.R. & Waldenfels, B. (2010). Husserl – Zeitbewusstsein und Zeitkonstitution. 10.1007/978-90-481-8590-0_2.

반 엔트로피로서의 데이터   

전시장에는 시간에 대한 또 다른 문장이 있다. “시간은 존재하고, 존재했고, 존재할 것이다.” 이 문장은 ‘시간은 환상’이라는 앞의 문장과는 결이 다르다. 시간이 환상임을 알았는데 그것이 ‘존재하고, 존재했고, 존재할 것’이라는 말은 도대체 뭔가? 지구가 평평하다고 믿는 이들이 과거에도 있었고, 지금도 있는 것처럼 절대적 시간이라는 환상이 지금도 존재하고, 과거에도 존재했고, 앞으로도 존재할 것이라는 건가? 나는 이 문장이 그레이코드/지인의 이전 전시 <Time in Ignorance>의 중심개념인 엔트로피와 관련된다고 생각한다. 우주가 탄생한 후 지금까지 이 체계를 규정하는 유일한 방향성이 있다면 엔트로피가 지속적으로 증가하고 있다는 사실이다. 우주가 하나의 질서 잡힌 체계로 생겨남으로써 발생한 열에너지의 불균등한 분배는 필연적으로, 공기 중에 내 놓은 온수가 의도적으로 열을 가하지 않는 한 식어버리고, 물에 넣은 얼음이 녹아 사라지듯, 열역학적 평형상태로 나아간다. <생명이란 무엇인가>에서 에르빈 슈뢰딩거는 이를 다음과 같이 설명한다.

“살아있지 않은 시스템을 분리하거나 또는 일정한 환경에 놓아두면 여러 가지 종류의 마찰 때문에 그 시스템에 나타나던 모든 운동은 대개 곧 멈추게 된다. 전기나 화학 포텐셜의 차이는 없어지게 되고, 화합물을 만드는 경향이 있는 물질들은 화학반응을 일으켜 곧 그것을 형성하게 되며, 온도는 열전도에 의해 균등해진다 그런 다음에 전 시스템은 변화가 없는 불활성 물질덩어리로 변해버린다. 그리고는 아무런 관찰 가능한 사건도 생기지 않는 영원의 상태에 도달한다. 물리학자들은 이것을 열역학적 평형상태 또는 ‘최대 엔트로피’ 상태라고 부른다.”(7)

그런데 일반적인 물질들과는 달리 살아있는 유기체는 물질 과정 속에 있으면서도 ‘비교적 높은 질서도 수준에서 자기 자신을 일정하게 유지’한다. 최종적으로는 물질들로 이루어져 있는 생명체가 물질계를 지배하는 엔트로피 증가에 맞서 생명(질서도)를 유지할 수 있는 이유를 슈뢰딩거는 “열운동의 무질서한 경향을 피할 수 있을 만큼” 강력한 힘으로 자신을 유지하는 유전물질에서 찾았다.(8) 어쨌든 인간을 포함한 생명체는 물질계에서 발생하는 엔트로피 증가에 맞서있다는 것이다. 정보이론가 플로리디는 이를 다음과 같이 설명한다.  

“생물학적인 생명은 열역학적 엔트로피에 대한 지속적인 투쟁과정 속에 있다. 살아있는 시스템은 반-엔트로피적 정보 단위체다. 다시말해 자신의 실존을 유지하고 자신을 재생(메타폴리즘)하기 위해 과정적 상호작용 (정보-처리 과정을 구현하는)을 시동할 수 있는 능력을 가진 정보적 객체다.” (9)

인간을 비롯한 모든 생명체는 생존을 위해 환경으로부터 정보를 추출하고 그에 반응한다는 점에서 반-엔트로피적인 정보에이전트다. 생명을 유지하는 일, 무엇인가를 먹고, 자고, 다치지 않으려고 애쓰고, 건강을 위해 노력하는 일, 환경으로부터 내 생존과 생활에 필요한 정보를 얻고 적절하게 그에 반응하는 일, 곧 우리의 삶 자체가 엔트로피 증가에 맞서는 지속적인 투쟁과정인 것이다. 이렇게 보자면 우리의 행동, 생체활동 모두가 데이터화되는 오늘날의 정보사회는 양면적인 성격을 갖는다. 우리의 삶 전체가 촘촘하게 장악된 정보 네트워크에 붙들릴 디스토피아적 가능성을 한편으로, 그렇지 않았다면 평형상태로 귀결되어버릴 우리의 행동, 삶을 정보로 ‘조직화’함으로써 엔트로피에 저항하기도 한다는. 어쩌면 빅데이터나 인공지능 등의 정보기술은 우리가 무분별하게 배출하는 탄소가스와 플라스틱 쓰레기 방출을 조직화된 정보로 만들어낼 수 있을 것이다. 전 세계의 온실가스 감축을 목표로 생겨난 국제탄소 배출권은 각 나라에서 배출되는 이산화탄소의 양을 측정, 계산할 수 있는 데이터 기술을 전제로 한다. 여기서 데이터화는 환경위기를 맞은 지구를 위해서 어떤 미미한 실마리를 제시하고 있지는 않은가?  

<Data composition>은 전시 웹페이지에 머무른 관객들의 시간 데이터를 수집해 작품화함으로써 완결된다. 물질계의 열역학 법칙에 따라 무질서하게 흩어져버릴 운명인 그 데이터에서  만들어질 사운드 작품이 음악적으로는 우릴 감동시키지 못해도 (그럴 가능성이 다분하다) 일말의 위로를 줄 수는 있을 것이다. 그것이 “데이터로 구성/작곡된” 우리 삶의 시간이기에 말이다.  


----
(7) 에르빈 슈뢰딩거, <생명이란 무엇인가>, 144-145

(8) 에르빈 슈뢰딩거, <생명이란 무엇인가>, 172

(9) Luciano Floridi, Information. 2010.

Time Composed by Data

Data

Ordinarily, the opening of an art exhibition indicates the completion of an artist’s work in preparation for the exhibition. The time leading up to the opening is time in which the artist creates the artwork, and the opening is regarded as the end of this creative activity. In the 2020 exhibition Time in Ignorance, however, GRAYCODE and jiiiiin instead used the opening to mark the starting point of their work, arranging the frequency of the sound that was created at the opening concert to gradually diminish until it finally vanishes from the human spectrum of hearing. Similarly, in their latest exhibition, the opening of the exhibition is not the end but the start of their work, as evident in the exhibition guide placed at the entrance that divides their project into three sections of A, B, C. While Sections A and B are titled “Data Composition -1” and “50 Days Exhibition,” the title of the exhibition, “Data Composition,” is actually assigned to Section C. Why was this single exhibition divided into three sections? The answer is related to data, the core keyword of Data Composition.

In The Mathematical Theory of Communication (MTC), a founding work for today’s information theory, Claude Shannon proposed a method to quantitatively express information through the extent of the reduction of the “data deficit.” For example, one might decide whether to receive a medical check-up this year by flipping a coin, assigning “Yes” to the head and “No” to the tail. Until the person who chose this decision system actually flips a coin, there is a deficit of data required for the decision, which can only be completed with the data collected from the flip of the coin. As such, the “-1” in “Data Composition -1” implies that the system for the exhibition is prepared, but the key data is lacking, wherein “50 Days Exhibition” is dedicated to the collection of the said absent data. As such, the exhibition Data Composition is designed to be completed upon inputting the data collected over the course of 50 days. Therefore, the exhibition that opened on January 15, 2021 at Sejong Museum of Art 2 comprises only one-third of the entire Data Composition project. Visitors to the exhibition are placed in Section B and become providers of data required for the completion of the exhibition. Poetically expressed in the exhibition leaflet as “The time spent here by each of you will be a stitch in the piece of musical embroidery by GREYCODE and jiiiiin,” the process of completing the exhibition is extremely mathematical. Accessing the website (dc.seoul.kr) given by the docent at the exhibition allows the website to quantify your IP address as well as how much time you spent in which section. Ultimately, the data collected during the course of the exhibition is used to fill the data deficit of “Data Composition -1” in order to ultimately complete Data Composition.

Is this a form of “participation art?” Absolutely not. In this exhibition, viewers do not participate in the artwork semantically. In information theory, what matters is not the semantics of data or information; no matter what you decide on―whether to receive a medical check-up, whom to marry, or which smartphone model to buy―everything is converted into a certain quantity of information. Here, the important matter is not the meaning or value that you derive from the information, but the reduction of probability or possibility that can be numerically calculated. While participation art provides viewers with the experience of engaging in artwork and attribute the creation of artwork not to a single individual but collectively to numerous viewers, Data Composition does not incorporate viewers’ feelings and experiences of the exhibition as data required for the completion of the exhibition.

What meaning does it hold then to create art using only the data generated and collected from the time spent by viewers to access the website? Answering this question calls for contemplation on the status of data and information in today’s world. Searching for information on web search engines, purchasing goods on online malls, and ordering food on online platforms using a credit card have naturally become a part of our daily lives, as well as “liking” or “sharing” posts or leaving comments on Facebook, Twitter, or Instagram, scanning QR codes with smartphones to check-in somewhere, visiting gourmet restaurants based on web search results, subscribing to Netflix or YouTube channels, and watching YouTube videos on autoplay mode. Indeed, we are connected to various networks for nearly half of the 24 hours in a day. Every little thing that we do online while we are connected to a network, whether we recognize it or not, constantly generates data. Devices such as smartwatches even record our physical activities such as daily steps and sleeping hours as well as physiological indicators such as blood pressure or heart rates and turn them into data. We are aware that this collection of data is “changing the meaning of labor, boundaries, and social structures at this very moment and creating its own reality.” This excerpt from the artists’ notes for Data Composition is by no means an exaggeration. Derived from our daily lives and activities, this data becomes the basis for governments to promote their policies, political parties to customize their campaigns according to the characteristics of each voter group, and companies to develop their marketing strategies and release advertisements tailored for consumption trends. Luciano Floridi pointed out that today’s world has turned into an “infosphere,(1)” where we consider the space of information to be synonymous with reality. The world we live in is composed of data produced from our lives and activities, and the feedback loop where such data is conversely used to regulate our lives and activities. Converting visits to an art exhibition into data and feeding them back as a sound piece does not represent a particularly significant act in itself to us, as we already live in the infosphere. Rather, Data Composition is merely modelling our present situation itself in the form of an exhibition.

Modelling instead of representation

At this point, the distinctive aspect of GRAYCODE and jiiiiin’s creative method becomes apparent; to these artists, art is not representation. Through their exhibition, they model a certain process with which we are associated but nonetheless are not able to detect. While Time in Ignorance presented the 720-hour compressed version of the process of the transition towards the thermodynamic equilibrium that is constantly happening in the physical world yet out of our perception, Data Composition focuses on the process through which the time that we live in is converted into data and fed back to us. What is the definitive nature of this form of art? The concept of “representation,” which has long defined art, is premised on a firm boundary that separates art from the actual world. The idea that what we find in artwork is not the reality but its copy or representation has historically been the fundamental condition for the creation and appreciation of art. Contemporary art has made various attempts to escape from this frame of representation, such as happenings that actively create or stimulate an event instead of merely representing it, and durational art that demonstrates the actual time in which the event occurs rather than representing it in a compressed form. Nonetheless, not even happenings or durational art can capture an event or process at a scale that far exceeds the human lifespan, such as the birth of the universe through the Big Bang about 14 billion years ago or the dissipation of the order of energy in the physical world―events that transcend the scope of human experience and thereby dubbed the “absolute reality” by Quentin Meillassoux. We demonstrate these events using representations such as symbols or artificial signs. For example, science documentaries represent the Big Bang, neurons exchanging electrical signals, or the curvature of space-time in the universe through computer graphics. Strictly speaking, however, what they convey is not the actual process itself but merely its “virtual representation.”

No stranger to computers and programming, GRAYCODE and jiiiiin refrain from using digital devices for the mere “virtual representation” of an event. Upon entering through the curtains at the entrance of on illusion of time, one is surrounded by the massive bundle of light rays generated by eight DLP projectors within a space 2.4 meters high and 16 meters wide. Three speakers each installed on both the left and right sides of the space emit sounds at two different frequencies, 39.4 and 61.0 Hz, which means that the signal from the left is repeated 39.4 times a second, while the signal from the right repeats 61 times per second. At the spot where the visitor stands, these different frequencies clash against each other and modulate through mutual interference. The Moiré patterns projected on the walls on both sides are also the product of the interference between the lights emanating from each side. Here, what the viewers see and hear is not the symbolic or virtual representation of the interference between lights and sounds, but the actual phenomenon of interference occurring at that very moment. As the body of the viewer moves in the midst of the interference, the sounds and lights undergo subtle changes.

It is incorrect to describe on illusion of time as an “interactive” artwork, simply because movements of the viewers can cause change in the piece. Interactive works generally utilize movement sensors and audiovisual elements that change with much clearer causation by such movements, aiming to directly intrigue the viewers. In contrast, on illusion of time does not use any sensor that confirms to the viewers that their movements are contributing to changes in the work, because its intent is not to convey a certain audiovisual effect generated through the viewers’ movements. Interactive media works that capture movements using sensors and change accordingly tend to incur a certain loss, and on illusion of time focuses on this loss. For example, the sound of someone sweeping snow outside my window passes through the media of the window glass and air to resonate with my eardrums and interferes with the sound of my fingers typing on the keyboard. This event is not expressed in a concrete and perceivable form since there is no sensor or amplifier, but it is clearly happening in the actual physical time and space around us. The fact that the presence of viewers affects the sound interference in the space of On Illusion of Time is subtly perceptible only by the modulation caused when viewers speak. This is not the virtual representation of the sound or light interference, but proof that the field of such interference is being created.


----
(1) Luciano Floridi, Information: A Very Short Introduction, Oxford University Press, 2010.

Time

Of all the events that are hard for us to detect but are nonetheless constantly happening, could anything be subtler and more difficult to capture than time itself? The artists have been interested in time as the theme of their works since their first exhibition, Time in Ignorance. In their latest exhibition, time is once again the core subject of their work. In the title of the piece, on illusion of time, and the Einstein quote written on the wall at the exhibition venue, which reads “People like us who believe in physics know that the distinction between past, present and future is only a stubbornly persistent illusion,” the word “time” appears alongside the word “illusion.” The Einstein quote is criticizing Newton’s notion of “absolute time” that still rules over the general concept of time today. To Einstein, who theorized that time can bend or expand depending on the existence of matter in the universe and changes in such matter, and that the disappearance of matter would also mean the disappearance of time, the Newtonian concept of absolute time―time that flows equably and at the same speed in every part in the universe, regardless of matter or material changes, and follows the clear causal order between the before and the after, and the past and the future(2)―represents nothing but an “illusion.”

In Data Composition, however, the word “illusion” is not only juxtaposed against Newton’s concept of time. Einstein also remarked on time: “When you sit with a nice girl for two hours, you think it's only a minute. But when you sit on a hot stove for a minute, you think it's two hours. That's relativity.(3)” Through this remark, Einstein seems to claim that time is similar to a subjective feeling towards each situation. Is it valid to understand time in this way, even if the concept of absolute time is an illusion? The answer might be found in Kant, whose works were enjoyed by Einstein. In Critique of Pure Reason, Kant provided a truly intricate answer to the question: Is time objective or subjective? According to Kant, time is an a priori form of inner sense. Time is like a filter that one must penetrate through to experience, a pair of a priori sunglasses only through which one can see and experience the world. In the sense that one cannot experience anything at all without passing through time, time is the absolute condition of our every experience. This does not mean, however, that time “objectively” exists beyond our experience. The point is that, though we cannot experience time itself, our every experience occurs within (the a priori form of) time. Despite the differences between their views on time,(4) Kant and Einstein both certainly considered time as not independent from objects and matter or our experience(5) of them.

When we say we “experience time,” we do not actually experience time itself, but changes in things such as the moving hands of a clock, changing display of numbers on a digital clock, or growing fingernails or hair. Still, we perceive time as an inner sensation created as we imbue a sense of continuity to the changes or movements of things we experience. To stretch this notion, we could even call it an “illusion.” GRAYCODE and jiiiiin’s now slice demonstrates this aspect of time. In the piece, a display with a diameter of over a meter shows luminescent particles seemingly floating in a disorderly array in space or the deep sea. The video image is presented at the speed of one frame per second in a disjointed way, like video footages sent from a Mars rover back to Earth. Watching such videos, we think that each frame that we are watching “now” is a “slice” cut from the continuity of time, presuming that a certain change or movement is continuing to happen “between” each frame and the next, though we cannot actually see it. In this manner, the continuity that we attach to the invisible gaps “between” the changes of matter and objects creates an inner sensation that we consider to be time. Strictly speaking, we cannot perceive the change or movement in matter and objects within the frame of such continuity. When we glance at a bonfire once every five minutes, the fire that we are seeing now is different from the fire that we will see after five minutes has passed. Whether the flame has become bigger or smaller, we assign continuity to what occurred “between” those changes and say that “time has passed.” What if, instead, we continue to look at the bonfire without looking away? We may be able to trace changes that can be perceived, but we cannot capture all of the microscopic changes that happen in the blink of an eye or during the oxidation of matter. What we see, instead, is the series of discontinuous images that represent the changes of the bonfire. Time is what we construct to make such images appear to be continuous.(6)


----
(2) “Absolute, true, and mathematical time, of itself, and from its own nature, flows equably without relation to anything external, and by another name is called duration: relative, apparent, and common time, is some sensible and external (whether accurate or unequable) measure of duration by the means of motion, which is commonly used instead of true time; such as an hour, a day, a month, a year,” https://plato.stanford.edu/entries/newton-stm/scholium.html.

(3)  https://www.br.de/fernsehen/ard-alpha/programmkalender/sendung-1315134.html.

(4) According to Einstein, time disappears along with matter; Kant sees time as in its a priori form that exists without matter that can be experienced. See https://www.menscheinstein.de/biografie/biografie_jsp/key=2414.html.

(5) The space of matter in the universe, as explained by Einstein, is not something we can experience in person.

(6) On the aforementioned perception and construction of time, see Römer, Inga & Bernet, Rudolf & Taminiaux, J. & IJsseling, S. & Leonardy, H. & Lories, D. & Melle, Ullrich & Bernasconi, R. & Carr, D. & Casey, E.S. & Cobb-Stevens, R. & Courtine, J.F. & Dastur, F. & Düsing, K. & Hart, J. & Held, K. & Kaehler, K.E. & Lohmar, D. & McKenna, W.R. & Waldenfels, B. (2010). Husserl – Zeitbewusstsein und Zeitkonstitution. 10.1007/978-90-481-8590-0_2.

Data as anti-entropy

The exhibition presents another saying related to time: “Time was, is, and will be.” It is quite different from the Einstein quote in its context. When it is already understood that time is an illusion, what does it mean to say that time was, is, and will be? Does it indicate that, like those who believe the earth is flat, the illusion of absolute time exists now, existed before, and will continue to exist? Personally, it seems that this saying is related to the concept of entropy, on which the artists’ previous exhibition was centered. Since the birth of the universe, the only direction―if there is any―that has led the system of the universe is the constant increase of entropy. The unequal distribution of thermal energy caused by the creation of the universe as an orderly system inevitably pushes the world towards thermodynamic equilibrium, as with hot water left at room temperature becoming cold without additional heat and ice cubes dissolving in water. In What is Life, Schrödinger explains this phenomenon as follows:

When a system that is not alive is isolated or placed in a uniform environment, all motion usually comes to a standstill very soon as a result of various kinds of friction; differences of electric or chemical potential are equalized, substances which tend to form a chemical compound do so, temperature becomes uniform by heat conduction. After that, the whole system fades away into a dead, inert lump of matter. A permanent state is reached, in which no observable events occur. The physicist calls this the state of thermodynamic equilibrium, or of "maximum entropy.”(7)

Unlike ordinary matter, however, living organisms can, despite existing within the process of reaching maximum entropy, “maintain itself on a stationary and fairly low entropy level,” according to Schrödinger. How can living organisms, which are ultimately composed of matter, maintain their life (order) against the natural law of entropy that continues to expand and dominates the entire material world? Schrödinger discover the answer in genetic materials that enable living organisms to sustain themselves with enough strength to “evade the tendency to disorder.” (8)Information theorist Floridi describes this notion as follows:

Biological life is a constant struggle against thermodynamic entropy. A living system is any anti-entropic informational entity, i.e., an informational object capable of instantiating procedural interactions (it embodies information-processing operations) in order to maintain its existence and/or reproduce itself (metabolism).(9)

Every form of life, including human beings, is an anti-entropic informational agent in that it extracts and responds to information from the environment in order to survive. What we do to sustain life―eating, sleeping, avoiding being hurt, striving to be healthy, obtaining information needed for our survival and life from the environment, and responding properly to such information, or in other words, the entirety of our life itself―is a constant struggle against the increase of entropy. In this regard, today’s information society, where all of our actions and physiological signs are converted into data, embodies a kind of duality; it entails the possibility for a dystopian future where everything in our life is tightly controlled under information networks, while it is simultaneously resisting the increase of entropy by “organizing” our actions and lives as information that might otherwise have simply become lost to thermodynamic equilibrium. Information technology such as big data or artificial intelligence might be able to convert carbon emissions and plastic waste that are recklessly discharged by human beings into systemized information. For example, the international carbon credit system, which was devised to reduce greenhouse gas emissions across the world, is based on data technology that can measure and calculate the amount of CO2 discharged by each country. Could it be that the trend of converting human life into data presents at least a minute clue for a world that is currently facing an ecological crisis?

Data Composition is completed by collecting the time data of visitors to the exhibition website and converting it into art as a sound piece. Created from data that would have otherwise been destined to be chaotically scattered in the material world according to the laws of thermodynamics, the sound piece may not emotionally move us as a piece of music, and is indeed highly unlikely to, but nonetheless provides us with a sense of comfort, as it represents the time of our life that has been “composed with data.”


----
(7) Schrödinger, What is Life?, Cambridge University Press, 1944, p70.

(8) Schrödinger, What is Life?, Cambridge University Press, 1944, p70.

(9)  Luciano Floridi, Information: A Very Short Introduction, Oxford University Press, 2010.