이 글은 2006년 봄학기에 기말보고서로 작성된 것으로, 내용은 엉망이지만 그래도 당시 시각언어에 대한 이런저런 참고문헌들을 모을 수 있는 기회가 되었다. 본문을 편집하는 데에만 너무 많은 시간이 걸려서, 각주를 넣을 여유가 없었으므로 상세한 내용은 원문을 참고해야 할 것이다.
1. 서론: 언어로서의 시각 도상(圖像)
대부분의 맥락에서, 언어는 구두 언어와 문자 언어를 의미하고 있다. 구두 언어는 말할 나위도 없이 인류 역사에 있어 가장 오래된 형식의 언어로, 사람들 사이의 직접적인 면대면 의사소통에 있어서 가장 중요한 역할을 해 왔다. 또한, 문자 언어 역시 그것이 발명된 이래로 내용의 기록, 저장, 공유가 가능하다는 장점을 통해 인류 역사에 크나큰 기여를 한 것이 사실이다.
그러나, 문자 언어의 발명 이전에, 구두 언어만큼이나 오랜 역사를 가지고 있는 인간의 의사소통 수단으로서 도상의 역할은 상대적으로 간과되어 왔다. 도상(圖像; icon)은 일반적으로 시각 매체를 통해 표현된 의미나 내용, 혹은 표현 그 자체를 가리키는 말로, 이는 단순한 도형이나 문장(紋章)이 나타내는 의미로부터 미술 작품이 표현하고 있는 다양한 관점을 해석하는 도상학(圖像學; iconology)의 연구 대상이기도 하다. 도상은 일반적인 의미의 시각화 작업물, 즉 '그림'으로부터 구분되는 개념으로, 그림이 특정한 대상의 생김새를 시각 매체를 통해 묘사하는 것에 그 목적이 두고 작업한 예술 작품인 반면, 도상은 그 작성자가 감상자에게 전하고자 하는 분명한 의도를 가지고 작업한 의사소통의 수단이라고 보아야 할 것이다.
본 연구에서는 문자 및 구두 언어에 대하여 도상으로 표현된 시각 자극의 언어적 특성을 기존 언어학 및 시각 도상에 관한 다양한 문헌을 검토 비교함으로써 조망하고자 한다.
2. 언어 및 언어학에 대한 리뷰
언어는 의사소통을 위한 상징과 그 구성 원칙의 체계로서, 이때 상징은 어휘의 기본 요소, 즉 어휘소(lexeme)이며 구성 원칙은 문법(grammar)이 된다. 사용되는 언어는 문화권과 지역 별에 따라 매우 다양하지만, 언어를 습득하고 사용한다는 것 자체는 인간에게 있어 매우 일반적인 현상이다. 인간은 의식적인 노력이나 정규교육 없이 자연스럽게 언어를 습득하며, 앞서 언급한 어휘소나 문법에 대한 체계적인 이해가 없이도 언어를 전개할 수 있다. 이와 같은 인간의 언어습득 능력은 개인에 따른 차이가 없기 때문에 정보처리나 지능적 행동에 필요한 보다 일반적인 능력들과 구분되며, 따라서 인간 뇌의 생물학적 구조로 여겨지기도 한다. 머리말에 언급했듯이 일반적으로 인간의 언어는 구두언어(verbal/spoken language)와 문자언어(written/ textual language)를 의미하지만, 때로는 수화, 점자 등 전혀 다른 체계를 사용하는 언어도 있다.
언어의 다양한 유형에도 불구하고, 체계성, 자의성, 상징성 등의 특징(property)들은 공통적으로 발견된다. 즉, 해당 사회 안에서 통용되는 일관된 문법을 적용함으로써 보다 세밀한 의미를 전달하고 이해할 수 있으며(언어의 체계성), 사회적으로 최소한의 합의(소수 구성원들 사이의 은어를 포함하여)를 얻을 수 있다면 임의의 단어에 임의의 의미를 부여할 수 있으며(언어의 자의성), 경우에 따라 실 세계의 현상을 그대로 모사하는 경우(예: "야옹~")도 있는 것이다(언어의 상징성). 체계성은 문법이라는 형태로 언어의 기본 요소가 되며, 자의성은 어휘의 다양성과 새로운 어휘의 생성 가능성을 통해 사회 및 문화의 발전에 따른 언어의 확장을 가능케 한다. 또한 언어의 상징성은 사회적으로 정의된 어휘를 사용하지 않더라도 자연적으로 존재하는 실체에 대한 의사소통이 가능하게 한다.
인간의 언어 능력은 광의의 언어 능력(faculty of language in broad sense; FLB)과 협의의 언어 능력(faculty of language in narrow sense; FLN)으로 구분하여 논의되기도 한다. 이때 협의의 언어 능력은 언어 자체를 이해하기 위한 추상적인 문법 연산 능력이며, 광의의 언어 능력은 협의의 언어 능력 외에도 언어를 통한 의사소통을 직접적으로 수행하기 위한 능력을 포함하는 개념이다. 광의의 언어 능력에는 감각기관을 통해 언어를 인지하거나 표현기관(발성기관 등)을 통해 언어를 표현하는 능력과, 언어를 통해 표현된 개념을 이해하거나 자신의 의도에 맞게 언어를 구성하는 능력이 포함되어 있다. 인간의 언어 능력에 대한 개략적 구조는 [그림 1]과 같다.
[그림 1] 언어 능력의 개념적 구조
앞서 언급한 일반적인 언어의 범주에 의거하여, 일반적으로 언어학은 [표 1]과 같이 몇가지 수준으로 분류되며 , 이는 언어학의 관심 분야들을 나타낸다.
| 분류 | 연구 분야 |
|---|---|
| 음성학 | 음성을 과학적으로 연구하는 학문으로, 발성기관의 조음 과정, 발성된 음성이 전달되는 과정, 음파가 귀를 통해 지각되는 과정 등을 다룬다. |
| 음운론 | 특정 개별 언어 또는 여러 언어의 소리 체계를 연구하는 분야로, 주어진 언어 내에서 또는 범언어적으로 소리가 어떻게 기능하는가를 기술한다. |
| 형태론 | 단어의 어형(語形)변화와 구조를 다루는 문법 연구 분야이며, 어형론이라고도 한다. 단어들이 모여 어떤 의미를 이루는 데 있어서 필요한 구조를 연구한다. |
| 통사론 | 단어가 문장을 이루는 방법과 규칙, 반복적으로 드러나는 관계에 대한 연구로, 올바른 사례를 제안하는 규범주의적 접근과 실제 사례를 체계화하는 기술주의적 접근이 있다. |
| 의미론 | 어휘나 문장, 글의 의미를 연구하는 분야이다. 언어를 이루는 요소의 분석에 의한 이론적 접근과, 행동 실험이나 뇌활동 촬영 기법을 통한 실증적 접근 방법이 있다. |
| 화용론 | 발화자의 입장에서, 그 의도가 표현된 문장에서 제대로 전달되도록 하는 방법에 대한 분야로, 전달 시의 맥락과 환경에 대한 이해가 중요하다. |
3. 시각 도상의 언어적 속성
본 연구에서 다루는 시각 도상은 모든 종류의 매체에서 다뤄지는 의미를 갖는 개개의 시각 자극, 혹은 복수의 시각 자극이 합쳐진 종합적인 시각 자극이다. 시각 도상이 갖는 의미는 감상자가 이를 해석하는 과정에서 인식되며, 이는 작성자가 의도한 것일 수도 있지만, 경우에 따라서 그렇지 않을 수도 있다.
시각 도상은 그것이 내포하는 의미에 따라 세 가지로 분류될 수 있다. 첫째, 시각 도상이 특정한 하나의 개념을 표상하도록 작성된 경우 이는 ideogrammatic 속성을 갖는 시각 '단어'로서 상표, 표의문자(한자 등), 교통표지, 깃발 등을 포함한다. 둘째, 시각 도상이 주어진 맥락 하에서만 유의미한 표현을 가질 경우 이는 diagrammatic 속성을 가지며, 시각적인 방법으로 가장 효과적으로 표현될 수 있는 도표, 그래프 등이 포함된다. 셋째, 시각 도상을 통해 현실의 모습을 재현하고자 할 경우 이는 isogrammatic 속성을 갖고, 그림, 스케치, 사진, 삽화 등 광범위한 분야의 기법들이 포함된다. 시각 도상, 혹은 시각적 메시지에 대한 이러한 분류와 구체적인 사례는 [표 2]의 (a), (b)와 같이 정리될 수 있다.
(a; Left) Matrix of information messages / (b; Right) Restructured matrix of information messages
[그림 2] 시각 도상의 ideogrammatic 속성에 대한 기호학적 분류
이와 같이 ideogrammatic 속성을 갖는 시각 도상의 세 가지 유형은 [그림 2]과 같이 대상(object), 해석소(interpretant)와 표현체(representamen) 사이의 관계로 도식화될 수 있다. [그림 2]의 (a)는 아이콘, 지표, 상징에 해당하는 대상(O)-해석소(I)-표현체(R) 간의 해석의 흐름이며, (b)는 '불'을 상징하는 기호의 각 유형을 보여주고 있다. 즉, 불의 형상을 표현한 기호인 첫 번째 이미지는 아이콘에, 연기로 불을 나타낸 두 번째 이미지는 지표에, 불을 의미하는 중세의 화학기호인 세 번째 이미지는 상징에 해당한다.
두 번째 속성인 diagrammatic 속성을 갖는 시각 도상은 상대적으로 단순한 형태로 이루어진 시각 자극들을 전달하고자 하는 의도에 따라 구조적으로 배치하고 변형시킴으로써 함으로써 각각의 시각 자극이 갖는 의미의 단순한 조합보다 많은 의미를 표상한다.
각각의 시각 자극은 반복적으로 사용되거나, 서로 비교되어 사용되거나, 각각이 독립적인 표상으로서 서로 다른 의미를 가질 수 있다. 이러한 시각 자극은 1차원이나 2차원, 경우에 따라 가상적으로 모사된 3차원 공간에 배열됨으로써 해당 위치 좌표의 특징을 설명할 수 있다. 또는 시간 축에 따라 배열됨으로써 특정한 정보가 시간에 따라 변하는 모습을 표현할 수도 있다. 이상과 같은 공간 혹은 시간 상의 배치는 [그림 3]에서 보는 것과 같이 함께 사용되어 시간에 따른 공간의 이동 및 특성의 변화를 나타낼 수 있으며, 동시에 각 상태를 서로 비교할 수 있도록 할 수도 있다.
[그림 3] 나폴레옹의 진격
세 번째 속성인 isogrammatic 속성을 갖는 시각 도상은 실 세계에 존재하는 시각적 경험을 있는 그대로 묘사하거나 가상적으로 있음직하게 표현함으로써 만들어지며, 작성자는 감상자에게 전달하고자 하는 내용, 의도 및 목적에 따라 이를 재구성할 수 있다. 실존하는 시각적 경험을 묘사하는 것은 작성자의 미학적 안목과 능력, 혹은 사용되는 기법이나 기술에 따라 크게 좌우된다. 그러나, 이러한 시각 도상이 의사소통의 수단, 즉 도상으로서의 가치를 갖는 것은 단순한 묘사나 재현이 아닌 시각적 경험의 재구성, 즉 시각적 조합(visual confection)에 의한 것이다.
[그림 4] 시각적 조합
[그림 4]에서 나타난 바와 같이, isogrammatic 속성의 시각 도상은 시간 축에 수직하여 존재하는 명사(주체)동사(행위) 축으로 이루어진 가상의 사건 평면(plane of event) 상의 점들을 연결함으로써 개개의 이야기의 흐름(stream of story)을 재구성g함으로써 만들어진다. 이때 시각적 조합은 이러한 이야기를 하나의 내러티브로서 구성하기 위해서 이야기의 흐름선 상에서 몇 개의 점을 선택하여 2차원 평면 위에 적절하게 표현하는 것을 뜻한다. 작성자는 각각의 점을 나타내는 시각적 경험들을 '구획(compartment)'이나 '가상(imagined scene)'의 방법을 이용해서 시각적으로 조합한다. 구획법은 [그림 5]의 (a)와 같이 일부의 그림을 구획 지어 다른 그림과 구분함으로써 별도의 이야기 공간상에 존재함을 나타내는 것이고, 가상법은 [그림 5]의 (b)와 같이 각각의 그림을 하나의 그림에 동시에 나타냄으로써 실제로는 불가능한 상황을 묘사하는 것을 말한다. Isogrammatic 속성을 갖는 시각 도상은 이러한 시각적 조합에 의해 만들어진다.
[그림 5] 시각적 조합의 사례
의사소통을 위한 시각 도상의 언어적, 혹은 구조적 속성에 대한 기존의 연구는 다분히 경험적으로 제시되었거나 인지 심리학 등 관련 분야의 이론을 차용하는 선에서 그치고 있다 . 또한 시각 도상의 언어적 분석에 대한 연구들은 앞서 언급된 바와 같이 전산학에서 컴퓨터의 언어 분석 알고리듬 측면에서 이루어져 왔을 뿐 , 인간이 시각 언어를 어떠한 원리로 해석하는가에 대한 연구는 부족한 것이 사실이다. 이는 인간 사용자에게 제시되어 반응(조작)을 요구하는 시각 도상(예: 컴퓨터 화면 상의 Graphical User Interface)의 설계 및 분석을 위해서 반드시 필요한 연구가 될 것이다.
본 연구에서는 시각 도상이 언어적 속성을 가지고 있음에 초점을 맞추어 '의사소통을 목적으로 의도적으로 만들어진 시각 도상'을 '시각 언어'라고 정의하고, 이의 언어적 측면에 대하여 고찰한다.
4. 시각 언어
4.1 시각 언어에 대한 기존 연구
시각 언어(visual language)는 다양한 맥락에서 서로 다르게 정의되고 사용되는 개념이며, 크게 세가지로 구분해 볼 수 있다.
첫째, 전산학에서 말하는 시각 언어는 프로그램을 설계하고 저작하는 기법으로서의 시각적 프로그래밍 언어 , 혹은 다양한 속성을 반영하는 데이터베이스에서 원하는 결과를 다차원적으로 찾기 위한 시각적 질의 언어 를 의미한다. 이 맥락에서의 시각 언어는 인간-컴퓨터 상호작용(HCI)의 측면, 특히 사용자가 화면을 통해 조작하여 입력한 시각 도상이 어떻게 컴퓨터 데이터로 변환될 수 있으며, 변환된 데이터를 통하여 사용자가 의도한 도상 간의 관계 및 의미를 해석할 수 있는가에 초점을 맞춘다.
둘째, 전통적인 시각 디자인 분야에서의 시각 언어란 디자인 작업에 필요한 그래픽 요소, 즉 편화(clip art) 혹은 그림(image clip)을 의미한다. 이 맥락에서 시각 언어는 보다 복잡한 시각적인 총체를 만들기 위한 요소로서, 다양한 모양의 도형에서부터 전문가에 의해 촬영된 사진에 이르기까지 사실상 모든 그래픽 요소들을 포괄한다. 이러한 의미의 시각 언어는 각 요소들이 독자적으로, 혹은 다른 요소들과 조화를 이루었을 때의 미학적 가치에 중점을 두고 논의된다.
셋째, 시각 도상을 이용하여 의사소통을 하는 데 있어서, 보다 효율적이고 명확하게 작성자의 의도를 독자에게 전달할 수 있도록 하기 위하여 그 구조적 측면을 연구하기도 한다. 이 맥락에서는 작성된 시각 도상이 인간에게 어떻게 인지되고 해석되는가가 중요한 관점이 되고 있으며 , 효과적인 의사소통을 위하여 좋은 시각 언어의 작성 방법이 제안되고 있다.
이상과 같은 시각 언어의 정의와 접근 방법은 모두 공통적으로 언어적 속성에 대하여 관심을 갖고 있음을 알 수 있다. 전산학에서 사람에 의해서 입력된 시각 언어를 컴퓨터가 이해할 수 있는 형태의 수치와 관계식으로 해석하기 위한 측면과, 시각 디자인 분야에서 의도한 시각 작업을 위하여 보다 단순한 요소로서 시각 도상을 이용하는 측면도 언어적 연구 방법으로 생각할 수 있다.
하지만, 본 연구에서는 그보다 세 번째의 관점이 인간의 인지 능력과 직접적인 관련을 가지고 있음에 주목하고, 시각 언어의 구조적 측면을 분석했다.
4.2 시각 언어의 구조와 개념
시각 언어는 망막에 맺힌 시각 자극이 감상자에게 해석되어 작성자가 의도하거나 그렇지 않은 의미를 전달하기까지의 하나의 체계이다. 감상자에게 제시된 시각 언어는 다른 시각 자극과 마찬가지로 선택적 주의를 통해 지각되며, 이때 주의의 순서 및 정도에 의해 하나의 시각 도상 안에서도 순차적인 이야기 구성, 즉 내러티브(narrative)가 생기게 된다. 제시된 시각 언어는 순차적 주의를 거쳐 총합적으로 판단되어 정보 처리를 통해 사고나 감정, 언어적 대응 등을 유발하게 된다. [그림 6]은 시각 언어의 단순화된 정보 처리 흐름을 보여주고 있다.
[그림 6] 시각 언어 체계의 구성 모듈
앞서 2장과 3장에서 고찰한 바와 같이 언어학의 중심을 차지하고 있는 다른 언어와 마찬가지로, 시각 언어 역시 언어적인 속성을 가지고 있다. 그러나 구체적이고 시각 언어의 어떤 구조가 언어학적으로 해석될 수 있는가 혹은 시각 언어의 구조, 즉 문법에는 어떤 특징이 있는가에 대해서는 명확한 해답이 없었다. 시각 언어의 언어적 구조를 제시한 소수의 연구는 저자의 경험과 직관에 의한 것으로, 이는 나름대로 의미는 있으나 구체적이고 실증적이지 못하므로 새로운 시각 언어를 제시하기 위한 기반은 되지 못했다.
Cavanagh는 사물에 대한 시각적 표상은 '명사'의 역할로, 그 시각적 표상의 움직임은 '동사'의 역할로 이해할 수 있으며, 각 표상들 간의 시간적, 공간 관계를 '전치사'의 역할로 해석할 수 있다고 개략적으로 제안한 바 있다. 또한 시각 언어의 구성원리, 즉 시각 문법의 존재에 대한 반증으로서 [그림 7]과 같은 '있을 수 없는 그림'을 제시하였으며, 보다 근본적인 수준의 문법으로서 동작 인식의 시작(onset)부터 끝(offset)까지를 하나의 시각 언어적 동사로 인식하는 사례와 그 변용을 제안했다. Cavanagh는 동작 인식에 대한 기존 연구 사례를 인용하면서, 특히 시각 언어에 있어서 동작, 즉 '동사'의 존재 및 활용성을 주장한다.
[그림 7] 비문법적인 시각 언어의 예
시각 언어의 문법적 구조에 대한 다른 - 그리고 대표적인 - 사례 Horn의 연구를 들 수 있다. 비록 대부분의 경우 연구자의 경험과 직관에 의하기는 했으나, Horn은 언어학의 다양한 수준에 있어서 시각 언어의 역할을 폭넓게 정의했다. Horn에 의하면 시각 언어에 있어서, 구두 언어의 음성학 및 음운론의 대상에 해당하는 의미 단위(communication unit)는 시각 도상의 크기이며, 시각 도상의 모양, 모사된 이미지, 포함된 문자열 등은 형태론의 대상이 된다. 시각 언어의 형태론적 관점에서 고려되는 주요 요소들은 [그림 8]과 같다.
[그림 8] 형태론적 관점에서 본 시각 언어의 주요 요소
[그림 8]에서 제시된 이러한 시각 도상들을 조합하여 새로운 메시지를 만드는 것은 통사론적 관점의 연구 대상으로, 시각 언어의 통사론에는 [그림 9]와 같은 시각 요소들의 다양한 배치가 포함된다. 이러한 배치를 통해서 만들어진 시각 도상의 새로운 조합은 일종의 시각적 '문장'으로 이해될 수 있다.
[그림 9] 시각 도상의 조합에서 가능한 다양한 배치 방법
시각 언어의 의미론적 관점은 보다 복잡하며, 몇 가지 서로 다른 측면에서 고찰될 수 있다. 이러한 관점에는 제시되는 시각 언어의 총합적 메시지, 시각 도상이나 문법에 적용된 시각적 은유(metaphor) 및 그들 간의 관계, 개념의 도식화(diagramming)나 만화적 기법을 응용한 표상, 그리고 공간이나 선을 따라 조합됨으로써 부여되는 의미, 시간에 따른 변화 및 추이를 보여주기 위한 관용적 시각 표현 등에 대한 분석 및 이해가 포함된다.
이러한 해석을 바탕으로 시각 언어에도 표현하고 있는 내용과 그 표현 방식에 대한 의미론적 고찰이 한 수준 위에서 이루어질 수 있으며, 이렇게 다양한 수준에서 해석된 의미는 사회적 맥락 및 사용 상황, 감상자의 선택적이고 순차적인 주의로 인해 생기는 의도하지 않은 해석의 가능성, 그리고 미학적인 관점, 효율성의 관점 및 감상자의 인지 부하를 고려한 설계 등에 대한 이해를 다루는 화용론의 수준에서 논의될 수 있다.
이상의 논의를 바탕으로 시각 언어의 구조와 개념을 2장에서 논의된 일반적인 언어학의 각 수준과 비교하여 정리하면 [표 3]과 같다.
| 분류 | 시각 언어의 연구 대상 |
|---|---|
| 음성학 | 시각 도상의 크기 |
| 음운론 | |
| 형태론 | 시각 도상의 모양, 이미지, 문자열 |
| 통사론 | 시각 도상들의 조합 (배치방법 등) |
| 의미론 | 은유, 도식화, 관용적 표현을 통한 전체 의미 파악 |
| 화용론 | 적용 상황 및 사회적 맥락, 미학 및 효율성 |
5. 맺음말
시각 언어와 시각 문법은 컴퓨터 화면에 둘러싸인 오늘날의 역동적인 멀티미디어 환경에 있어서 과거 어느 때보다도 큰 영향을 미치고 있다. 동시 다발적으로 방대하고 다양한 정보를 접하는 시각 언어 환경에서는 문법적으로 불완전한 시각 문장으로 인해 잘못된 의사소통이 일어날 가능성이 매우 높다. 컴퓨터 화면 상의 사용자 인터페이스를 통해 대부분의 업무를 수행하는 상황에서, 이러한 가능성은 곧 사용자의 오류를 유발하는 원인이 될 수 있다.
본 문헌 연구를 통해 정리된 시각 언어의 개념은, 기존에 다양한 분야에서 논의되어 온 시각 도상의 언어적 속성에 대한 연구의 전제들을 통합한 것에 불과하다. 3장에서 인용된 시각 도상에 대한 연구들과 4장에서 인용된 시각 언어 개념에 대한 논의들에도 불구하고, 시각 도상의 언어적 요소들간의 위계와 상호 관계, 그리고 나아가서 시각 '문법'에 대한 실증적인 고찰은 전무하다고 볼 수 있다.
뚜렷한 기준 없이 설계자의 경험이나 주관, 심지어 선호에 의해 양산되고 있는 시각 언어들에 올바른 기준으로서의 시각 문법을 정립하기 위하여, 시각 언어에 대한 이러한 실증적 연구와 체계적 분석이 이루어져야 할 것이다.
9. 참고 문헌
Doblin, J. (1980). A Structure for Nontextual Communications. in Wrolstad, M. & Bouma, H. (eds.) (1980). Processing of Visible Language 2, Plenum Press: New York
Tufte, E. R. (1983). The Visual Display of Quantitative Information. Graphics Press.
Tufte, E. R. (1997). Visual Explanations: Images and Quantities, Evidence and Narrative, Graphics Press
Horn, R. E. (1999). Visual Language: Global Communication for the 21st Century, MacroVU Press
Pinker, S. (1994). Language Instinct: How the Mind Creates Language, Perennial
