캠릿브지 대학의 연결구과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배되열어

있는가 하것는은 중하요지 않고, 첫째번와 마지막 글자가 올바른 위치에 있것는이

중하요다고 한다. 나머지 글들자은 완전히 엉진창망의 순서로 되어 있지을라도

당신은 아무 문없제이 이것을 읽을 수 있다. 왜하냐면 인간의 두뇌는 모든 글자를

하나 하나 읽것는이 아니라 단어 하나를 전체로 인하식기 때이문다.





예를 들어, 아래 글을 읽어보시면... ↓


























캠브릿지 대학의 연구결과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배열되어

있는가 하는것은 중요하지 않고, 첫번째와 마지막 글자가 올바른 위치에 있는것이

중요하다고 한다. 나머지 글자들은 완전히 엉망진창의 순서로 되어 있을지라도

당신은 아무 문제없이 이것을 읽을 수 있다. 왜냐하면 인간의 두뇌는 모든 글자를

하나 하나 읽는것이 아니아 단어 하나를 전체로 인식하기 때문이다.




이거인줄알았죠? 다시 첫번째글을보세요..글자들이 이상하죠?
전 두번째글 볼때까지 첫번째 글이 뭐가 이상한지 몰랐답니다
신기하네요

[추가]--------------------
아래는 원문?인 영어 이미지... 인터넷에서 또 누군가 찾아서 올려놓았다. -_-;;
Reading Test

... 이건 상당히 오타로 보인다. 모국어의 차이인가 -_-


[추가2]----------------------------------------
이거 올린 사람의 홈페이지인 듯... 각 국의 사례가 포함되어 있다.
http://www.mrc-cbu.cam.ac.uk/~mattd/Cmabrigde/
신고
Posted by Stan1ey
이것은 대학에서 관련 강의를 듣고 기말고사로 제출한 글이다. 앉은 자리에서 3시간동안 손으로 써내려간 글이니만큼 짜임새가 있거나 내용에 깊이가 있을리 없다. (나의 신경망에 대한 전문성이 무식에 가까운 것을 생각해보면 분명히 그렇다) 그럼에도 불구하고 굳이 이 글을 올려두는 이유는, 내가 스스로 자주 읽어보면서 반성하고 다른 아이디어들과 함께 짜맞추기 위해서이다. (2007.1.9.)



시각언어의 학습과 이해에 대한 신경망 관점의 고찰

인간이 어떤 매체를 통해 시각적 자극을 접하고 그 의미를 파악하는 것이 일종의 커뮤니케이션 활동이라고 한다면, 이에 사용된 내용인 시각 자극은 '언어'라고 불리는 범주에 들어가며, 즉 '시각 언어'라고 불릴 수 있을 것이다.

시각언어는 기존의 일반적인 '언어'와는 많은 부분이 다른데, 시간축보다 공간축의 위상이 더 큰 의미를 갖는다거나, 언어의 구성이 음소나 의미의 표현보다 형태, 색상, 위치 등으로 훨씬 더 다차원적이라는 것 등이 대표적이다.

기존의 시각언어는 그래픽적인 작품으로서 일방향적으로 '작가'가 '관람자'에게 의미를 전달하는 데에 주안점을 두면 됐지만, 오늘날의 시각언어는 GUI로 대변되는 사용자 인터페이스의 주요 수단으로, 시각언어를 통해 주어진 의미를 사용자 - 관람자 - 가 제대로 파악하지 못할 경우 잘못된 사용자 반응(조작 오류)을 야기하여 경우에 따라서는 심각한 사고의 원인이 되기도 한다. (계기의 내용을 잘못 판단하여 벌어진 항공기 사고나 원자력 발전소의 누출위험 등이 그렇다.)

기존의 시각언어 생성은 설게자의 직관에 그 세부적인 판단과 의사 결정을 맡기고 사후평가를 통해 이를 검증 및 수정했으나, 이러한 방법으로는 많은 오류를 그 중요도와 관계없이 놓칠 수 있다는 것은 확률적으로 자명하다. 따라서 시각언어의 학습 및 이해에 대한 세부적인 원리 - 시각언어의 어휘, 문법 등 - 의 공통분모를 알 수 있다면 보다 논리적으로 구체적인 근거를 포함한 설계와 검증이 가능할 것이다.


신경망 연구는 인공지능과 달리 뇌의 동작원리에 대한 고찰에 근거한 여러 수준의 모델을 제시해 왔다. 지난 한 한기동안 나름대로는 큰 용기를 내어 알쏭달쏭한 수학 공식과 생서한 이 분야의 철학들과 싸우면서, 본인은 '시각언어'라는 연구주제에 대해서 다음과 같은 두가지 주제에 대한 해답을... 아니 힌트를 얻고자 했다.

  (1) 시각언어는 실제로, 다른 일반적인 언어(말, 글)와 그 동작원리나
       구조, 구성, 혹은 다른 특징을 공유하는가?

  (2) 시각언어의 학습과 이해를 일반적으로 설명할 수 있는 신경망 모델은
       존재하는가?


(1) 시각언어는 다른 언어와 구성원리를 공유하는가?

"'시각언어'가 '언어'인가?"라고 다시 이해할 수 있는 이 의문에 대해서, 적어도 본인이 이해한 범위 안에서는, 해답을 얻기보다 오히려 이는 신경망 연구의 일차적인 고려사항은 아니라는 생각이 들었다. 많은 신경망 모델은 일련의 학습을 통해 내재적 분류기준을 세우고, 이 기준(뉴런 간의 연결강도의 총체)이 어떤 입력을 분류해낼 때 의도한대로 맞게 동작하는지에 관심을 갖는다. 이는 심리학에서 말하는 '지각'이나 '재인' 혹은 '분류화'에 대한 것으로, 언어적 관심영역인 의미나 논리 영역에 대한 설명과는 거리가 있다.

그러나, "우선 언어가 뭔가?"라는 데에 생각이 미치면 얘기가 달라진다. 언어는 의미소와 그 연결방식에 대한 논리적 해석을 통해서 성립하며, 이 연결방식은 문자언어의 경우 <글자-단어-문장-맥락> 정도로 위계적인 체계를 갖고 있다. 또한 이 위계적인 체계는 그 구조 안에서 매우 유연함을 갖고 있으며, 따라서 어순, 강세, 사투리, 액센트 등의 변화에 매우 강인하다. (한국말을 갓배운 외국인과의 대화를 연상할 수 있다.)

신경망의 Neo-Cognitron 모델이 광학적 문자인식을 대표적인 사례로 제시하고 있으나, 그 다층적이고 위계적인 구조를 글자가 인식된 이후 크게 (아주 크게) 확장한다면 단어의 인식이나 문장의 구성을 인지하고 맥락 하에서의 의미를 파악하는 것 또한 Neo-Cognitron 모델로 설명할 수 있을 것이다. (물론 개념적이고 현 단계에서는 구현과 검증이 어렵겠다.) 그렇다면 이 모델은 '시각언어'와 '언어'의 공통적인 구성원리를 설명하는 모델이 아닐까?

여기에는 한가지 문제가 남는다. 그렇다면 - Neo-Cognitron 모델로 시각언어가 언어적 속성을 갖고 있다고 설명할 수 있다면 - 세상에 언어가 아니라고 말할 수 있는 인지활동이 과연 있겠느냐는 것이다. 이는 신경망의 (단층 Perceptron과 같이 단순한 모델을 제외한다면) 다층적 속성과 언어의 구조적 측면을 구분해서 볼 수 있는 새로운 신경망 모델을 필요로 하는 논의가 된다.


(2) 시각언어 활동을 설명할 수 있는 신경망 모델은 무엇인가?

시각언어의 학습과 이해는 한가지 신경망 모델로 설명되지 않으며, 이는 신경망 연구가 인간(또는 다른 생물)의 행동을 설명할 때 취하는 사례의 범주를 봐도 알 수 있다.

눈에 비친 물체의 외곽을 감지해서 구분해낼 수 있는 망막세포의 지각활동은, 측면억제를 통한 자기조직화 모델인 SOM의 사례를 통해 설명할 수 있을 것이다. 또한 색상을 구분하고 명명할 수 있으며 그 해상도에 개인차가 있는 것은 다층 Perceptron 이후 발현한 많은 모델들의 초기 학습값과 지역 최소값 구렴의 관계로 이해될 수 있다. 일단 분류 및 학습이 이루어진 경우라 할지라도 오랜 시간에 걸쳐 익숙해진(annealing) 경우 연상이 강해지는 것은 연상기억(associative memory)의 동작원리와 무관하지 않을 것이다.

즉, 시각언어의 학습과 이해에 있어서 지각-인지-기억-인출-이해 등의 각 단계는 마치 Neo-Cognitron의 여러 층처럼 구성되어 있으면서 그 층에 부여된 역할에 따라 다른 신경망 모델처럼과 같이 (혹은 몇개의 모델의 혼합처럼과 같이) 동작한다고 볼 수 있다.


그러나 이러한 비유적(?) 설명에서도 해결할 수 없는 하나의 문제는 시간 축에서의 신경망 활동에 대한 것이다. 신경망 연구의 모델들은 학습(종종 재학습 개념이 있는 ART와 같은 모델이 있기는 하지만)이 완료된 후의 분류 판정을 독립된 하나의 활동으로 정의하지만, 실제 인간의 활동에 있어서 학습이 충분히 완성되거나 분류 판정에 필요한 시간이 (그것필요한 시간이 매우 짧더라도) 충분히 주어지지 않는 경우가 많다.

시각언어의 이해를 통해 행위를 결정해야 하는 사용자 인터페이스 상황에서는 특히 부족한 인지자원과 시간만으로 이러한 판단을 해야하므로, 기존의 완성된 신경망 구조(및 연결강도)가 아닌 실시간으로 학습과 분류가 이루어지는 모델이 고안될 필요가 있다.

새로운 모델은 학습의 중간에 분류 판정이 이루어지거나 새로운 입력이 (의도적이든 아니든) 들어오는 경우를 포괄해야 하며, 그것이 신경계 개념적인 다층구조 중에서 어느 층에서든 이루어질 수 있도록 해야 한다. 이를 통해서 신경망 연구는 정적인 세상에 대한 학습과 판단이 아닌, 실제의 동적인 세상에서의 실시간 학습과 판단, 그리고 무엇보다도 인지활동 중의 외부자극에 의한 오류를 설명할 수 있게 되리라 생각한다.



... 여기까지다. 굳이 교수님께 답안지를 요청해서 적어봤지만, 이건 뭐 -_- 정말 내용이 없어도 이렇게 없었나 싶다. 게다가 뒤로 갈수록 악필에 오타(손으로 썼는데!)까지... 결국 몇개는 못 참고 고쳤다. 아무도 못 보게 구석에 잘 짱박아 둬야지.
신고
Posted by Stan1ey

이 글은 2006년 봄학기에 기말보고서로 작성된 것으로, 내용은 엉망이지만 그래도 당시 시각언어에 대한 이런저런 참고문헌들을 모을 수 있는 기회가 되었다. 본문을 편집하는 데에만 너무 많은 시간이 걸려서, 각주를 넣을 여유가 없었으므로 상세한 내용은 원문을 참고해야 할 것이다.




1. 서론: 언어로서의 시각 도상(圖像)

대부분의 맥락에서, 언어는 구두 언어와 문자 언어를 의미하고 있다. 구두 언어는 말할 나위도 없이 인류 역사에 있어 가장 오래된 형식의 언어로, 사람들 사이의 직접적인 면대면 의사소통에 있어서 가장 중요한 역할을 해 왔다. 또한, 문자 언어 역시 그것이 발명된 이래로 내용의 기록, 저장, 공유가 가능하다는 장점을 통해 인류 역사에 크나큰 기여를 한 것이 사실이다.

그러나, 문자 언어의 발명 이전에, 구두 언어만큼이나 오랜 역사를 가지고 있는 인간의 의사소통 수단으로서 도상의 역할은 상대적으로 간과되어 왔다. 도상(圖像; icon)은 일반적으로 시각 매체를 통해 표현된 의미나 내용, 혹은 표현 그 자체를 가리키는 말로, 이는 단순한 도형이나 문장(紋章)이 나타내는 의미로부터 미술 작품이 표현하고 있는 다양한 관점을 해석하는 도상학(圖像學; iconology)의 연구 대상이기도 하다.  도상은 일반적인 의미의 시각화 작업물, 즉 '그림'으로부터 구분되는 개념으로, 그림이 특정한 대상의 생김새를 시각 매체를 통해 묘사하는 것에 그 목적이 두고 작업한 예술 작품인 반면, 도상은 그 작성자가 감상자에게 전하고자 하는 분명한 의도를 가지고 작업한 의사소통의 수단이라고 보아야 할 것이다.

본 연구에서는 문자 및 구두 언어에 대하여 도상으로 표현된 시각 자극의 언어적 특성을 기존 언어학 및 시각 도상에 관한 다양한 문헌을 검토 비교함으로써 조망하고자 한다.


2. 언어 및 언어학에 대한 리뷰

언어는 의사소통을 위한 상징과 그 구성 원칙의 체계로서, 이때 상징은 어휘의 기본 요소, 즉 어휘소(lexeme)이며 구성 원칙은 문법(grammar)이 된다.  사용되는 언어는 문화권과 지역 별에 따라 매우 다양하지만, 언어를 습득하고 사용한다는 것 자체는 인간에게 있어 매우 일반적인 현상이다. 인간은 의식적인 노력이나 정규교육 없이 자연스럽게 언어를 습득하며, 앞서 언급한 어휘소나 문법에 대한 체계적인 이해가 없이도 언어를 전개할 수 있다. 이와 같은 인간의 언어습득 능력은 개인에 따른 차이가 없기 때문에 정보처리나 지능적 행동에 필요한 보다 일반적인 능력들과 구분되며, 따라서 인간 뇌의 생물학적 구조로 여겨지기도 한다.  머리말에 언급했듯이 일반적으로 인간의 언어는 구두언어(verbal/spoken language)와 문자언어(written/ textual language)를 의미하지만, 때로는 수화, 점자 등 전혀 다른 체계를 사용하는 언어도 있다.

언어의 다양한 유형에도 불구하고, 체계성, 자의성, 상징성 등의 특징(property)들은 공통적으로 발견된다. 즉, 해당 사회 안에서 통용되는 일관된 문법을 적용함으로써 보다 세밀한 의미를 전달하고 이해할 수 있으며(언어의 체계성), 사회적으로 최소한의 합의(소수 구성원들 사이의 은어를 포함하여)를 얻을 수 있다면 임의의 단어에 임의의 의미를 부여할 수 있으며(언어의 자의성), 경우에 따라 실 세계의 현상을 그대로 모사하는 경우(예: "야옹~")도 있는 것이다(언어의 상징성).  체계성은 문법이라는 형태로 언어의 기본 요소가 되며, 자의성은 어휘의 다양성과 새로운 어휘의 생성 가능성을 통해 사회 및 문화의 발전에 따른 언어의 확장을 가능케 한다. 또한 언어의 상징성은 사회적으로 정의된 어휘를 사용하지 않더라도 자연적으로 존재하는 실체에 대한 의사소통이 가능하게 한다.

인간의 언어 능력은 광의의 언어 능력(faculty of language in broad sense; FLB)과 협의의 언어 능력(faculty of language in narrow sense; FLN)으로 구분하여 논의되기도 한다. 이때 협의의 언어 능력은 언어 자체를 이해하기 위한 추상적인 문법 연산 능력이며, 광의의 언어 능력은 협의의 언어 능력 외에도 언어를 통한 의사소통을 직접적으로 수행하기 위한 능력을 포함하는 개념이다. 광의의 언어 능력에는 감각기관을 통해 언어를 인지하거나 표현기관(발성기관 등)을 통해 언어를 표현하는 능력과, 언어를 통해 표현된 개념을 이해하거나 자신의 의도에 맞게 언어를 구성하는 능력이 포함되어 있다. 인간의 언어 능력에 대한 개략적 구조는 [그림 1]과 같다.

언어 능력의 개념적 구조

[그림 1] 언어 능력의 개념적 구조


앞서 언급한 일반적인 언어의 범주에 의거하여, 일반적으로 언어학은 [표 1]과 같이 몇가지 수준으로 분류되며 , 이는 언어학의 관심 분야들을 나타낸다.

[표 1] 언어학의 각 분야
분류 연구 분야
음성학 음성을 과학적으로 연구하는 학문으로, 발성기관의 조음 과정, 발성된 음성이 전달되는 과정, 음파가 귀를 통해 지각되는 과정 등을 다룬다.
음운론 특정 개별 언어 또는 여러 언어의 소리 체계를 연구하는 분야로, 주어진 언어 내에서 또는 범언어적으로 소리가 어떻게 기능하는가를 기술한다.
형태론 단어의 어형(語形)변화와 구조를 다루는 문법 연구 분야이며, 어형론이라고도 한다. 단어들이 모여 어떤 의미를 이루는 데 있어서 필요한 구조를 연구한다.
통사론 단어가 문장을 이루는 방법과 규칙, 반복적으로 드러나는 관계에 대한 연구로, 올바른 사례를 제안하는 규범주의적 접근과 실제 사례를 체계화하는 기술주의적 접근이 있다.
의미론 어휘나 문장, 글의 의미를 연구하는 분야이다. 언어를 이루는 요소의 분석에 의한 이론적 접근과, 행동 실험이나 뇌활동 촬영 기법을 통한 실증적 접근 방법이 있다.
화용론 발화자의 입장에서, 그 의도가 표현된 문장에서 제대로 전달되도록 하는 방법에 대한 분야로, 전달 시의 맥락과 환경에 대한 이해가 중요하다.


3. 시각 도상의 언어적 속성

본 연구에서 다루는 시각 도상은 모든 종류의 매체에서 다뤄지는 의미를 갖는 개개의 시각 자극, 혹은 복수의 시각 자극이 합쳐진 종합적인 시각 자극이다. 시각 도상이 갖는 의미는 감상자가 이를 해석하는 과정에서 인식되며, 이는 작성자가 의도한 것일 수도 있지만, 경우에 따라서 그렇지 않을 수도 있다.

시각 도상은 그것이 내포하는 의미에 따라 세 가지로 분류될 수 있다. 첫째, 시각 도상이 특정한 하나의 개념을 표상하도록 작성된 경우 이는 ideogrammatic 속성을 갖는 시각 '단어'로서 상표, 표의문자(한자 등), 교통표지, 깃발 등을 포함한다. 둘째, 시각 도상이 주어진 맥락 하에서만 유의미한 표현을 가질 경우 이는 diagrammatic 속성을 가지며, 시각적인 방법으로 가장 효과적으로 표현될 수 있는 도표, 그래프 등이 포함된다. 셋째, 시각 도상을 통해 현실의 모습을 재현하고자 할 경우 이는 isogrammatic 속성을 갖고, 그림, 스케치, 사진, 삽화 등 광범위한 분야의 기법들이 포함된다. 시각 도상, 혹은 시각적 메시지에 대한 이러한 분류와 구체적인 사례는 [표 2]의 (a), (b)와 같이 정리될 수 있다.
 
[표 2] 비문자 의사소통의 구조
사용자 삽입 이미지

(a; Left) Matrix of information messages / (b; Right) Restructured matrix of information messages


이러한 세 가지 시각 도상의 속성 중에서, ideogrammatic 속성은 기존 개념에 대한 표상으로서의 특성을 반영하므로 이는 기호학의 영역에 포함된다고 할 수 있다. 기호학적인 견지에서, 어떤 시각 도상을 제시함으로써 특정 개념을 표현하는 방식에는 크게 세 가지가 있을 수 있다. 첫째, 대상과 유사한 시각 자극을 제시함으로써 해당 개념을 떠오르게 하는 것으로 이는 아이콘(icon) 으로서 기호를 사용한 것이다. 반면에, 해당 개념을 직접 표현하고 있지는 않지만 실 세계에서 직접적인 관련이 있는 시각 자극을 제시하여 전달하고자 하는 개념을 유도하는 것은 지표(指標; index)로서의 기호를 사용한 것이다. 셋째, 전달할 개념의 실제 모습과 관련 없이 자의적으로 만들어졌으나 사회적 관습이나 규약에 의해 의미가 될 경우, 이는 상징(象徵; symbol)으로서의 기호를 사용한 것이다.

시각 도상의 ideogrammatic 속성에 대한 기호학적 분류

[그림 2] 시각 도상의 ideogrammatic 속성에 대한 기호학적 분류


이와 같이 ideogrammatic 속성을 갖는 시각 도상의 세 가지 유형은 [그림 2]과 같이 대상(object), 해석소(interpretant)와 표현체(representamen) 사이의 관계로 도식화될 수 있다. [그림 2]의 (a)는 아이콘, 지표, 상징에 해당하는 대상(O)-해석소(I)-표현체(R) 간의 해석의 흐름이며, (b)는 '불'을 상징하는 기호의 각 유형을 보여주고 있다. 즉, 불의 형상을 표현한 기호인 첫 번째 이미지는 아이콘에, 연기로 불을 나타낸 두 번째 이미지는 지표에, 불을 의미하는 중세의 화학기호인 세 번째 이미지는 상징에 해당한다.

두 번째 속성인 diagrammatic 속성을 갖는 시각 도상은 상대적으로 단순한 형태로 이루어진 시각 자극들을 전달하고자 하는 의도에 따라 구조적으로 배치하고 변형시킴으로써 함으로써 각각의 시각 자극이 갖는 의미의 단순한 조합보다 많은 의미를 표상한다.

각각의 시각 자극은 반복적으로 사용되거나, 서로 비교되어 사용되거나, 각각이 독립적인 표상으로서 서로 다른 의미를 가질 수 있다. 이러한 시각 자극은 1차원이나 2차원, 경우에 따라 가상적으로 모사된 3차원 공간에 배열됨으로써 해당 위치 좌표의 특징을 설명할 수 있다. 또는 시간 축에 따라 배열됨으로써 특정한 정보가 시간에 따라 변하는 모습을 표현할 수도 있다. 이상과 같은 공간 혹은 시간 상의 배치는 [그림 3]에서 보는 것과 같이 함께 사용되어 시간에 따른 공간의 이동 및 특성의 변화를 나타낼 수 있으며, 동시에 각 상태를 서로 비교할 수 있도록 할 수도 있다.

나폴레옹의 진격

[그림 3] 나폴레옹의 진격


세 번째 속성인 isogrammatic 속성을 갖는 시각 도상은 실 세계에 존재하는 시각적 경험을 있는 그대로 묘사하거나 가상적으로 있음직하게 표현함으로써 만들어지며, 작성자는 감상자에게 전달하고자 하는 내용, 의도 및 목적에 따라 이를 재구성할 수 있다. 실존하는 시각적 경험을 묘사하는 것은 작성자의 미학적 안목과 능력, 혹은 사용되는 기법이나 기술에 따라 크게 좌우된다. 그러나, 이러한 시각 도상이 의사소통의 수단, 즉 도상으로서의 가치를 갖는 것은 단순한 묘사나 재현이 아닌 시각적 경험의 재구성, 즉 시각적 조합(visual confection)에 의한 것이다.


시각적 조합

[그림 4] 시각적 조합



[그림 4]에서 나타난 바와 같이, isogrammatic 속성의 시각 도상은 시간 축에 수직하여 존재하는 명사(주체)­동사(행위) 축으로 이루어진 가상의 사건 평면(plane of event) 상의 점들을 연결함으로써 개개의 이야기의 흐름(stream of story)을 재구성g함으로써 만들어진다. 이때 시각적 조합은 이러한 이야기를 하나의 내러티브로서 구성하기 위해서 이야기의 흐름선 상에서 몇 개의 점을 선택하여 2차원 평면 위에 적절하게 표현하는 것을 뜻한다. 작성자는 각각의 점을 나타내는 시각적 경험들을 '구획(compartment)'이나 '가상(imagined scene)'의 방법을 이용해서 시각적으로 조합한다. 구획법은 [그림 5]의 (a)와 같이 일부의 그림을 구획 지어 다른 그림과 구분함으로써 별도의 이야기 공간상에 존재함을 나타내는 것이고, 가상법은 [그림 5]의 (b)와 같이 각각의 그림을 하나의 그림에 동시에 나타냄으로써 실제로는 불가능한 상황을 묘사하는 것을 말한다.  Isogrammatic 속성을 갖는 시각 도상은 이러한 시각적 조합에 의해 만들어진다.

시각적 조합의 사례

[그림 5] 시각적 조합의 사례

 
이상과 같이 언급한 시각 도상의 속성들은 2장에서 언급한 언어의 속성과 매우 유사하다. 시각 도상의 ideogrammatic 속성, 즉 특정 개념을 표현하기 위해 시각 도상을 연계시키는 방식은 언어의 자의성과 일맥상통하고, diagrammatic 속성, 즉 도상을 시각적으로 구조화하고 조절함으로써 전달하고자 하는 의미를 명확하게 하는 것은 언어의 체계성과 대체로 같다. 또한 isogrammatic 속성, 즉 어떠한 장면을 묘사하고 전달하기 위해 시각 도상을 조작하는 방식은 언어의 상징성과 매우 흡사하다고 할 수 있다. 이상과 같이 언어학과 시각 도상에 대한 접근 방법 비교를 통해서, 시각 도상은 본질적으로 이미 언어적인 속성을 가지고 있음을 알 수 있다.

의사소통을 위한 시각 도상의 언어적, 혹은 구조적 속성에 대한 기존의 연구는 다분히 경험적으로 제시되었거나  인지 심리학 등 관련 분야의 이론을 차용하는 선에서 그치고 있다 . 또한 시각 도상의 언어적 분석에 대한 연구들은 앞서 언급된 바와 같이 전산학에서 컴퓨터의 언어 분석 알고리듬 측면에서 이루어져 왔을 뿐 , 인간이 시각 언어를 어떠한 원리로 해석하는가에 대한 연구는 부족한 것이 사실이다. 이는 인간 사용자에게 제시되어 반응(조작)을 요구하는 시각 도상(예: 컴퓨터 화면 상의 Graphical User Interface)의 설계 및 분석을 위해서 반드시 필요한 연구가 될 것이다.

본 연구에서는 시각 도상이 언어적 속성을 가지고 있음에 초점을 맞추어 '의사소통을 목적으로 의도적으로 만들어진 시각 도상'을 '시각 언어'라고 정의하고, 이의 언어적 측면에 대하여 고찰한다.

 
4. 시각 언어

4.1 시각 언어에 대한 기존 연구


시각 언어(visual language)는 다양한 맥락에서 서로 다르게 정의되고 사용되는 개념이며, 크게 세가지로 구분해 볼 수 있다.

첫째, 전산학에서 말하는 시각 언어는 프로그램을 설계하고 저작하는 기법으로서의 시각적 프로그래밍 언어 , 혹은 다양한 속성을 반영하는 데이터베이스에서 원하는 결과를 다차원적으로 찾기 위한 시각적 질의 언어 를 의미한다. 이 맥락에서의 시각 언어는 인간-컴퓨터 상호작용(HCI)의 측면, 특히 사용자가 화면을 통해 조작하여 입력한 시각 도상이 어떻게 컴퓨터 데이터로 변환될 수 있으며, 변환된 데이터를 통하여 사용자가 의도한 도상 간의 관계 및 의미를 해석할 수 있는가에 초점을 맞춘다.

둘째, 전통적인 시각 디자인 분야에서의 시각 언어란 디자인 작업에 필요한 그래픽 요소, 즉 편화(clip art) 혹은 그림(image clip)을 의미한다. 이 맥락에서 시각 언어는 보다 복잡한 시각적인 총체를 만들기 위한 요소로서, 다양한 모양의 도형에서부터 전문가에 의해 촬영된 사진에 이르기까지 사실상 모든 그래픽 요소들을 포괄한다. 이러한 의미의 시각 언어는 각 요소들이 독자적으로, 혹은 다른 요소들과 조화를 이루었을 때의 미학적 가치에 중점을 두고 논의된다.

셋째, 시각 도상을 이용하여 의사소통을 하는 데 있어서, 보다 효율적이고 명확하게 작성자의 의도를 독자에게 전달할 수 있도록 하기 위하여 그 구조적 측면을 연구하기도 한다. 이 맥락에서는 작성된 시각 도상이 인간에게 어떻게 인지되고 해석되는가가 중요한 관점이 되고 있으며 , 효과적인 의사소통을 위하여 좋은 시각 언어의 작성 방법이 제안되고 있다.

이상과 같은 시각 언어의 정의와 접근 방법은 모두 공통적으로 언어적 속성에 대하여 관심을 갖고 있음을 알 수 있다. 전산학에서 사람에 의해서 입력된 시각 언어를 컴퓨터가 이해할 수 있는 형태의 수치와 관계식으로 해석하기 위한 측면과, 시각 디자인 분야에서 의도한 시각 작업을 위하여 보다 단순한 요소로서 시각 도상을 이용하는 측면도 언어적 연구 방법으로 생각할 수 있다.

하지만, 본 연구에서는 그보다 세 번째의 관점이 인간의 인지 능력과 직접적인 관련을 가지고 있음에 주목하고, 시각 언어의 구조적 측면을 분석했다.


4.2 시각 언어의 구조와 개념

시각 언어는 망막에 맺힌 시각 자극이 감상자에게 해석되어 작성자가 의도하거나 그렇지 않은 의미를 전달하기까지의 하나의 체계이다. 감상자에게 제시된 시각 언어는 다른 시각 자극과 마찬가지로 선택적 주의를 통해 지각되며, 이때 주의의 순서 및 정도에 의해 하나의 시각 도상 안에서도 순차적인 이야기 구성, 즉 내러티브(narrative)가 생기게 된다. 제시된 시각 언어는 순차적 주의를 거쳐 총합적으로 판단되어 정보 처리를 통해 사고나 감정, 언어적 대응 등을 유발하게 된다. [그림 6]은 시각 언어의 단순화된 정보 처리 흐름을 보여주고 있다.

시각 언어 체계의 구성 모듈

[그림 6] 시각 언어 체계의 구성 모듈


앞서 2장과 3장에서 고찰한 바와 같이 언어학의 중심을 차지하고 있는 다른 언어와 마찬가지로, 시각 언어 역시 언어적인 속성을 가지고 있다. 그러나 구체적이고 시각 언어의 어떤 구조가 언어학적으로 해석될 수 있는가 혹은 시각 언어의 구조, 즉 문법에는 어떤 특징이 있는가에 대해서는 명확한 해답이 없었다. 시각 언어의 언어적 구조를 제시한 소수의 연구는 저자의 경험과 직관에 의한 것으로, 이는 나름대로 의미는 있으나 구체적이고 실증적이지 못하므로 새로운 시각 언어를 제시하기 위한 기반은 되지 못했다.

Cavanagh는 사물에 대한 시각적 표상은 '명사'의 역할로, 그 시각적 표상의 움직임은 '동사'의 역할로 이해할 수 있으며, 각 표상들 간의 시간적, 공간 관계를 '전치사'의 역할로 해석할 수 있다고 개략적으로 제안한 바 있다. 또한 시각 언어의 구성원리, 즉 시각 문법의 존재에 대한 반증으로서 [그림 7]과 같은 '있을 수 없는 그림'을 제시하였으며, 보다 근본적인 수준의 문법으로서 동작 인식의 시작(onset)부터 끝(offset)까지를 하나의 시각 언어적 동사로 인식하는 사례와 그 변용을 제안했다.  Cavanagh는 동작 인식에 대한 기존 연구 사례를 인용하면서, 특히 시각 언어에 있어서 동작, 즉 '동사'의 존재 및 활용성을 주장한다.
     
비문법적인 시각 언어의 예

[그림 7] 비문법적인 시각 언어의 예


시각 언어의 문법적 구조에 대한 다른 - 그리고 대표적인 - 사례 Horn의 연구를 들 수 있다.  비록 대부분의 경우 연구자의 경험과 직관에 의하기는 했으나, Horn은 언어학의 다양한 수준에 있어서 시각 언어의 역할을 폭넓게 정의했다. Horn에 의하면 시각 언어에 있어서, 구두 언어의 음성학 및 음운론의 대상에 해당하는 의미 단위(communication unit)는 시각 도상의 크기이며, 시각 도상의 모양, 모사된 이미지, 포함된 문자열 등은 형태론의 대상이 된다. 시각 언어의 형태론적 관점에서 고려되는 주요 요소들은 [그림 8]과 같다.


형태론적 관점에서 본 시각 언어의 주요 요소

[그림 8] 형태론적 관점에서 본 시각 언어의 주요 요소


[그림 8]에서 제시된 이러한 시각 도상들을 조합하여 새로운 메시지를 만드는 것은 통사론적 관점의 연구 대상으로, 시각 언어의 통사론에는 [그림 9]와 같은 시각 요소들의 다양한 배치가 포함된다. 이러한 배치를 통해서 만들어진 시각 도상의 새로운 조합은 일종의 시각적 '문장'으로 이해될 수 있다.


시각 도상의 조합에서 가능한 다양한 배치 방법

[그림 9] 시각 도상의 조합에서 가능한 다양한 배치 방법


시각 언어의 의미론적 관점은 보다 복잡하며, 몇 가지 서로 다른 측면에서 고찰될 수 있다. 이러한 관점에는 제시되는 시각 언어의 총합적 메시지, 시각 도상이나 문법에 적용된 시각적 은유(metaphor) 및 그들 간의 관계, 개념의 도식화(diagramming)나 만화적 기법을 응용한 표상, 그리고 공간이나 선을 따라 조합됨으로써 부여되는 의미, 시간에 따른 변화 및 추이를 보여주기 위한 관용적 시각 표현 등에 대한 분석 및 이해가 포함된다.

이러한 해석을 바탕으로 시각 언어에도 표현하고 있는 내용과 그 표현 방식에 대한 의미론적 고찰이 한 수준 위에서 이루어질 수 있으며, 이렇게 다양한 수준에서 해석된 의미는 사회적 맥락 및 사용 상황, 감상자의 선택적이고 순차적인 주의로 인해 생기는 의도하지 않은 해석의 가능성, 그리고 미학적인 관점, 효율성의 관점 및 감상자의 인지 부하를 고려한 설계 등에 대한 이해를 다루는 화용론의 수준에서 논의될 수 있다.

이상의 논의를 바탕으로 시각 언어의 구조와 개념을 2장에서 논의된 일반적인 언어학의 각 수준과 비교하여 정리하면 [표 3]과 같다.

[표 3] 언어학의 분야에 따른 시각 언어의 연구 대상
분류 시각 언어의 연구 대상
음성학 시각 도상의 크기
음운론
형태론 시각 도상의 모양, 이미지, 문자열
통사론 시각 도상들의 조합 (배치방법 등)
의미론 은유, 도식화, 관용적 표현을 통한 전체 의미 파악
화용론 적용 상황 및 사회적 맥락, 미학 및 효율성


5. 맺음말

시각 언어와 시각 문법은 컴퓨터 화면에 둘러싸인 오늘날의 역동적인 멀티미디어 환경에 있어서 과거 어느 때보다도 큰 영향을 미치고 있다. 동시 다발적으로 방대하고 다양한 정보를 접하는 시각 언어 환경에서는 문법적으로 불완전한 시각 문장으로 인해 잘못된 의사소통이 일어날 가능성이 매우 높다. 컴퓨터 화면 상의 사용자 인터페이스를 통해 대부분의 업무를 수행하는 상황에서, 이러한 가능성은 곧 사용자의 오류를 유발하는 원인이 될 수 있다.

본 문헌 연구를 통해 정리된 시각 언어의 개념은, 기존에 다양한 분야에서 논의되어 온 시각 도상의 언어적 속성에 대한 연구의 전제들을 통합한 것에 불과하다. 3장에서 인용된 시각 도상에 대한 연구들과 4장에서 인용된 시각 언어 개념에 대한 논의들에도 불구하고, 시각 도상의 언어적 요소들간의 위계와 상호 관계, 그리고 나아가서 시각 '문법'에 대한 실증적인 고찰은 전무하다고 볼 수 있다.

뚜렷한 기준 없이 설계자의 경험이나 주관, 심지어 선호에 의해 양산되고 있는 시각 언어들에 올바른 기준으로서의 시각 문법을 정립하기 위하여, 시각 언어에 대한 이러한 실증적 연구와 체계적 분석이 이루어져야 할 것이다.

 
9. 참고 문헌

Doblin, J. (1980). A Structure for Nontextual Communications. in Wrolstad, M. & Bouma, H. (eds.) (1980). Processing of Visible Language 2, Plenum Press: New York
Tufte, E. R. (1983). The Visual Display of Quantitative Information. Graphics Press.
Tufte, E. R. (1997). Visual Explanations: Images and Quantities, Evidence and Narrative, Graphics Press
Horn, R. E. (1999). Visual Language: Global Communication for the 21st Century, MacroVU Press
Pinker, S. (1994). Language Instinct: How the Mind Creates Language, Perennial
신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.