... and UX... and HTI... and the touch screen.
뭐 이런 길고 긴 제목을 붙이고 싶었으나. ㅡ_ㅡ;;

어쨋든, UI 업계에 전해오는 전설이 하나 있다. 전설이래봐야 지난 2000년에 있었던 일이고, 비밀스럽게 입에서 입으로 전해져 오는 것도 아니라 그냥 대놓고 웹사이트에 올라와 있는 내용이지만. 그 전설의 요지는 "이라크 전쟁이 잘못 디자인된 UI 때문에 일어난 건 아닐까?" 라는 거다.


때는 2000년, 미국 대통령 선거에서 있었던 일이다. (구글링 해보니 요 사건을 다룬 많은 웹사이트가 있다. 정치나 통계에 대한 자세한 사항은 관심있는 만큼 찾아보시기를... 난 그냥 주워들은 내용만 정리하련다) 몇 주일동안 주(州)별로 나뉘어 진행되는 선거에서 공화당 후보인 George Bush와 Al Gore는 아슬아슬한 표 경쟁을 벌이고 있었고, 많은 표가 걸린 Florida 주에서 이변이 일어났다.

미국에서는 매번 투표를 하고 나오는 사람들에게 "누구 찍었냐?" 물어봐서 실제로 개표가 끝나기 전에 예상결과를 보도하곤 한다. 이 '출구조사'는 전수조사가 아니기 때문에 100% 맞는 건 아니지만, 각 방송사들은 나름 적절한 수준의 표본조사를 하기 때문에 크게 틀리는 적은 없다. 투표의 큰 향방을 결정하리라 생각했던 Florida주의 투표일, 모든 방송사는 출구조사를 통해 Al Gore의 낙승을 보도했다. 그런데 개표 결과가 나와보니 George Bush가 근소한 차이로 이긴 것이다.

이 이상한 사건의 원인은 표를 바꿔치기 했다든가 모종의 조작이 있었다든가 하는 문제가 아니라, 바로 잘못된 UI에 있었다.

미국의 선거는 투표용지를 특정한 기구에 끼워넣고, 찍고 싶은 후보자의 옆에 구멍을 뚫어 제출하면 나중에 기계로 이 구멍뚫린 위치를 확인해서 투표수를 산출하는 방식을 사용하고 있었다. 특히 끼워넣을 투표용지는 지역마다 다른 디자인을 쓰는데, Palm Beach라는 지역에서 사용한 투표용지가 문제였다.

2000년 미국 대선, 플로리다 Palm Beach County에서 사용한 투표용지

이 투표용지를 기계에 꼽아넣고 보면 이런 시각이 된다. 이렇게 양쪽으로 나뉘는 형태 때문이 이 형태의 투표방식을 "butterfly ballot"이라고 한다고 한다. 만일 내가 왼쪽의 두번째 후보자, Al Gore를 찍고 싶다고 생각하고, 어느 구멍을 뚫을지를 생각해 보자. 빨리. -_-+

Butterfly Ballot used at Palm Beach County CA, 2000

Al Gore를 찍고자 하는 사람은 4% 확률로, 2번째 구멍을 뚫게 되어 있다.
사용자 삽입 이미지
실제로 Al Gore를 찍기 위해서 뚫어야 하는 구멍은 3번째이고, 2번째 구멍을 뚫은 사람은 Pat Buchanan에게 표를 던지게 되는 것이다. 설명하자면 오른쪽 그림과 같다. ... 이건 UI 쟁이가 늘 그렇듯 겁주려고 하는 소리가 아니다. 수치의 겸손함에서 볼 수 있듯이 이건 실제로 잘못 설계된 UI에 의한 오류이고, 그 대상이 하필이면 한 나라의 내노라하는 통계학자들이 대거 눈에 불을 켜고 있는 대통령 선거였다는 것이다.

그 통계학자들 덕택에, 이 특별한 UI 오류 사례는 다양한 통계적 분석이 가해졌다. 그 중에 가장 인상적인 것은 아래의 그래프들이라고 생각한다.

Support Rates for Buchanan

위의 그래프에서 각 점의 위치는, 지역별로 전체 투표자 중에서 Buchanan에 기표한 사람의 비율의 수를 나타낸다. 투표자 수에 따라 가로 축으로 펼쳐져 있는 점들을 보면, 대부분 비슷한 정도로 Buchanan을 지지하고 있음을 보여준다. 단 한가지 예외가 있다면, 바로 그래프 맨 위에 찍여있는 Palm Beach County이다. 특별히 연고를 가지고 있지 않음에도 불구하고, 유독 이 지역에서는 '몰표'라고 해도 좋을 지지율이 나온 것이다.

Exit Poll vs. Actual Result on Buchanan votes

출구조사 - 언론에서 투표결과를 미리 예측하기 위해서 하는 - 결과와 실제 득표수를 보여주는 위 그래프는 더욱 드라마틱하다. 대부분의 지역(점)에서는 출구조사 결과와 실제 득표수가 큰 차이를 보이지 않았지만, Palm Beach에서만큼은 예측보다 훨씬 많은 득표가 Buchanan에게 쏟아진 것이다.

이를 근거로 Al Gore의 지지자들은 재개표를 요구했으며, 심지어 "원래 Al Gore를 찍고자 했으나 Buchanan을 찍은 것 같은 기분이 드는" 사용자들과 "Buchanan에 잘못 구멍을 뚫고 다시 Al Gore에도 구멍을 뚫어 무효표가 되어버린" 사용자들은 재투표를 주장하기도 했다. 그러나 줄이어 있는 구멍 중에서 몇번째에 구멍을 뚫었는지를 제대로 기억하는 사람도 없을테고, 사용자(투표자)는 그 순간 자신이 자신의 의도에 맞는 행위를 하고 있다고 생각했을테고, 이미 그렇게 구멍을 뚫린 투표용지는 법적으로 유효하기에 재개표에서도 같은 결과가 나올 수 밖에 없었다.

결국 주민 수가 많았던 Florida 주의 결과는 George Bush의 승리가 되었고, 그로 인해 2000년 미국 대선의 흐름이 결정적으로 기울어져 Bush가 대통령이 되고, 이라크 전쟁을 일으키고, 며칠 전까지 4000명의 미군과 그 몇배에 이르는 이라크 사람들을 죽게 하고, 아직도 지구 한구석에서 수상쩍인 의도를 가진 전쟁이 계속되고 있는 것이다.

여기까지가 (미국 정치에 대한 나의 무지로 인해 왜곡된) 전설의 요지이다.


한가지 실망스러운(?) 것은, Florida 주에서 Al Gore가 이겼더라도 전체 득표수로는 Bush가 아슬아슬하게 이겼을 것이므로 사실 UI가 역사를 바꾸거나 하지는 않았다는 것이다. 결국 이 어마어마한 무대에서 벌어진 한바탕의 촌극은 그냥 '어쩔 수 없지 뭐'라는 식으로 끝나 버렸다. Buchanan에 표기된 수천장의 Al Gore 표는 무기명 투표와 순간의 착각과 망각 속에 그냥 사라져 버린 것이다.

하지만 이 사건은 잘못 설계된 종이 한쪽이 얼마만한 낭비를 일으킬 수 있는지를 전 세계에 알리는 좋은 사례가 되었고, 그 무대의 대단함으로 인해 다양한 분석과 온갖 음모론의 소재가 되었다. 아래의 파일은 당시에 일어난 일련의 사건들(투표→방송→개표→소송→재개표)을 잘 정리한 파일이다. (예전에 저장해 둔 파일인데, 본래의 웹페이지는 물론이고, 여기에 포함된 많은 링크가 지금은 대부분 연결되지 않는다. 자세한 내용은 Wikipedia나 Google을 참고하시길...)

[○] 게다가 더 황당했던 것은...



하지만... 이야기는 또 여기서 끝나지 않는다.

사실 이 구닥다리 'UI 괴담'을 다시 끄집어 낸 이유는, 최근 눈에 들어온 기사 때문이다. 지난 2주동안 이 글을 쓰다말다 하고 있으니까 좀 지겨워져서, 그냥 여기서부터는 요점만 간단히 말하도록 하자. 다음에 기가 뻗치면 더 보완하고. (경험상, 그런 적은 한번도 없지만 -_-;;; )

2000년의 그 왠지 찜찜한 대통령 선출 이후에, ACM을 중심으로 한 미국의 컴퓨터 산업에서는 대선에 터치스크린을 도입하려고 무진 애를 써왔다. 터치스크린은 전국에서 동일한 UI를 통해 선거할 수 있게 해주고, 자신이 선택한 사람을 보여줄(feedback) 수도 있고, 투표와 동시에 개표로 연결될 수도 있으므로 여러가지로 믿을만하다는 것이다. 당연히 해킹에 대한 문제 제기와 다른 많은 문제들(전원, DB, 통신, 기타등등)이 몇년에 걸쳐 제기되었고, 또한 보완되었다. ACM 소식지에서 electronic voting machine이라는 소리가 안 나온지가 1~2년 되었으니, 최소한 5년이 넘도록 그런 논쟁은 계속되었고, 마침내 몇번의 시도가 있었던 것이다.


그런데 위의 기사에서는 그 제목처럼, 여전히 터치스크린 방식의 투표에 대한 보안이슈가 제기되고 있다. 종이에 표시를 하거나 구멍을 뚫는 방식이 비록 구시대적이고 다소 비효율적이긴 하지만, 여전히 가장 안정적이고 믿을만한 방법이라는 데에 있어서는 컴퓨터 전문가들도 두 손을 든 셈이다.




8년전 잠깐이나마 UI가 세상의 중심이었던 사건(얼마나 그렇게 생각했는지는 모르겠지만)을 목격하고, 그로 인해 시작된 첨단기술의 상용화 노력이 이제와서 무위로 돌아가기까지의 과정을 보면서, UI 혹은 HTI의 역할이라는 것에 대해서 많이 생각하곤 한다.

... 그냥 그렇단 얘기다. 이젠 그냥 끝내고 싶은 마음에 애당초 무슨 생각으로 시작했는지조차 모르겠다. 무엇보다 터치스크린의 micro-usability에 대한 이야기는 또 다음으로 미뤄야될 듯...  ㅡ_ㅡ



P.S. 앞에서 말했듯이, 정치나 통계에 대한 정확한 이야기는 인터넷에서 보정해서 이해할 필요가 있다. 난 그냥 당시에 이해한 만큼만 정리했을 뿐이다. (그래도 통계는 열심히 공부할 가치가 있는 분야이다)


P.S. 한참 논쟁이 시끄러울 무렵, Amazon.com의 UI designer들이 "그럼 웹사이트를 이렇게 만들어볼까나?" 라는 장난을 친 적이 있었다. 당시 웹사이트에 올라온 페이지는 아래 그림과 같다.
Amazon.com joking on Florida 2000 Election


P.S. 통계학자들은 이 사건이 통계와 실제 세상과의 연관을 보여주는 좋은 사례라고 생각했고, 아래와 같은 소개자료를 만들기도 했다.
Statistics & Floria Election 2000


P.S. 여기까지.

당시에 스크랩해 두었던 다른 자료들은 이미 너무 오래됐거나, 앞에서 링크한 Wikipedia 페이지에 더욱 잘 설명되어 있다. 적어도 6년 전에 끝내야 했던 숙제다. 그동안 강의에서 몇번 인용한 외에는 그냥 썩혀둔 것을 때늦은 기사를 핑계로 다시 끄집어 낸 게 미안할 따름이다. =_=;

신고
Posted by Stan1ey

과학기술부에서 2030년의 미래기술 시나리오를 발표했다. 2008년의 한 남자가 식물인간 상태에서 2030년 다시 깨어나서 겪는다는 이야기로, 자연스럽게 현재의 시각으로 미래의 기술에 대한 의문점을 풀어나갈 수 있는 구도로 되어 있다.

이런 미래 시나리오를 만드는 것이 한때의 업무이었던지라 (도대체 난 뭐하는 놈이었던 걸까 -_-;; ) 좀 열심히 들여다 봤는데, 의외로 (ㅈㅅ) 상당히 잘 만든 시나리오라는 생각이 들었다. 공무원 아저씨들이 여기저기 교수들한테 떠넘겨서 되는대로 짜집기한 것 아닐까 하는 선입견이 들었던 게 사실인데, 무작정 훌륭한 기술 개발로 인한 장미빛 미래를 제시하는 게 아니라, 기술 도입까지 사람들이 겪은 이야기, 도입되지 않은 기술, 그리고 기술이 상용화됨으로써 생겨난 문제까지를 제법 탄탄한 논리로 전개하고 있다. 그리고 무엇보다 공학자들의 시각 뿐만 아니라, 언급되는 내용에 대해서는 사회나 교육문제, 정치, 경제 이슈에 전쟁 등 반사회 이슈까지도 골고루 다루고 있다. 그리고 주인공이 미래의 심리학자라는 것도 재미있는 포인트라고 생각한다.

Illustrations from Future Scenario "2008년 남자 2030년 여자"

음... 비록 사용된 시나리오의 삽화들이 다소 조악하고, 제목도 하필이면 <2008년 남자, 2030년 여자>라는 식으로 마치 20년 전의 남자가 와서 붙인 듯한 제목이지만, 그 내용만큼은 지난 10여년간 나온 어떤 미래 시나리오보다 탄탄하다는 생각이다. 이런 거 PDF로만 배포하지 말고 배우들 써서 영화 한 편 만들어도 되겠다.

진심이다. SF를 좋아하는 사람으로서.



그런데, 솔직히 이런 미래 예측이라는 행위 자체에 대해서는 어쩔 수 없이 조금 부정적이다. "The best way to predict the future is to create it." 이라는 Peter Drucker의 멋진 문구에 편승하려는 게 아니라, 그저 이런 게 참 부질없는 일이 아닐까 하는 거다. 사실 미래 예측 시나리오는 상대방을 현혹시키기 위해 사용되는 이야기일 뿐이다. 그 상대방은 일반 대중이 될 수도 있고, 반대로 조직의 보스가 될 수도 있다. 어느 쪽이든 제시된 시나리오의 구체적인 내용을 파고들 정도의 지식이 없다면, 결국 그 환상적인 미래상에 굴복할 수 밖에 없는 것이다. 위의 경우처럼 대대적으로 만들어진 시나리오가 아니더라도, 온갖 SF 영화들 덕택에 기술의 발전가능성이 거의 무한대에 가까워 보이는 요즘은 기술적 근거고 나발이고 없는 전설 속의 동물 같은 디자인만으로도 많은 사람이 현혹되어 괴소문에 시달리는 것을 본다.

이원복 화백은
미래예측 대부분이 엉터리다 - 이원복
본인의 저서에서, "미래예측, 대부분이 엉터리다!" 라는 내용을 근거와 함께 주장하고 있다. (근데 이거 어디에서 발췌한 건지 기억이 안 난다.. -_- 어쨋든 오른쪽 그림 외에도 내용이 더 있으니 꼭 원본 사서 보시기를) 사실 난다긴다 하면서 주목받고 있는 현대의 점쟁이들("미래학자")도 과거에 한두가지 사실을 우연히 맞춘 것을 과장해서 포장하고 있을 뿐, 실제로 그 사람이 주장한 내용을 모두 취합해서 정리해 보면 그다지 높은 확률은 아니다. 다시 이원복 화백의 말에 따르면, "미래예측이 맞을 확률이 20%, 동전을 던지면 50%... 차라리 동전을 던지는 것이 30%나 확률이 높다"... 랄까. (물론 미래예측의 경우의 수는 무지 많지만 동전은 앞뒷면 뿐이라는 것은 감안해야 하겠지만.. -_-;;; )

일례로 1965년쯤 신문에 실린 것으로 보이는, 한때 인터넷을 돌아다녔던 이 카툰을 보면, 기술의 발전 속도와 사회의 수용 속도라는 것이 얼마나 종잡을 수 없는가를 심각하게 고민하게 된다.
Vision of year 2000 from 1965 newspaper

전파신문은 web 이라고 치고, 소형 TV 전화기도 3G 화상통화가 어쨋든 상용화되었다는 것으로 통과. 아, 그리고 저런 형태는 아니지만 가정용 청소로봇도 제법 많이 팔렸군. 하지만 나머지 내용은 아무리 "컴퓨우터의 도움"이 있어도, 인간과 사회와 경제 시스템이 따라주지 못한 경우랄까. 뭐, 2000년대라는 것이 2999년까지를 말한다고 한다면야 아직 모르는 일이지만, 2008년 현재 나름 IT 강국이라고 자평(-_-;;)하는 한국의 과학기술부 시나리오에도 똑같은 내용이 나온다는 것은 참 재미있는 일이다.

하지만 더 "재미있는", 하지만 재미있을 수만은 없는 사실이 있다. 위 1965년과 2008년의 미래예측 시나리오에 나오는 내용 중에서, 어떤 것은 심지어 1900년에도 예측되었다는 것이다. (출처: Paleo-Future Blog )

Moving Pavement

움직이는 도로: 1965년 시나리오에도 있었던 내용이다.


Weather Control Machine

날씨 조절: 2008년 시나리오에도 나오는 내용이다.



이 엽서 그림들은 1900년도의 독일 초콜렛 회사에서 넣어주던 것이라 하니 심각하게 받아들일 수는 없겠지만, 그래도 1900년도에 예측한 것이 1965년에, 2008년에 다시 예측된다는 것은 마치 자신에게 떨어진 숙제를 미래로 넘기는 것 같은 느낌이랄까. 1900년도의 예측들도 1965년의 것과 마찬가지로 일부 기술의 발전으로 해결된 것도 있고, 그 예측대로는 아니지만 보다 뛰어난 기술적 해결안으로 문제가 해결된 사례도 있다. 이를테면 전파신문보다는 web이 여러가지 측면에서 나은 해결안이고, 다음 그림의 X-ray보다는 적외선 영상이 훨씬 효과적이다.

Police X-Ray Surveillance Machine



미래 예측이 어떤 식으로든 미래에 영향을 미친다는 것은 이론적으로도 실제로도 부정할 수 없는 사실이다. 하지만 요즘같이 미래 예측을 위한 전문직종이 생기고, 기업들마다 미래 '비전'을 제시하는 시나리오를 만들어내는 것은 조금은 과도해 보이는 것 또한 사실이다. 왜 잘 만들어진 하나의 시나리오를 바탕으로 서로 살을 붙여 나간다든가 하지 않는 걸까? 매번 다시 모여서 다시 아이디어를 내고 다시 조합해봐야 나오는 것들은 비슷비슷하고, 그게 맞을 확률도 똑같이 낮을 텐데.

어쩌면 그 대상이 회사의 미래상이 됐든 국가의 정책이 됐든, 이 모든 게 결국은 홍보 활동의 일환이기 때문일지도 모르겠다. 사실 맞는지 안 맞는지는 중요한 게 아니고, 이제까지의 시나리오들처럼 안 맞는 것은 다음 세대로 넘겨버리면 만사 오케이~ 라는 마음이라면 ㅡ_ㅡ;;; 뭐 그로 인해서 '열심히 하고 있구나'라는 이미지만 심어주는 걸로 소기의 목적은 달성한 거겠지.



... 애당초 왜 글을 쓰기 시작했는지 잊어먹었다. 제목에는 왜 UI를 넣었더라? -_-;
... 그냥 급 정리하고 배째자. 배고프다. ㅡ_ㅡ;;

신고
Posted by Stan1ey
영상인식은 가장 기대되는 HTI 관련 기술 중 하나이다. 예전에 어느 세미나에선가 발표자가 "미래의 모든 기술은 영상인식을 바탕으로 할꺼다"는 말에 크게 공감한 적도 있었으니까. 물론 여기서 영상인식은 2차원 공간에서의 정보처리에 대한 것이고, 그 논리대로라면 멀티터치 방식도 영상인식 기술을 활용한 게 된다.

어쨋든, 이 영상인식 기술들이 '컴퓨터 편한 기준에 의해' 평가되고 개발되었기 때문에 인간과 같은 능력을 가질 수 없을 거라는 연구가 MIT의 신경과학자에 의해서 발표되었다고 한다.

이를테면 다음과 같은 그림에서, 사람은 이 그림들이 모두 같은 물체(자동차)를 다른 각도와 크기로 찍은 사진이라는 것을 알지만, 영상인식으로는 이러한 것을 알 수가 없다는 것이다.
a Computer Vision Challenge

사실 이러한 문제 제기가 과히 새로운 것 같지는 않다. 이미 복잡한 데이터의 여러 연속된 측면을 분석하여 하나의 entity로서 인식하는 방법이 영상인식에 적용되고 있기도 하고, 여러 각도에서 본 물체를 각각 학습해서 하나의 물체로서 인식하는 방법도 몇몇 분야에서 실용화되어 있다.

하지만 여전히, 이 기사의 말미에 언급된 대로, 지금의 연구 방법으로는 인간만큼의 시각적 능력을 갖기 어렵다...는 것은 아마 영상인식 뿐만 아니라 인공지능을 연구하는 모든 사람들에게 숨기고 싶은 상처이거나, 가장 커다란 도전과제가 아닐까.

그럼에도 불구하고, 화이팅~!!!
신고
Posted by Stan1ey
'캐나다 최초'의 안드로이드를 만든 중국계(아마도) 연구자가, 사실은 로봇 연구에 있어 '세계 최초'의 업적(?)을 세웠음이 드러나 구설수에 오르고 있다.

우선 닥치고 동영상 한편.
 

[○] 다 봤으면 한번 생각해보자.



... 뭐 그래도, 이 홍보용 사진은 참... 만든 사람의 취향을 참 잘 드러내고 있는 것 같다. 국경을 뛰어넘은 덕후의 힘! May the (police) force be with you!
사용자 삽입 이미지

신고
Posted by Stan1ey
캠릿브지 대학의 연결구과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배되열어

있는가 하것는은 중하요지 않고, 첫째번와 마지막 글자가 올바른 위치에 있것는이

중하요다고 한다. 나머지 글들자은 완전히 엉진창망의 순서로 되어 있지을라도

당신은 아무 문없제이 이것을 읽을 수 있다. 왜하냐면 인간의 두뇌는 모든 글자를

하나 하나 읽것는이 아니라 단어 하나를 전체로 인하식기 때이문다.





예를 들어, 아래 글을 읽어보시면... ↓


























캠브릿지 대학의 연구결과에 따르면, 한 단어 안에서 글자가 어떤 순서로 배열되어

있는가 하는것은 중요하지 않고, 첫번째와 마지막 글자가 올바른 위치에 있는것이

중요하다고 한다. 나머지 글자들은 완전히 엉망진창의 순서로 되어 있을지라도

당신은 아무 문제없이 이것을 읽을 수 있다. 왜냐하면 인간의 두뇌는 모든 글자를

하나 하나 읽는것이 아니아 단어 하나를 전체로 인식하기 때문이다.




이거인줄알았죠? 다시 첫번째글을보세요..글자들이 이상하죠?
전 두번째글 볼때까지 첫번째 글이 뭐가 이상한지 몰랐답니다
신기하네요

[추가]--------------------
아래는 원문?인 영어 이미지... 인터넷에서 또 누군가 찾아서 올려놓았다. -_-;;
Reading Test

... 이건 상당히 오타로 보인다. 모국어의 차이인가 -_-


[추가2]----------------------------------------
이거 올린 사람의 홈페이지인 듯... 각 국의 사례가 포함되어 있다.
http://www.mrc-cbu.cam.ac.uk/~mattd/Cmabrigde/
신고
Posted by Stan1ey
이것은 대학에서 관련 강의를 듣고 기말고사로 제출한 글이다. 앉은 자리에서 3시간동안 손으로 써내려간 글이니만큼 짜임새가 있거나 내용에 깊이가 있을리 없다. (나의 신경망에 대한 전문성이 무식에 가까운 것을 생각해보면 분명히 그렇다) 그럼에도 불구하고 굳이 이 글을 올려두는 이유는, 내가 스스로 자주 읽어보면서 반성하고 다른 아이디어들과 함께 짜맞추기 위해서이다. (2007.1.9.)



시각언어의 학습과 이해에 대한 신경망 관점의 고찰

인간이 어떤 매체를 통해 시각적 자극을 접하고 그 의미를 파악하는 것이 일종의 커뮤니케이션 활동이라고 한다면, 이에 사용된 내용인 시각 자극은 '언어'라고 불리는 범주에 들어가며, 즉 '시각 언어'라고 불릴 수 있을 것이다.

시각언어는 기존의 일반적인 '언어'와는 많은 부분이 다른데, 시간축보다 공간축의 위상이 더 큰 의미를 갖는다거나, 언어의 구성이 음소나 의미의 표현보다 형태, 색상, 위치 등으로 훨씬 더 다차원적이라는 것 등이 대표적이다.

기존의 시각언어는 그래픽적인 작품으로서 일방향적으로 '작가'가 '관람자'에게 의미를 전달하는 데에 주안점을 두면 됐지만, 오늘날의 시각언어는 GUI로 대변되는 사용자 인터페이스의 주요 수단으로, 시각언어를 통해 주어진 의미를 사용자 - 관람자 - 가 제대로 파악하지 못할 경우 잘못된 사용자 반응(조작 오류)을 야기하여 경우에 따라서는 심각한 사고의 원인이 되기도 한다. (계기의 내용을 잘못 판단하여 벌어진 항공기 사고나 원자력 발전소의 누출위험 등이 그렇다.)

기존의 시각언어 생성은 설게자의 직관에 그 세부적인 판단과 의사 결정을 맡기고 사후평가를 통해 이를 검증 및 수정했으나, 이러한 방법으로는 많은 오류를 그 중요도와 관계없이 놓칠 수 있다는 것은 확률적으로 자명하다. 따라서 시각언어의 학습 및 이해에 대한 세부적인 원리 - 시각언어의 어휘, 문법 등 - 의 공통분모를 알 수 있다면 보다 논리적으로 구체적인 근거를 포함한 설계와 검증이 가능할 것이다.


신경망 연구는 인공지능과 달리 뇌의 동작원리에 대한 고찰에 근거한 여러 수준의 모델을 제시해 왔다. 지난 한 한기동안 나름대로는 큰 용기를 내어 알쏭달쏭한 수학 공식과 생서한 이 분야의 철학들과 싸우면서, 본인은 '시각언어'라는 연구주제에 대해서 다음과 같은 두가지 주제에 대한 해답을... 아니 힌트를 얻고자 했다.

  (1) 시각언어는 실제로, 다른 일반적인 언어(말, 글)와 그 동작원리나
       구조, 구성, 혹은 다른 특징을 공유하는가?

  (2) 시각언어의 학습과 이해를 일반적으로 설명할 수 있는 신경망 모델은
       존재하는가?


(1) 시각언어는 다른 언어와 구성원리를 공유하는가?

"'시각언어'가 '언어'인가?"라고 다시 이해할 수 있는 이 의문에 대해서, 적어도 본인이 이해한 범위 안에서는, 해답을 얻기보다 오히려 이는 신경망 연구의 일차적인 고려사항은 아니라는 생각이 들었다. 많은 신경망 모델은 일련의 학습을 통해 내재적 분류기준을 세우고, 이 기준(뉴런 간의 연결강도의 총체)이 어떤 입력을 분류해낼 때 의도한대로 맞게 동작하는지에 관심을 갖는다. 이는 심리학에서 말하는 '지각'이나 '재인' 혹은 '분류화'에 대한 것으로, 언어적 관심영역인 의미나 논리 영역에 대한 설명과는 거리가 있다.

그러나, "우선 언어가 뭔가?"라는 데에 생각이 미치면 얘기가 달라진다. 언어는 의미소와 그 연결방식에 대한 논리적 해석을 통해서 성립하며, 이 연결방식은 문자언어의 경우 <글자-단어-문장-맥락> 정도로 위계적인 체계를 갖고 있다. 또한 이 위계적인 체계는 그 구조 안에서 매우 유연함을 갖고 있으며, 따라서 어순, 강세, 사투리, 액센트 등의 변화에 매우 강인하다. (한국말을 갓배운 외국인과의 대화를 연상할 수 있다.)

신경망의 Neo-Cognitron 모델이 광학적 문자인식을 대표적인 사례로 제시하고 있으나, 그 다층적이고 위계적인 구조를 글자가 인식된 이후 크게 (아주 크게) 확장한다면 단어의 인식이나 문장의 구성을 인지하고 맥락 하에서의 의미를 파악하는 것 또한 Neo-Cognitron 모델로 설명할 수 있을 것이다. (물론 개념적이고 현 단계에서는 구현과 검증이 어렵겠다.) 그렇다면 이 모델은 '시각언어'와 '언어'의 공통적인 구성원리를 설명하는 모델이 아닐까?

여기에는 한가지 문제가 남는다. 그렇다면 - Neo-Cognitron 모델로 시각언어가 언어적 속성을 갖고 있다고 설명할 수 있다면 - 세상에 언어가 아니라고 말할 수 있는 인지활동이 과연 있겠느냐는 것이다. 이는 신경망의 (단층 Perceptron과 같이 단순한 모델을 제외한다면) 다층적 속성과 언어의 구조적 측면을 구분해서 볼 수 있는 새로운 신경망 모델을 필요로 하는 논의가 된다.


(2) 시각언어 활동을 설명할 수 있는 신경망 모델은 무엇인가?

시각언어의 학습과 이해는 한가지 신경망 모델로 설명되지 않으며, 이는 신경망 연구가 인간(또는 다른 생물)의 행동을 설명할 때 취하는 사례의 범주를 봐도 알 수 있다.

눈에 비친 물체의 외곽을 감지해서 구분해낼 수 있는 망막세포의 지각활동은, 측면억제를 통한 자기조직화 모델인 SOM의 사례를 통해 설명할 수 있을 것이다. 또한 색상을 구분하고 명명할 수 있으며 그 해상도에 개인차가 있는 것은 다층 Perceptron 이후 발현한 많은 모델들의 초기 학습값과 지역 최소값 구렴의 관계로 이해될 수 있다. 일단 분류 및 학습이 이루어진 경우라 할지라도 오랜 시간에 걸쳐 익숙해진(annealing) 경우 연상이 강해지는 것은 연상기억(associative memory)의 동작원리와 무관하지 않을 것이다.

즉, 시각언어의 학습과 이해에 있어서 지각-인지-기억-인출-이해 등의 각 단계는 마치 Neo-Cognitron의 여러 층처럼 구성되어 있으면서 그 층에 부여된 역할에 따라 다른 신경망 모델처럼과 같이 (혹은 몇개의 모델의 혼합처럼과 같이) 동작한다고 볼 수 있다.


그러나 이러한 비유적(?) 설명에서도 해결할 수 없는 하나의 문제는 시간 축에서의 신경망 활동에 대한 것이다. 신경망 연구의 모델들은 학습(종종 재학습 개념이 있는 ART와 같은 모델이 있기는 하지만)이 완료된 후의 분류 판정을 독립된 하나의 활동으로 정의하지만, 실제 인간의 활동에 있어서 학습이 충분히 완성되거나 분류 판정에 필요한 시간이 (그것필요한 시간이 매우 짧더라도) 충분히 주어지지 않는 경우가 많다.

시각언어의 이해를 통해 행위를 결정해야 하는 사용자 인터페이스 상황에서는 특히 부족한 인지자원과 시간만으로 이러한 판단을 해야하므로, 기존의 완성된 신경망 구조(및 연결강도)가 아닌 실시간으로 학습과 분류가 이루어지는 모델이 고안될 필요가 있다.

새로운 모델은 학습의 중간에 분류 판정이 이루어지거나 새로운 입력이 (의도적이든 아니든) 들어오는 경우를 포괄해야 하며, 그것이 신경계 개념적인 다층구조 중에서 어느 층에서든 이루어질 수 있도록 해야 한다. 이를 통해서 신경망 연구는 정적인 세상에 대한 학습과 판단이 아닌, 실제의 동적인 세상에서의 실시간 학습과 판단, 그리고 무엇보다도 인지활동 중의 외부자극에 의한 오류를 설명할 수 있게 되리라 생각한다.



... 여기까지다. 굳이 교수님께 답안지를 요청해서 적어봤지만, 이건 뭐 -_- 정말 내용이 없어도 이렇게 없었나 싶다. 게다가 뒤로 갈수록 악필에 오타(손으로 썼는데!)까지... 결국 몇개는 못 참고 고쳤다. 아무도 못 보게 구석에 잘 짱박아 둬야지.
신고
Posted by Stan1ey

이 글은 2006년 봄학기에 기말보고서로 작성된 것으로, 내용은 엉망이지만 그래도 당시 시각언어에 대한 이런저런 참고문헌들을 모을 수 있는 기회가 되었다. 본문을 편집하는 데에만 너무 많은 시간이 걸려서, 각주를 넣을 여유가 없었으므로 상세한 내용은 원문을 참고해야 할 것이다.




1. 서론: 언어로서의 시각 도상(圖像)

대부분의 맥락에서, 언어는 구두 언어와 문자 언어를 의미하고 있다. 구두 언어는 말할 나위도 없이 인류 역사에 있어 가장 오래된 형식의 언어로, 사람들 사이의 직접적인 면대면 의사소통에 있어서 가장 중요한 역할을 해 왔다. 또한, 문자 언어 역시 그것이 발명된 이래로 내용의 기록, 저장, 공유가 가능하다는 장점을 통해 인류 역사에 크나큰 기여를 한 것이 사실이다.

그러나, 문자 언어의 발명 이전에, 구두 언어만큼이나 오랜 역사를 가지고 있는 인간의 의사소통 수단으로서 도상의 역할은 상대적으로 간과되어 왔다. 도상(圖像; icon)은 일반적으로 시각 매체를 통해 표현된 의미나 내용, 혹은 표현 그 자체를 가리키는 말로, 이는 단순한 도형이나 문장(紋章)이 나타내는 의미로부터 미술 작품이 표현하고 있는 다양한 관점을 해석하는 도상학(圖像學; iconology)의 연구 대상이기도 하다.  도상은 일반적인 의미의 시각화 작업물, 즉 '그림'으로부터 구분되는 개념으로, 그림이 특정한 대상의 생김새를 시각 매체를 통해 묘사하는 것에 그 목적이 두고 작업한 예술 작품인 반면, 도상은 그 작성자가 감상자에게 전하고자 하는 분명한 의도를 가지고 작업한 의사소통의 수단이라고 보아야 할 것이다.

본 연구에서는 문자 및 구두 언어에 대하여 도상으로 표현된 시각 자극의 언어적 특성을 기존 언어학 및 시각 도상에 관한 다양한 문헌을 검토 비교함으로써 조망하고자 한다.


2. 언어 및 언어학에 대한 리뷰

언어는 의사소통을 위한 상징과 그 구성 원칙의 체계로서, 이때 상징은 어휘의 기본 요소, 즉 어휘소(lexeme)이며 구성 원칙은 문법(grammar)이 된다.  사용되는 언어는 문화권과 지역 별에 따라 매우 다양하지만, 언어를 습득하고 사용한다는 것 자체는 인간에게 있어 매우 일반적인 현상이다. 인간은 의식적인 노력이나 정규교육 없이 자연스럽게 언어를 습득하며, 앞서 언급한 어휘소나 문법에 대한 체계적인 이해가 없이도 언어를 전개할 수 있다. 이와 같은 인간의 언어습득 능력은 개인에 따른 차이가 없기 때문에 정보처리나 지능적 행동에 필요한 보다 일반적인 능력들과 구분되며, 따라서 인간 뇌의 생물학적 구조로 여겨지기도 한다.  머리말에 언급했듯이 일반적으로 인간의 언어는 구두언어(verbal/spoken language)와 문자언어(written/ textual language)를 의미하지만, 때로는 수화, 점자 등 전혀 다른 체계를 사용하는 언어도 있다.

언어의 다양한 유형에도 불구하고, 체계성, 자의성, 상징성 등의 특징(property)들은 공통적으로 발견된다. 즉, 해당 사회 안에서 통용되는 일관된 문법을 적용함으로써 보다 세밀한 의미를 전달하고 이해할 수 있으며(언어의 체계성), 사회적으로 최소한의 합의(소수 구성원들 사이의 은어를 포함하여)를 얻을 수 있다면 임의의 단어에 임의의 의미를 부여할 수 있으며(언어의 자의성), 경우에 따라 실 세계의 현상을 그대로 모사하는 경우(예: "야옹~")도 있는 것이다(언어의 상징성).  체계성은 문법이라는 형태로 언어의 기본 요소가 되며, 자의성은 어휘의 다양성과 새로운 어휘의 생성 가능성을 통해 사회 및 문화의 발전에 따른 언어의 확장을 가능케 한다. 또한 언어의 상징성은 사회적으로 정의된 어휘를 사용하지 않더라도 자연적으로 존재하는 실체에 대한 의사소통이 가능하게 한다.

인간의 언어 능력은 광의의 언어 능력(faculty of language in broad sense; FLB)과 협의의 언어 능력(faculty of language in narrow sense; FLN)으로 구분하여 논의되기도 한다. 이때 협의의 언어 능력은 언어 자체를 이해하기 위한 추상적인 문법 연산 능력이며, 광의의 언어 능력은 협의의 언어 능력 외에도 언어를 통한 의사소통을 직접적으로 수행하기 위한 능력을 포함하는 개념이다. 광의의 언어 능력에는 감각기관을 통해 언어를 인지하거나 표현기관(발성기관 등)을 통해 언어를 표현하는 능력과, 언어를 통해 표현된 개념을 이해하거나 자신의 의도에 맞게 언어를 구성하는 능력이 포함되어 있다. 인간의 언어 능력에 대한 개략적 구조는 [그림 1]과 같다.

언어 능력의 개념적 구조

[그림 1] 언어 능력의 개념적 구조


앞서 언급한 일반적인 언어의 범주에 의거하여, 일반적으로 언어학은 [표 1]과 같이 몇가지 수준으로 분류되며 , 이는 언어학의 관심 분야들을 나타낸다.

[표 1] 언어학의 각 분야
분류 연구 분야
음성학 음성을 과학적으로 연구하는 학문으로, 발성기관의 조음 과정, 발성된 음성이 전달되는 과정, 음파가 귀를 통해 지각되는 과정 등을 다룬다.
음운론 특정 개별 언어 또는 여러 언어의 소리 체계를 연구하는 분야로, 주어진 언어 내에서 또는 범언어적으로 소리가 어떻게 기능하는가를 기술한다.
형태론 단어의 어형(語形)변화와 구조를 다루는 문법 연구 분야이며, 어형론이라고도 한다. 단어들이 모여 어떤 의미를 이루는 데 있어서 필요한 구조를 연구한다.
통사론 단어가 문장을 이루는 방법과 규칙, 반복적으로 드러나는 관계에 대한 연구로, 올바른 사례를 제안하는 규범주의적 접근과 실제 사례를 체계화하는 기술주의적 접근이 있다.
의미론 어휘나 문장, 글의 의미를 연구하는 분야이다. 언어를 이루는 요소의 분석에 의한 이론적 접근과, 행동 실험이나 뇌활동 촬영 기법을 통한 실증적 접근 방법이 있다.
화용론 발화자의 입장에서, 그 의도가 표현된 문장에서 제대로 전달되도록 하는 방법에 대한 분야로, 전달 시의 맥락과 환경에 대한 이해가 중요하다.


3. 시각 도상의 언어적 속성

본 연구에서 다루는 시각 도상은 모든 종류의 매체에서 다뤄지는 의미를 갖는 개개의 시각 자극, 혹은 복수의 시각 자극이 합쳐진 종합적인 시각 자극이다. 시각 도상이 갖는 의미는 감상자가 이를 해석하는 과정에서 인식되며, 이는 작성자가 의도한 것일 수도 있지만, 경우에 따라서 그렇지 않을 수도 있다.

시각 도상은 그것이 내포하는 의미에 따라 세 가지로 분류될 수 있다. 첫째, 시각 도상이 특정한 하나의 개념을 표상하도록 작성된 경우 이는 ideogrammatic 속성을 갖는 시각 '단어'로서 상표, 표의문자(한자 등), 교통표지, 깃발 등을 포함한다. 둘째, 시각 도상이 주어진 맥락 하에서만 유의미한 표현을 가질 경우 이는 diagrammatic 속성을 가지며, 시각적인 방법으로 가장 효과적으로 표현될 수 있는 도표, 그래프 등이 포함된다. 셋째, 시각 도상을 통해 현실의 모습을 재현하고자 할 경우 이는 isogrammatic 속성을 갖고, 그림, 스케치, 사진, 삽화 등 광범위한 분야의 기법들이 포함된다. 시각 도상, 혹은 시각적 메시지에 대한 이러한 분류와 구체적인 사례는 [표 2]의 (a), (b)와 같이 정리될 수 있다.
 
[표 2] 비문자 의사소통의 구조
사용자 삽입 이미지

(a; Left) Matrix of information messages / (b; Right) Restructured matrix of information messages


이러한 세 가지 시각 도상의 속성 중에서, ideogrammatic 속성은 기존 개념에 대한 표상으로서의 특성을 반영하므로 이는 기호학의 영역에 포함된다고 할 수 있다. 기호학적인 견지에서, 어떤 시각 도상을 제시함으로써 특정 개념을 표현하는 방식에는 크게 세 가지가 있을 수 있다. 첫째, 대상과 유사한 시각 자극을 제시함으로써 해당 개념을 떠오르게 하는 것으로 이는 아이콘(icon) 으로서 기호를 사용한 것이다. 반면에, 해당 개념을 직접 표현하고 있지는 않지만 실 세계에서 직접적인 관련이 있는 시각 자극을 제시하여 전달하고자 하는 개념을 유도하는 것은 지표(指標; index)로서의 기호를 사용한 것이다. 셋째, 전달할 개념의 실제 모습과 관련 없이 자의적으로 만들어졌으나 사회적 관습이나 규약에 의해 의미가 될 경우, 이는 상징(象徵; symbol)으로서의 기호를 사용한 것이다.

시각 도상의 ideogrammatic 속성에 대한 기호학적 분류

[그림 2] 시각 도상의 ideogrammatic 속성에 대한 기호학적 분류


이와 같이 ideogrammatic 속성을 갖는 시각 도상의 세 가지 유형은 [그림 2]과 같이 대상(object), 해석소(interpretant)와 표현체(representamen) 사이의 관계로 도식화될 수 있다. [그림 2]의 (a)는 아이콘, 지표, 상징에 해당하는 대상(O)-해석소(I)-표현체(R) 간의 해석의 흐름이며, (b)는 '불'을 상징하는 기호의 각 유형을 보여주고 있다. 즉, 불의 형상을 표현한 기호인 첫 번째 이미지는 아이콘에, 연기로 불을 나타낸 두 번째 이미지는 지표에, 불을 의미하는 중세의 화학기호인 세 번째 이미지는 상징에 해당한다.

두 번째 속성인 diagrammatic 속성을 갖는 시각 도상은 상대적으로 단순한 형태로 이루어진 시각 자극들을 전달하고자 하는 의도에 따라 구조적으로 배치하고 변형시킴으로써 함으로써 각각의 시각 자극이 갖는 의미의 단순한 조합보다 많은 의미를 표상한다.

각각의 시각 자극은 반복적으로 사용되거나, 서로 비교되어 사용되거나, 각각이 독립적인 표상으로서 서로 다른 의미를 가질 수 있다. 이러한 시각 자극은 1차원이나 2차원, 경우에 따라 가상적으로 모사된 3차원 공간에 배열됨으로써 해당 위치 좌표의 특징을 설명할 수 있다. 또는 시간 축에 따라 배열됨으로써 특정한 정보가 시간에 따라 변하는 모습을 표현할 수도 있다. 이상과 같은 공간 혹은 시간 상의 배치는 [그림 3]에서 보는 것과 같이 함께 사용되어 시간에 따른 공간의 이동 및 특성의 변화를 나타낼 수 있으며, 동시에 각 상태를 서로 비교할 수 있도록 할 수도 있다.

나폴레옹의 진격

[그림 3] 나폴레옹의 진격


세 번째 속성인 isogrammatic 속성을 갖는 시각 도상은 실 세계에 존재하는 시각적 경험을 있는 그대로 묘사하거나 가상적으로 있음직하게 표현함으로써 만들어지며, 작성자는 감상자에게 전달하고자 하는 내용, 의도 및 목적에 따라 이를 재구성할 수 있다. 실존하는 시각적 경험을 묘사하는 것은 작성자의 미학적 안목과 능력, 혹은 사용되는 기법이나 기술에 따라 크게 좌우된다. 그러나, 이러한 시각 도상이 의사소통의 수단, 즉 도상으로서의 가치를 갖는 것은 단순한 묘사나 재현이 아닌 시각적 경험의 재구성, 즉 시각적 조합(visual confection)에 의한 것이다.


시각적 조합

[그림 4] 시각적 조합



[그림 4]에서 나타난 바와 같이, isogrammatic 속성의 시각 도상은 시간 축에 수직하여 존재하는 명사(주체)­동사(행위) 축으로 이루어진 가상의 사건 평면(plane of event) 상의 점들을 연결함으로써 개개의 이야기의 흐름(stream of story)을 재구성g함으로써 만들어진다. 이때 시각적 조합은 이러한 이야기를 하나의 내러티브로서 구성하기 위해서 이야기의 흐름선 상에서 몇 개의 점을 선택하여 2차원 평면 위에 적절하게 표현하는 것을 뜻한다. 작성자는 각각의 점을 나타내는 시각적 경험들을 '구획(compartment)'이나 '가상(imagined scene)'의 방법을 이용해서 시각적으로 조합한다. 구획법은 [그림 5]의 (a)와 같이 일부의 그림을 구획 지어 다른 그림과 구분함으로써 별도의 이야기 공간상에 존재함을 나타내는 것이고, 가상법은 [그림 5]의 (b)와 같이 각각의 그림을 하나의 그림에 동시에 나타냄으로써 실제로는 불가능한 상황을 묘사하는 것을 말한다.  Isogrammatic 속성을 갖는 시각 도상은 이러한 시각적 조합에 의해 만들어진다.

시각적 조합의 사례

[그림 5] 시각적 조합의 사례

 
이상과 같이 언급한 시각 도상의 속성들은 2장에서 언급한 언어의 속성과 매우 유사하다. 시각 도상의 ideogrammatic 속성, 즉 특정 개념을 표현하기 위해 시각 도상을 연계시키는 방식은 언어의 자의성과 일맥상통하고, diagrammatic 속성, 즉 도상을 시각적으로 구조화하고 조절함으로써 전달하고자 하는 의미를 명확하게 하는 것은 언어의 체계성과 대체로 같다. 또한 isogrammatic 속성, 즉 어떠한 장면을 묘사하고 전달하기 위해 시각 도상을 조작하는 방식은 언어의 상징성과 매우 흡사하다고 할 수 있다. 이상과 같이 언어학과 시각 도상에 대한 접근 방법 비교를 통해서, 시각 도상은 본질적으로 이미 언어적인 속성을 가지고 있음을 알 수 있다.

의사소통을 위한 시각 도상의 언어적, 혹은 구조적 속성에 대한 기존의 연구는 다분히 경험적으로 제시되었거나  인지 심리학 등 관련 분야의 이론을 차용하는 선에서 그치고 있다 . 또한 시각 도상의 언어적 분석에 대한 연구들은 앞서 언급된 바와 같이 전산학에서 컴퓨터의 언어 분석 알고리듬 측면에서 이루어져 왔을 뿐 , 인간이 시각 언어를 어떠한 원리로 해석하는가에 대한 연구는 부족한 것이 사실이다. 이는 인간 사용자에게 제시되어 반응(조작)을 요구하는 시각 도상(예: 컴퓨터 화면 상의 Graphical User Interface)의 설계 및 분석을 위해서 반드시 필요한 연구가 될 것이다.

본 연구에서는 시각 도상이 언어적 속성을 가지고 있음에 초점을 맞추어 '의사소통을 목적으로 의도적으로 만들어진 시각 도상'을 '시각 언어'라고 정의하고, 이의 언어적 측면에 대하여 고찰한다.

 
4. 시각 언어

4.1 시각 언어에 대한 기존 연구


시각 언어(visual language)는 다양한 맥락에서 서로 다르게 정의되고 사용되는 개념이며, 크게 세가지로 구분해 볼 수 있다.

첫째, 전산학에서 말하는 시각 언어는 프로그램을 설계하고 저작하는 기법으로서의 시각적 프로그래밍 언어 , 혹은 다양한 속성을 반영하는 데이터베이스에서 원하는 결과를 다차원적으로 찾기 위한 시각적 질의 언어 를 의미한다. 이 맥락에서의 시각 언어는 인간-컴퓨터 상호작용(HCI)의 측면, 특히 사용자가 화면을 통해 조작하여 입력한 시각 도상이 어떻게 컴퓨터 데이터로 변환될 수 있으며, 변환된 데이터를 통하여 사용자가 의도한 도상 간의 관계 및 의미를 해석할 수 있는가에 초점을 맞춘다.

둘째, 전통적인 시각 디자인 분야에서의 시각 언어란 디자인 작업에 필요한 그래픽 요소, 즉 편화(clip art) 혹은 그림(image clip)을 의미한다. 이 맥락에서 시각 언어는 보다 복잡한 시각적인 총체를 만들기 위한 요소로서, 다양한 모양의 도형에서부터 전문가에 의해 촬영된 사진에 이르기까지 사실상 모든 그래픽 요소들을 포괄한다. 이러한 의미의 시각 언어는 각 요소들이 독자적으로, 혹은 다른 요소들과 조화를 이루었을 때의 미학적 가치에 중점을 두고 논의된다.

셋째, 시각 도상을 이용하여 의사소통을 하는 데 있어서, 보다 효율적이고 명확하게 작성자의 의도를 독자에게 전달할 수 있도록 하기 위하여 그 구조적 측면을 연구하기도 한다. 이 맥락에서는 작성된 시각 도상이 인간에게 어떻게 인지되고 해석되는가가 중요한 관점이 되고 있으며 , 효과적인 의사소통을 위하여 좋은 시각 언어의 작성 방법이 제안되고 있다.

이상과 같은 시각 언어의 정의와 접근 방법은 모두 공통적으로 언어적 속성에 대하여 관심을 갖고 있음을 알 수 있다. 전산학에서 사람에 의해서 입력된 시각 언어를 컴퓨터가 이해할 수 있는 형태의 수치와 관계식으로 해석하기 위한 측면과, 시각 디자인 분야에서 의도한 시각 작업을 위하여 보다 단순한 요소로서 시각 도상을 이용하는 측면도 언어적 연구 방법으로 생각할 수 있다.

하지만, 본 연구에서는 그보다 세 번째의 관점이 인간의 인지 능력과 직접적인 관련을 가지고 있음에 주목하고, 시각 언어의 구조적 측면을 분석했다.


4.2 시각 언어의 구조와 개념

시각 언어는 망막에 맺힌 시각 자극이 감상자에게 해석되어 작성자가 의도하거나 그렇지 않은 의미를 전달하기까지의 하나의 체계이다. 감상자에게 제시된 시각 언어는 다른 시각 자극과 마찬가지로 선택적 주의를 통해 지각되며, 이때 주의의 순서 및 정도에 의해 하나의 시각 도상 안에서도 순차적인 이야기 구성, 즉 내러티브(narrative)가 생기게 된다. 제시된 시각 언어는 순차적 주의를 거쳐 총합적으로 판단되어 정보 처리를 통해 사고나 감정, 언어적 대응 등을 유발하게 된다. [그림 6]은 시각 언어의 단순화된 정보 처리 흐름을 보여주고 있다.

시각 언어 체계의 구성 모듈

[그림 6] 시각 언어 체계의 구성 모듈


앞서 2장과 3장에서 고찰한 바와 같이 언어학의 중심을 차지하고 있는 다른 언어와 마찬가지로, 시각 언어 역시 언어적인 속성을 가지고 있다. 그러나 구체적이고 시각 언어의 어떤 구조가 언어학적으로 해석될 수 있는가 혹은 시각 언어의 구조, 즉 문법에는 어떤 특징이 있는가에 대해서는 명확한 해답이 없었다. 시각 언어의 언어적 구조를 제시한 소수의 연구는 저자의 경험과 직관에 의한 것으로, 이는 나름대로 의미는 있으나 구체적이고 실증적이지 못하므로 새로운 시각 언어를 제시하기 위한 기반은 되지 못했다.

Cavanagh는 사물에 대한 시각적 표상은 '명사'의 역할로, 그 시각적 표상의 움직임은 '동사'의 역할로 이해할 수 있으며, 각 표상들 간의 시간적, 공간 관계를 '전치사'의 역할로 해석할 수 있다고 개략적으로 제안한 바 있다. 또한 시각 언어의 구성원리, 즉 시각 문법의 존재에 대한 반증으로서 [그림 7]과 같은 '있을 수 없는 그림'을 제시하였으며, 보다 근본적인 수준의 문법으로서 동작 인식의 시작(onset)부터 끝(offset)까지를 하나의 시각 언어적 동사로 인식하는 사례와 그 변용을 제안했다.  Cavanagh는 동작 인식에 대한 기존 연구 사례를 인용하면서, 특히 시각 언어에 있어서 동작, 즉 '동사'의 존재 및 활용성을 주장한다.
     
비문법적인 시각 언어의 예

[그림 7] 비문법적인 시각 언어의 예


시각 언어의 문법적 구조에 대한 다른 - 그리고 대표적인 - 사례 Horn의 연구를 들 수 있다.  비록 대부분의 경우 연구자의 경험과 직관에 의하기는 했으나, Horn은 언어학의 다양한 수준에 있어서 시각 언어의 역할을 폭넓게 정의했다. Horn에 의하면 시각 언어에 있어서, 구두 언어의 음성학 및 음운론의 대상에 해당하는 의미 단위(communication unit)는 시각 도상의 크기이며, 시각 도상의 모양, 모사된 이미지, 포함된 문자열 등은 형태론의 대상이 된다. 시각 언어의 형태론적 관점에서 고려되는 주요 요소들은 [그림 8]과 같다.


형태론적 관점에서 본 시각 언어의 주요 요소

[그림 8] 형태론적 관점에서 본 시각 언어의 주요 요소


[그림 8]에서 제시된 이러한 시각 도상들을 조합하여 새로운 메시지를 만드는 것은 통사론적 관점의 연구 대상으로, 시각 언어의 통사론에는 [그림 9]와 같은 시각 요소들의 다양한 배치가 포함된다. 이러한 배치를 통해서 만들어진 시각 도상의 새로운 조합은 일종의 시각적 '문장'으로 이해될 수 있다.


시각 도상의 조합에서 가능한 다양한 배치 방법

[그림 9] 시각 도상의 조합에서 가능한 다양한 배치 방법


시각 언어의 의미론적 관점은 보다 복잡하며, 몇 가지 서로 다른 측면에서 고찰될 수 있다. 이러한 관점에는 제시되는 시각 언어의 총합적 메시지, 시각 도상이나 문법에 적용된 시각적 은유(metaphor) 및 그들 간의 관계, 개념의 도식화(diagramming)나 만화적 기법을 응용한 표상, 그리고 공간이나 선을 따라 조합됨으로써 부여되는 의미, 시간에 따른 변화 및 추이를 보여주기 위한 관용적 시각 표현 등에 대한 분석 및 이해가 포함된다.

이러한 해석을 바탕으로 시각 언어에도 표현하고 있는 내용과 그 표현 방식에 대한 의미론적 고찰이 한 수준 위에서 이루어질 수 있으며, 이렇게 다양한 수준에서 해석된 의미는 사회적 맥락 및 사용 상황, 감상자의 선택적이고 순차적인 주의로 인해 생기는 의도하지 않은 해석의 가능성, 그리고 미학적인 관점, 효율성의 관점 및 감상자의 인지 부하를 고려한 설계 등에 대한 이해를 다루는 화용론의 수준에서 논의될 수 있다.

이상의 논의를 바탕으로 시각 언어의 구조와 개념을 2장에서 논의된 일반적인 언어학의 각 수준과 비교하여 정리하면 [표 3]과 같다.

[표 3] 언어학의 분야에 따른 시각 언어의 연구 대상
분류 시각 언어의 연구 대상
음성학 시각 도상의 크기
음운론
형태론 시각 도상의 모양, 이미지, 문자열
통사론 시각 도상들의 조합 (배치방법 등)
의미론 은유, 도식화, 관용적 표현을 통한 전체 의미 파악
화용론 적용 상황 및 사회적 맥락, 미학 및 효율성


5. 맺음말

시각 언어와 시각 문법은 컴퓨터 화면에 둘러싸인 오늘날의 역동적인 멀티미디어 환경에 있어서 과거 어느 때보다도 큰 영향을 미치고 있다. 동시 다발적으로 방대하고 다양한 정보를 접하는 시각 언어 환경에서는 문법적으로 불완전한 시각 문장으로 인해 잘못된 의사소통이 일어날 가능성이 매우 높다. 컴퓨터 화면 상의 사용자 인터페이스를 통해 대부분의 업무를 수행하는 상황에서, 이러한 가능성은 곧 사용자의 오류를 유발하는 원인이 될 수 있다.

본 문헌 연구를 통해 정리된 시각 언어의 개념은, 기존에 다양한 분야에서 논의되어 온 시각 도상의 언어적 속성에 대한 연구의 전제들을 통합한 것에 불과하다. 3장에서 인용된 시각 도상에 대한 연구들과 4장에서 인용된 시각 언어 개념에 대한 논의들에도 불구하고, 시각 도상의 언어적 요소들간의 위계와 상호 관계, 그리고 나아가서 시각 '문법'에 대한 실증적인 고찰은 전무하다고 볼 수 있다.

뚜렷한 기준 없이 설계자의 경험이나 주관, 심지어 선호에 의해 양산되고 있는 시각 언어들에 올바른 기준으로서의 시각 문법을 정립하기 위하여, 시각 언어에 대한 이러한 실증적 연구와 체계적 분석이 이루어져야 할 것이다.

 
9. 참고 문헌

Doblin, J. (1980). A Structure for Nontextual Communications. in Wrolstad, M. & Bouma, H. (eds.) (1980). Processing of Visible Language 2, Plenum Press: New York
Tufte, E. R. (1983). The Visual Display of Quantitative Information. Graphics Press.
Tufte, E. R. (1997). Visual Explanations: Images and Quantities, Evidence and Narrative, Graphics Press
Horn, R. E. (1999). Visual Language: Global Communication for the 21st Century, MacroVU Press
Pinker, S. (1994). Language Instinct: How the Mind Creates Language, Perennial
신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.