(앞의 글에서 계속...이라지만 사실 앞글과는 별 상관이 없을지도 모르겠다;;)


이 글은 벌써 세번째인가 쓰는 글이다. 야심차게 적었다가 다음에 읽어보면 너무 무모한 내용이라고 생각해서 지우고, 블로그를 몇개월 방치했다가 다시 열어보고 써내려 가다가 다음에 읽어보면 또 지우고... 아무래도 자신이 없었나보다. 글 번호 순서로 보면 지난 2007년말에 쓰기 시작한 모양인데, 뭐 워낙 우유부단한 걸로 악명높은 놈이라지만 이건 좀 심했다고 본다. ㅎㅎ

어쨋든, 이젠 더 미룰 수 없을 것같은 상황이 됐다. 삼성은 갤럭시 노트라는 걸 발표했고, 아이폰5의 발표가 임박한 것같고, 아마존의 새 이북리더도 곧 나올 예정이다. 더 늦으면 뒷북이 될 것 같아서, 빈약한 논리와 어거지 주장을 그냥 그대로 적어 올리기로 했다. (제목도 이제는 좀 민망해졌지만, 그래도 밀린 숙제니 어쩔 수 없이 그대로...) 몇년을 말그대로 "썩혀온" Deep Touch 이야기다.


그래서 대뜸.

터치스크린의 최대 약점은 그 조작의 순간성에 있다.

PC 중심의 UI를 하던 UI/HCI/HTI 연구자들은 터치스크린을 보고 무척이나 당혹스러웠다. 지금 인터넷 상에서는 도대체 찾을 수가 없는 누군가의 글(아마도 Ben Shneiderman 할아버지일텐데, 이 분의 논문을 다 뒤지기도 귀찮고... 해서 통과)에서는, 터치스크린이 전통적인 사용자 인터페이스의 기본 개념인 "Point-and-Click"을 지킬 수 없게 한다고 지적한 적이 있었다. 즉 물리적인 버튼을 누르는 상황에서는 손가락으로 그 버튼을 만지는 단계와 눌러 실행시키는 단계가 분리되어 있고, PC의 전통적인 GUI에서는 그것이 point 단계와 click 단계로 구분되어 있는데, Touch UI에서는 point 단계없이 바로 click(tap) 단계로 가버리게 되면서 사용성 오류가 발생하고 있다는 것이다.

Mouse Pointers, Hand-shaped
GUI에 이미 익숙한 사용자들은 이런 손모양 포인터를 통해서 사용에 많은 도움을 받는다. 이런 포인터들은 마우스의 저편 가상세계에서, 손을 대신해서 가상의 물체를 만지고 이해하며, 사용 이전과 사용 중에는 선택한 기능에 대한 확신을 준다. 추가설명이 필요한 영역에 포인터를 올렸을 때 활성화되는 툴팁(tooltip)이나, 포인터에 반응해서 클릭할 수 있는 영역을 시각적으로 강조하는 롤오버(roll-over; hover) 등의 기법도 이런 사례이다.

그런데, iOS의 기본 UI 디자인 방식을 중심으로 표준화되어 버린 Touch UI에서는 이런 도움을 받을 수가 없다. 물론 페이지, 토글버튼, 슬라이더 등의 즉물성(physicality)을 살린 -- 드래그할 때 손가락을 따라 움직인다든가 -- 움직임이 도움이 되긴 하지만, 기존에 손→마우스→포인터→GUI 설계에서 제공해주던 만큼 도움이 되지는 않는다. 요컨대 전통적인 GUI에서 "클릭"만을 빼서 "터치(혹은 탭)"으로 간단히 치환하는 것으로는 부족한 거다.

이 부족한 부분을 어떻게든 되살려서, 사용자가 고의든 아니든 어떤 기능을 실행시키기 전에 그 사실을 인지시킬 수 있는 방법을 주는 것. 그리고 실행을 시키는 중에확신을 줄 수 있고, 명령이 제대로 전달되었음을 따로 추론하지 않고도 조작도구(손가락) 끝에서 알 수 있게 하는 것. 아마 그게 터치UI의 다음 단계가 되지 않을까 한다. 버튼 입력이 들어올 때마다 휴대폰 몸통을 부르르 떤다든가 딕딕 소리를 내는 것 말고 말이다.

개인적으로 생각하고 있는 것은, 오래전부터 끼고 있는 아래 그림이다.

Deep Touch - Pre-touch detection, and Post-touch pressure/click


터치 이전. Pre-touch.

앞서 말한 (아마도 Ben 할배의) 연구 논문은 터치 이전에 부가적인 정보를 주기 위해서, 앞의 글에서도 말한 광선차단 방식의 터치스크린과 유사한 방식의 "벽"을 화면 주위에 3cm 정도 세워 사람이 화면 상의 무언가를 "가리키면" 이를 알 수 있게 한다..는 내용이었다. (혹시 이 논문 갖고 계신 분 좀 공유해주삼!) 말하자면 'MouseOver' 이벤트가 가능한 인터페이스를 만든 거 였는데, 불행히도 이 방식은 그다지 인기가 없었던 모양이다.

하지만 그 외에도 손가락이 접촉하기 전의 인터랙션을 활용하고자 하는 사례는 많았다. 지금은 Apple에 합병된 FingerWorks사의 기술은 표면에서 1cm 정도 떠있는 손가락의 방향이나 손바닥의 모양까지도 인식할 수 있었고, 이미 이런 센서 기술을 UI에 적용하기 위한 특허도 확보했다. 카메라를 이용한 사례로는 Tactiva의 TactaPad나 Microsoft Research의 Lucid Touch 프로토타입이 있고, 역시 Microsoft Research의 또 다른 터치 프로토타입에서도 터치 이전에 손가락을 추적할 수 있는 기술을 제시한 바 있다.

iGesture Pad, FingerWorks (Apple)Looking Glass, Microsoft ResearchLooking Glass, Microsoft Research


터치 이후. Post-touch.

일단 터치가 감지되면, 대부분의 시스템에서는 이것을 일반 마우스의 "KeyDown" 이벤트와 동일하게 처리한다. 즉 생각 없는 개발팀에서는 이를 바로 클릭(탭)으로 인식하고 기능을 수행하고, 좀 더 생각 있는 팀에서는 같은 영역에서 "KeyUp" 이벤트가 생기기를 기다리는 알고리듬을 준비할 것이다. 하지만 어느 쪽이든, 이미 터치 순간에 기능 수행을 활성화시켰기 때문에 사용자가 의도하지 않은 조작을 할 가능성은 생겨 버린다.

손가락이 화면에 닿은 후에, 추가적으로 사용자의 의도를 확인할 수 있게 해주는 것으로는 Drag와 Press의 두가지 동작을 생각할 수 있다.

이 중 Drag의 경우는 이제 터치 기반 제품에 명실상부한 표준으로 자리잡은 "Slide to Unlock"을 비롯해서 사용자의 의도를 오해 없이 전달받아야 하는 경우에 널리 쓰이고 있지만, 화면을 디자인해야 하는 입장에서 볼 때 어째 불필요하게 커다란 UI 요소를 넣어야 한다는 점이 부담으로 다가온다. 특수한 경우가 아니면 단순한 버튼을 클릭/탭하도록 하는 편이 사용자에게 더 친숙하기도 하고.

이에 비해서, 압력 혹은 물리적인 클릭을 통해 전달받을 수 있는 Press의 경우에는 화면 디자인 상의 제약은 덜하겠지만 이번엔 기술적인 제약이 있어서, 일반적인 터치 패널을 통해서는 구현에 어려움이 많다. (불가능하다..라고 할 수도 있겠지만, 클릭영역의 분포나 시간 변수를 활용해서 간접적으로 압력을 표현한 사례도 있었으니까.) 한때 우리나라의 많은 UI 쟁이들 가슴을 설레게 했던 아이리버의 D*Click 시스템은 제한된 범위에서나마 화면 가장자리를 눌러 기능을 실행시킬 수 있게 했었고, 화면과는 동떨어져 있지만 애플의 노트북 MacBook의 터치패드나 Magic Mouse에서도 터치패널 아래 물리적 버튼을 심어 터치에 이은 클릭을 실현시키고 있다. 몇차례 상품화된 소니의 PreSense 기술도 터치와 클릭을 조합시킨 좋은 사례였다고 생각한다.

이진적인 클릭이 아니라 아날로그 신호를 다루는 압력감지의 경우에도 여러 사례가 있었다. 일본 대학에서는 물컹물컹한 광학재료를 이용한 사례를 만들기도 했고, 앞서 언급한 소니의 PreSense 후속연구인 PreSense 2는 바로 터치패드 위에 다름아닌 압력센서를 부착시킨 물건이었다. 노키아에서 멀티터치로 동일한 구성을 특허화하려고 시도하고 있기도 하다. 하지만, 최근 가장 눈길을 끄는 것은 단연 TouchCo 라는 회사의 투명한 압력감지 터치스크린이다. 이 기술은 아무래도 압력감지를 내세우다보니 외부충격에 예민한 평판 디스플레이와는 맞지 않아서, 상대적으로 외부충격에 강한 전자종이와 같이 쓰이는 것으로 이야기 되다가 결국 Amazon에 합병되고 말았다. 사실 플라스틱 OLED 스크린도 나온다고 하고, 고릴라 글래스라든가 하는 좋은 소재도 많이 나왔으니 잘 하면 일반 화면에도 쓰일 수 있을텐데, 그건 이제 전적으로 아마존에서 Kindle다음 버전을 어떤 화면으로 내느냐에 달려있는 것같다.

D*Click, iRiverMagicMouse, AppleMagicMouse, Apple



Deep Touch

곧 iPhone 5를 발표할 (것으로 보이는) Apple은 Pre-touch에 해당하는 FingerWorks의 기술과 Post-touch에 해당하는 터치+클릭 제작 경험이 있고, 아마도 며칠 차이로 Kindle Tablet이라는 물건을 발표할 Amazon은 Post-touch 압력감지가 되는 터치스크린을 가지고 있다. 단순히 순간적인 터치가 아닌 그 전후의 입력을 통해서, Touch UI의 태생적인 단점을 개선할 수 있는 '가능성'이 열리고 있는 거다. 이렇게 확장된 터치 입력 방식이, 그동안 이 블로그에서 "딥터치(Deep Touch)"라고 했던 개념이다. (그렇다. 사실 별 거 아니라서 글 올리기가 부끄럽기도 했다.)

얼마전 발표된 삼성의 갤럭시 노트도, 압력감지를 이용한 입력을 보여주고 있다.

Galaxy Note, SamsungS-Pen with Galaxy Note, Samsung

압력감지가 가능한 스타일러스를 포함시켜 자유로운 메모와 낙서를 가능하게 함은 물론, 스타일러스의 버튼을 누른 채로 탭/홀드 했을 때 모드전환이 이루어지게 한 것 등은 정말 좋은 아이디어라고 생각한다. (사진을 보다가 버튼을 누른 채 두번 탭하면 메모를 할 수 있고, 버튼을 누른 채 펜을 누르고 있으면 화면을 캡춰해서 역시 메모할 수 있다.)

하지만 PDA 시절 절정을 이뤘던 스타일러스는 사실 가장 잃어버리기 쉬운 부속이기도 했다든가(게다가 이 경우에는 단순히 플라스틱 막대기도 아니니 추가 구매하기도 비쌀 것같다), 화면에서 멀쩡히 쓸 수 있던 펜을 본체의 터치버튼에서는 쓰지 못한다든가 하는 디자인 외적인 단점들이 이 제품의 발목을 잡을 수도 있다. 게다가 무엇보다도, 만일 앞으로 발표될 iPhone 5와 Kindle Tablet에서 스타일러스 없이 Deep Touch를 구현할 수 있는 방안이 제시된다면 갤럭시 노트의 발표에서 출시까지의 몇개월이 자칫 일장춘몽의 시기가 될 지도 모르겠다.

개인적으로는 출시 준비가 거의 되고나서 발표를 해도 좋지 않았을까 싶은 아쉬움과 함께, 아예 펜을 이용한 인터랙션(이 분야는 동작인식과 관련해서 많은 연구가 있던 주제이고, 검증된 아이디어도 꽤 많다.)을 좀 더 적극적으로 도입해서 손가락이 아닌 펜의 강점을 최대한 부각시키면 좀 더 robust한 경쟁력이 있는 상품이 되지 않을까 상상해 본다. 물론 남이 만든 OS를 쓰다보니 독자적인 인터랙션을 구현하는 데 한계가 많았다는 건 알겠지만, 무엇보다 홍보 문구대로 "와콤 방식"의 펜을 적용했다면 pre-touch pointing 이라든가 압력과 각도에 반응하는 UI도 구현할 수 있었을텐데 말이다. (특허 문제는 뭐 알아서 -_- )



Multi-touch든 Deep-touch든, 혹은 HTI가 적용된 다른 어떤 종류의 새로운 UI 방식이든, 우리는 그것이 모두 어떤 군중심리에 사로잡힌 설계자에 의해서 "임의로 정의된 입출력"임을 잊으면 안 된다. 사용자가 익숙하게 알고 있는 어떤 물리적 법칙도 적용되지 않고, 상식으로 알고 있는 공리가 반영되어 있는 것도 아니다. 새로운 UI 기술이 주목받게 되었을 때 그 기술을 충분히 이해하고 그 잠재력을 발휘하도록 해주는 최후의 보루는, 결국 사용자 중심의 관점를 프로젝트에 반영하는 전문성을 가진 UI 디자이너이다. (혹은 유행따라 UX.)

하나하나의 UI 기술이 상용화될 때마다, UI/UX 디자이너들 사이에는 그 완성본을 먼저 제시하기 위한 물밑 경쟁이 치열하게 이루어진다. 기술과 사용자의 입장을 모두 고려해서 최적화된 UI를 설계한 팀만이 그 경쟁에서 승자가 되고, 결국 다른 이들이 그 UI를 어쩔 수 없는 표준으로 받아들이는 모습을 흐뭇한 표정으로 볼 수 있을 것이다. 아마도.

한줄결론: Good luck out there.

신고
Posted by Stan1ey
가을에 출시된다는 iOS 5는 아마도 함께 출시되리라 생각되는 iPhone 5의 화면 크기나 외형 디자인에 대한 온갖 루머에 밀려 상대적으로 그닥 관심을 받지 못하는 듯하다. 그런 건 스티브 잡스의 말을 빌자면 소프트웨어를 담아내는 예쁘장한 상자(beautiful box)일 뿐인데.

그 중에서 개인적으로 주목하고 있는 것 두 가지.

Location-based To-do List

할일목록(To-do List)에 위치정보를 넣자는 기획은 내가 몸담은 회사들마다 한번씩은 다룬 내용이다. 전자제품을 만드는 회사는 물론이고, 게임 회사나 디자인 에이전시도 나름의 목적을 가진 알림 기능이 필요하기에 아이디어 회의를 하다보면 조금씩 다르지만 늘 등장하는 조합들 중 하나다. 안드로이드는 공개적인 개발환경 덕택에 이미 이런 아이디어가 실현되어 있지만 상대적으로 폐쇄적인 iOS의 경우에는 일반 앱이 위치정보에 접근하기가 쉽지 않았는데, 결국 Apple에서 이런 기능을 만들어 버림으로써 이제까지 iOS에 빈약했던 To-do List 기능을 보완하는 앱을 만들어온 회사들은 닭 좇던 개 신세가 되어 버렸다.

하지만 위 그림에서 볼 수 있듯이, 애플에서 만든 앱은 단순히 할일목록과 위치정보를 조합하는 것에서 조금 발전되어, 그 위치에 "도착했을 때" 혹은 그 위치에서 "벗어날 때" 라는 이벤트를 구분한 것을 볼 수 있다. 위치에 별명("Work")을 붙일 수 있는 기능도 있는 모양이고. GPS 신호를 내내 받을 경우 배터리 소모가 장난 아닐테니까 (실제로 앱 개발 가이드라인에도 GPS를 이용한 실시간 위치추적 기능은 구현이 상당히 제한되어 있다) 아마도 휴대폰 망이나 WiFi 위치정보를 활용하는 등 이런저런 방편을 썼을텐데, 그로 인해서 위치 이벤트가 불안정해지는 부분은 어떻게 해결했을지 기대가 된다.


두번째는 뭐, 이미 예전 FingerWorks에서 구현한 방식의 재탕이다.

Multi-finger Swipe on iPad

뒤늦게지만 그래도 드디어, 아이패드에서 네/다섯 손가락 swipe 동작을 이용해서 멀티태스킹 중인 앱들 간의 전환기능을 제공한다고 한다. 원래 핑거웍스에서 제시했던 동작명령과 차이점이 있다면 엄지손가락의 접촉을 따로 구분하지 않는다는 건데, 이건 뭐 기술의 차이로 인해서 손가락들을 명확하게 구분할 수 있는 가능성도 좀 줄었고 접근성 측면에서도 문제를 일으킬 수 있을테니 (오른손잡이/왼손잡이, 신체장애인 등등) 당연한 수순이라고 생각한다.



끝으로 관심이 있는 부분은 뭐 당연히 그 접근성 부분이다. 하지만 아직 여기에 대한 부분은 iOS 웹사이트에 언급이 되어 있지 않고, 뭔가 개선이 될 거라는 언급만 되어 있다. 하지만 최근 공개한 Mac OS X Lion의 Accessibility 항목을 보면 그 꾸준한 투자에 경건한 마음으로 기립박수를 치고 싶은데, 과연 모바일 OS에는 그런 기능들을 어떻게 조합해 넣었을지 벌써부터 두근두근하다.


끗.
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
애플이 지난 며칠간 빠돌이들을 바쁘게 했던, Multi-touch 기능이 추가된 새로운 MacBook Pro를 공개했다. 강림을 앙망하던 신자의 한 사람으로서 어떻게 보면 뻔한 - 더 빨리지고, 더 오래가고, 여하튼 더 좋아지고 멀티터치 추가 - 사양의 웹사이트를 훑어보다가 뜻밖의 발견을 했다.

http://www.apple.com/macbookpro/features.html
MacBook Pro. Now with MULTI-TOUCH !!!

Feature의 첫 항목으로 'Multi-touch'가 자리잡고 있는 것은 분명 뿌듯한 일이지만, 사실 이제 UI의 위상이라는 것이 (엣헴!) 이 정도로 흥분할 것은 안 된다. 사실은 애플스토어의 목록에서도 다른 무엇보다 예전 같으면 CPU 이름이나 메모리 용량이 적힐 곳에 "Now with Multi-Touch" 라고 당당히 나와있지만, 그것도 뭐 세상이 이제야 인정하기 시작한 것일 뿐, 떠벌일 것도 안 된다. (그러면서 흥분해서 잘도 떠벌리고 있다 -_-;;; )

그런데, 저 위의 Feature 페이지에 연결된 동영상(아래는 스샷)을 하나씩 클릭하다보면, UI 하는 사람으로서 MacBook을 쓸때마다 불평했던 몇가지가 슬쩍 개선된 것을 볼 수 있었다.

Trackpad Gestures of MacBook Pro & Air (NOT all is multi-touch!)

다른 글에서 언급했듯이, MacBook의 멀티터치는 수년전 합병된 FingerWorks사의 Multi-Finger Gesture를 수정보완한 버전이고, 이를 특히 멀티미디어에 강한 노트북에 적용시키기 위해서는 어느 정도 변화를 예상할 수 있다. 그런데, 위에서 굳이 'multi-touch gesture'가 아닌 'trackpad gesture'라는 제목 하에 넣은 많은 새로운 기능 중에, "Tap"과 "Secondary Click"이 있는 것은 사실 놀라운 일이다.

- Tap 동영상
- Secondary Click A 동영상
- Secondary Click B 동영상

이제까지 애플은, MacBook의 터치패드에 고집스럽게 "클릭은 버튼으로" 한다는 원칙을 지켜오고 있었다. 대부분은 터치 입력 방식에서 터치 패드를 한번 짧게 대었다가 떼는 동작(tap)을 마우스의 왼쪽 클릭과 동일하게 적용하고 있음에도, 유독 MacBook 만큼은 터치패드로 커서를 움직이고, 버튼으로 선택한다..는 원칙을 고수해 온 것이다. 그래서 한 개발자에 의해 Tap을 클릭으로 인식시켜주는 별도의 plug-in이 만들어져 사용되기도 했다.

그리고 대부분의 PC 사용자가 '오른쪽 클릭'을 잘 사용하고 있고, 심지어 자사의 Mac OS에서도 'context menu'를 제시하고 있음에도 불구하고, MacBook에는 그동안 '오른쪽 클릭'을 무슨 애물단지 대하듯이 키보드(Ctrl or Command 버튼)와 함께 누르도록 해서 철저히 서자 취급을 해왔던 것이다.

사실
Mouse Setting of Mac OS
위의 입력들도 이미 Mac 들이 Microsoft Windows를 지원할 때쯤부터, 설정 창 구석에 자리잡고 있는 기능이기는 했다. 단지 그 default 설정만은 어디까지나 '사용안함'이었기에 대부분의 사용자는 "클릭은 버튼으로"와 "오른쪽 클릭은 Ctrl / Command 버튼과 함께"라는 UI에 익숙해져야 했던 것이다. 심지어 내가 아는 어떤 Mac 사용자는 애플이 채택한 이러한 조작 방식이 우발적인 Tap을 피할 수 있고, 주로 사용되는 point-and-click과 메뉴 호출(오른쪽 클릭)은 분리되는 것이 맞다며 이러한 방식을 옹호하기도 했다.

애플이 이런 자세를 유지한 데에는 아마도 태초에;;; one-button mouse와 GUI의 이론적인 조합에 있어서의 원칙을 유지하고자 하는 의도도 있었을테지만, 사실은 자신의 UI를 "따라한" - 잘 알려져 있다시피, 남말할 처지가 아니지만 - Microsoft 사가 유일하게 (나는 그렇게 생각한다) GUI 분야에서 "애플보다 편하다"라고 할 수 있는 two-button mouse의 '오른쪽 클릭'을 애써 의식하지 않으려는 노력일 수도 있겠다.

그러던 것이, 이번에 터치패드에 새로운 Multi-Touch 기능을 대대적으로 넣으면서, 이미 개발도 적용도 되어 있었고 multi-touch와도 크게 상관이 없는 위의 3가지 제스처(?)가 default로 자리를 잡고, 서자의 설움을 떨치고 당당한 적자로서 소리소문없이 보완된 것이다. 이제는 Tap와 오른쪽 클릭(비록 이름은 아직도 secondary click 이지만 ㅋㅋ)들에게도 "호부호형을 허하노라~"라는 느낌이랄까.


저 동영상들을 보는 순간, 나는 왠지 Mac의 PUI 하는 사람들이 "이제는 말할 수 있다: 그동안 자존심 세워 미안했어요"라고 하는 것 같아 살짝 친근감마저 들었다.


P.S. 취중의 글이라 앞뒤가 안 맞지만. 오랫동안 업데이트가 없어서 걍 공개. ㅈㅅ.
신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.