Deep touch at last.

2015.08.27 17:55

참 오래도 걸렸다. 근데 이걸 부가메뉴 표시하는 용도 외에 또 어디에 써 주려나.. 두근.

iOS9 DeepPress

iOS9 코드에서 발견된 "enableDeepPress" 변수



아, 안녕하세요? 

Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

(앞의 글에서 계속...이라지만 사실 앞글과는 별 상관이 없을지도 모르겠다;;)


이 글은 벌써 세번째인가 쓰는 글이다. 야심차게 적었다가 다음에 읽어보면 너무 무모한 내용이라고 생각해서 지우고, 블로그를 몇개월 방치했다가 다시 열어보고 써내려 가다가 다음에 읽어보면 또 지우고... 아무래도 자신이 없었나보다. 글 번호 순서로 보면 지난 2007년말에 쓰기 시작한 모양인데, 뭐 워낙 우유부단한 걸로 악명높은 놈이라지만 이건 좀 심했다고 본다. ㅎㅎ

어쨋든, 이젠 더 미룰 수 없을 것같은 상황이 됐다. 삼성은 갤럭시 노트라는 걸 발표했고, 아이폰5의 발표가 임박한 것같고, 아마존의 새 이북리더도 곧 나올 예정이다. 더 늦으면 뒷북이 될 것 같아서, 빈약한 논리와 어거지 주장을 그냥 그대로 적어 올리기로 했다. (제목도 이제는 좀 민망해졌지만, 그래도 밀린 숙제니 어쩔 수 없이 그대로...) 몇년을 말그대로 "썩혀온" Deep Touch 이야기다.


그래서 대뜸.

터치스크린의 최대 약점은 그 조작의 순간성에 있다.

PC 중심의 UI를 하던 UI/HCI/HTI 연구자들은 터치스크린을 보고 무척이나 당혹스러웠다. 지금 인터넷 상에서는 도대체 찾을 수가 없는 누군가의 글(아마도 Ben Shneiderman 할아버지일텐데, 이 분의 논문을 다 뒤지기도 귀찮고... 해서 통과)에서는, 터치스크린이 전통적인 사용자 인터페이스의 기본 개념인 "Point-and-Click"을 지킬 수 없게 한다고 지적한 적이 있었다. 즉 물리적인 버튼을 누르는 상황에서는 손가락으로 그 버튼을 만지는 단계와 눌러 실행시키는 단계가 분리되어 있고, PC의 전통적인 GUI에서는 그것이 point 단계와 click 단계로 구분되어 있는데, Touch UI에서는 point 단계없이 바로 click(tap) 단계로 가버리게 되면서 사용성 오류가 발생하고 있다는 것이다.

Mouse Pointers, Hand-shaped
GUI에 이미 익숙한 사용자들은 이런 손모양 포인터를 통해서 사용에 많은 도움을 받는다. 이런 포인터들은 마우스의 저편 가상세계에서, 손을 대신해서 가상의 물체를 만지고 이해하며, 사용 이전과 사용 중에는 선택한 기능에 대한 확신을 준다. 추가설명이 필요한 영역에 포인터를 올렸을 때 활성화되는 툴팁(tooltip)이나, 포인터에 반응해서 클릭할 수 있는 영역을 시각적으로 강조하는 롤오버(roll-over; hover) 등의 기법도 이런 사례이다.

그런데, iOS의 기본 UI 디자인 방식을 중심으로 표준화되어 버린 Touch UI에서는 이런 도움을 받을 수가 없다. 물론 페이지, 토글버튼, 슬라이더 등의 즉물성(physicality)을 살린 -- 드래그할 때 손가락을 따라 움직인다든가 -- 움직임이 도움이 되긴 하지만, 기존에 손→마우스→포인터→GUI 설계에서 제공해주던 만큼 도움이 되지는 않는다. 요컨대 전통적인 GUI에서 "클릭"만을 빼서 "터치(혹은 탭)"으로 간단히 치환하는 것으로는 부족한 거다.

이 부족한 부분을 어떻게든 되살려서, 사용자가 고의든 아니든 어떤 기능을 실행시키기 전에 그 사실을 인지시킬 수 있는 방법을 주는 것. 그리고 실행을 시키는 중에확신을 줄 수 있고, 명령이 제대로 전달되었음을 따로 추론하지 않고도 조작도구(손가락) 끝에서 알 수 있게 하는 것. 아마 그게 터치UI의 다음 단계가 되지 않을까 한다. 버튼 입력이 들어올 때마다 휴대폰 몸통을 부르르 떤다든가 딕딕 소리를 내는 것 말고 말이다.

개인적으로 생각하고 있는 것은, 오래전부터 끼고 있는 아래 그림이다.

Deep Touch - Pre-touch detection, and Post-touch pressure/click


터치 이전. Pre-touch.

앞서 말한 (아마도 Ben 할배의) 연구 논문은 터치 이전에 부가적인 정보를 주기 위해서, 앞의 글에서도 말한 광선차단 방식의 터치스크린과 유사한 방식의 "벽"을 화면 주위에 3cm 정도 세워 사람이 화면 상의 무언가를 "가리키면" 이를 알 수 있게 한다..는 내용이었다. (혹시 이 논문 갖고 계신 분 좀 공유해주삼!) 말하자면 'MouseOver' 이벤트가 가능한 인터페이스를 만든 거 였는데, 불행히도 이 방식은 그다지 인기가 없었던 모양이다.

하지만 그 외에도 손가락이 접촉하기 전의 인터랙션을 활용하고자 하는 사례는 많았다. 지금은 Apple에 합병된 FingerWorks사의 기술은 표면에서 1cm 정도 떠있는 손가락의 방향이나 손바닥의 모양까지도 인식할 수 있었고, 이미 이런 센서 기술을 UI에 적용하기 위한 특허도 확보했다. 카메라를 이용한 사례로는 Tactiva의 TactaPad나 Microsoft Research의 Lucid Touch 프로토타입이 있고, 역시 Microsoft Research의 또 다른 터치 프로토타입에서도 터치 이전에 손가락을 추적할 수 있는 기술을 제시한 바 있다.

iGesture Pad, FingerWorks (Apple)Looking Glass, Microsoft ResearchLooking Glass, Microsoft Research


터치 이후. Post-touch.

일단 터치가 감지되면, 대부분의 시스템에서는 이것을 일반 마우스의 "KeyDown" 이벤트와 동일하게 처리한다. 즉 생각 없는 개발팀에서는 이를 바로 클릭(탭)으로 인식하고 기능을 수행하고, 좀 더 생각 있는 팀에서는 같은 영역에서 "KeyUp" 이벤트가 생기기를 기다리는 알고리듬을 준비할 것이다. 하지만 어느 쪽이든, 이미 터치 순간에 기능 수행을 활성화시켰기 때문에 사용자가 의도하지 않은 조작을 할 가능성은 생겨 버린다.

손가락이 화면에 닿은 후에, 추가적으로 사용자의 의도를 확인할 수 있게 해주는 것으로는 Drag와 Press의 두가지 동작을 생각할 수 있다.

이 중 Drag의 경우는 이제 터치 기반 제품에 명실상부한 표준으로 자리잡은 "Slide to Unlock"을 비롯해서 사용자의 의도를 오해 없이 전달받아야 하는 경우에 널리 쓰이고 있지만, 화면을 디자인해야 하는 입장에서 볼 때 어째 불필요하게 커다란 UI 요소를 넣어야 한다는 점이 부담으로 다가온다. 특수한 경우가 아니면 단순한 버튼을 클릭/탭하도록 하는 편이 사용자에게 더 친숙하기도 하고.

이에 비해서, 압력 혹은 물리적인 클릭을 통해 전달받을 수 있는 Press의 경우에는 화면 디자인 상의 제약은 덜하겠지만 이번엔 기술적인 제약이 있어서, 일반적인 터치 패널을 통해서는 구현에 어려움이 많다. (불가능하다..라고 할 수도 있겠지만, 클릭영역의 분포나 시간 변수를 활용해서 간접적으로 압력을 표현한 사례도 있었으니까.) 한때 우리나라의 많은 UI 쟁이들 가슴을 설레게 했던 아이리버의 D*Click 시스템은 제한된 범위에서나마 화면 가장자리를 눌러 기능을 실행시킬 수 있게 했었고, 화면과는 동떨어져 있지만 애플의 노트북 MacBook의 터치패드나 Magic Mouse에서도 터치패널 아래 물리적 버튼을 심어 터치에 이은 클릭을 실현시키고 있다. 몇차례 상품화된 소니의 PreSense 기술도 터치와 클릭을 조합시킨 좋은 사례였다고 생각한다.

이진적인 클릭이 아니라 아날로그 신호를 다루는 압력감지의 경우에도 여러 사례가 있었다. 일본 대학에서는 물컹물컹한 광학재료를 이용한 사례를 만들기도 했고, 앞서 언급한 소니의 PreSense 후속연구인 PreSense 2는 바로 터치패드 위에 다름아닌 압력센서를 부착시킨 물건이었다. 노키아에서 멀티터치로 동일한 구성을 특허화하려고 시도하고 있기도 하다. 하지만, 최근 가장 눈길을 끄는 것은 단연 TouchCo 라는 회사의 투명한 압력감지 터치스크린이다. 이 기술은 아무래도 압력감지를 내세우다보니 외부충격에 예민한 평판 디스플레이와는 맞지 않아서, 상대적으로 외부충격에 강한 전자종이와 같이 쓰이는 것으로 이야기 되다가 결국 Amazon에 합병되고 말았다. 사실 플라스틱 OLED 스크린도 나온다고 하고, 고릴라 글래스라든가 하는 좋은 소재도 많이 나왔으니 잘 하면 일반 화면에도 쓰일 수 있을텐데, 그건 이제 전적으로 아마존에서 Kindle다음 버전을 어떤 화면으로 내느냐에 달려있는 것같다.

D*Click, iRiverMagicMouse, AppleMagicMouse, Apple



Deep Touch

곧 iPhone 5를 발표할 (것으로 보이는) Apple은 Pre-touch에 해당하는 FingerWorks의 기술과 Post-touch에 해당하는 터치+클릭 제작 경험이 있고, 아마도 며칠 차이로 Kindle Tablet이라는 물건을 발표할 Amazon은 Post-touch 압력감지가 되는 터치스크린을 가지고 있다. 단순히 순간적인 터치가 아닌 그 전후의 입력을 통해서, Touch UI의 태생적인 단점을 개선할 수 있는 '가능성'이 열리고 있는 거다. 이렇게 확장된 터치 입력 방식이, 그동안 이 블로그에서 "딥터치(Deep Touch)"라고 했던 개념이다. (그렇다. 사실 별 거 아니라서 글 올리기가 부끄럽기도 했다.)

얼마전 발표된 삼성의 갤럭시 노트도, 압력감지를 이용한 입력을 보여주고 있다.

Galaxy Note, SamsungS-Pen with Galaxy Note, Samsung

압력감지가 가능한 스타일러스를 포함시켜 자유로운 메모와 낙서를 가능하게 함은 물론, 스타일러스의 버튼을 누른 채로 탭/홀드 했을 때 모드전환이 이루어지게 한 것 등은 정말 좋은 아이디어라고 생각한다. (사진을 보다가 버튼을 누른 채 두번 탭하면 메모를 할 수 있고, 버튼을 누른 채 펜을 누르고 있으면 화면을 캡춰해서 역시 메모할 수 있다.)

하지만 PDA 시절 절정을 이뤘던 스타일러스는 사실 가장 잃어버리기 쉬운 부속이기도 했다든가(게다가 이 경우에는 단순히 플라스틱 막대기도 아니니 추가 구매하기도 비쌀 것같다), 화면에서 멀쩡히 쓸 수 있던 펜을 본체의 터치버튼에서는 쓰지 못한다든가 하는 디자인 외적인 단점들이 이 제품의 발목을 잡을 수도 있다. 게다가 무엇보다도, 만일 앞으로 발표될 iPhone 5와 Kindle Tablet에서 스타일러스 없이 Deep Touch를 구현할 수 있는 방안이 제시된다면 갤럭시 노트의 발표에서 출시까지의 몇개월이 자칫 일장춘몽의 시기가 될 지도 모르겠다.

개인적으로는 출시 준비가 거의 되고나서 발표를 해도 좋지 않았을까 싶은 아쉬움과 함께, 아예 펜을 이용한 인터랙션(이 분야는 동작인식과 관련해서 많은 연구가 있던 주제이고, 검증된 아이디어도 꽤 많다.)을 좀 더 적극적으로 도입해서 손가락이 아닌 펜의 강점을 최대한 부각시키면 좀 더 robust한 경쟁력이 있는 상품이 되지 않을까 상상해 본다. 물론 남이 만든 OS를 쓰다보니 독자적인 인터랙션을 구현하는 데 한계가 많았다는 건 알겠지만, 무엇보다 홍보 문구대로 "와콤 방식"의 펜을 적용했다면 pre-touch pointing 이라든가 압력과 각도에 반응하는 UI도 구현할 수 있었을텐데 말이다. (특허 문제는 뭐 알아서 -_- )



Multi-touch든 Deep-touch든, 혹은 HTI가 적용된 다른 어떤 종류의 새로운 UI 방식이든, 우리는 그것이 모두 어떤 군중심리에 사로잡힌 설계자에 의해서 "임의로 정의된 입출력"임을 잊으면 안 된다. 사용자가 익숙하게 알고 있는 어떤 물리적 법칙도 적용되지 않고, 상식으로 알고 있는 공리가 반영되어 있는 것도 아니다. 새로운 UI 기술이 주목받게 되었을 때 그 기술을 충분히 이해하고 그 잠재력을 발휘하도록 해주는 최후의 보루는, 결국 사용자 중심의 관점를 프로젝트에 반영하는 전문성을 가진 UI 디자이너이다. (혹은 유행따라 UX.)

하나하나의 UI 기술이 상용화될 때마다, UI/UX 디자이너들 사이에는 그 완성본을 먼저 제시하기 위한 물밑 경쟁이 치열하게 이루어진다. 기술과 사용자의 입장을 모두 고려해서 최적화된 UI를 설계한 팀만이 그 경쟁에서 승자가 되고, 결국 다른 이들이 그 UI를 어쩔 수 없는 표준으로 받아들이는 모습을 흐뭇한 표정으로 볼 수 있을 것이다. 아마도.

한줄결론: Good luck out there.

Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2011.09.26 15:09 신고
    댓글 주소 수정/삭제 댓글
    신기하네요. 저도 지난주 내내 windows 8 보면서, 얘네들이 마우스랑 키보드 인터페이스는 쌩깐 건가... 이러면서 이 이슈에 대해 고민을 많이 했거든요.
    deep touch 의 경우, 늘 고민중인 것은 touch/press 를 구분짓는 그 압력의 경계가 사용자에게 discrete 하게 인식될 수 있느냐는 겁니다. 화면에 "닿았다/안 닿았다" 수준과는 다른 레벨의 고민이 필요할 거 같아서요. touch/press 경계를 0~100 수준의 압력에서 50이라고 정해놓으면, 사용자가 언제쯤 50이라는 임계치를 자연스럽게 인지하고 사용할 수 있을까요? 그 수준에 이르기까지 40눌러놓고 안 된다고 에러라고 불평을 한다던지, 자꾸 손 닿을 때마다 60,70을 눌러버린다던지 하는 경우도 생길 거 같아서요.
    • 2011.09.26 15:24 신고
      댓글 주소 수정/삭제
      압력을 가하는 동안의 피드백이 중요할 것 같습니다. 시각적이든, 청각적이든, 촉각적이든 말이죠. 개인적으론 압력보다 물리적인 클릭이 들어가 줬으면 하는데, 양산 문제도 있으니 아무래도 곤란하겠죠. 이미 가벼운 터치에 익숙해진 사용자들에게 압력센서를 들이대면서 굳이 "꾹꾹 눌러라"라고 하는 것 역시 사용자 중심의 접근은 아닐테고, 마우스의 오른쪽 클릭처럼 부가 기능에 접근해야 할 때 사용하면 유용하지 않을까요. (어째 Pocket PC의 스멜이...)

      Woore라고 해서 누군가 했네요. 반갑습니다. ^_^
  2. 2011.09.26 15:11
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
  3. 2012.03.14 09:10
    댓글 주소 수정/삭제 댓글
    결국 pre-touch는 소니가, post-touch는 삼성이 주도하게 되는 듯?

    Sony, Floating Touch:
    http://www.engadget.com/2012/03/13/sony-outs-xperia-sola/

    삼성, 압력감지:
    http://chi2012.acm.org/program/desktop/program.html#S197

    소니가 먼저 이것저것 깔아놓은 압력감지 UI 분야를 삼성이 어떻게 공략할지 기대된다.

얼마 전에 올린 polarization과 관련해서 글을 쓰던 중에, 아래와 같은 동영상을 발견했다. 지난 달 New Scientist지에 소개된 일본 전기통신대학의 "Squeezable" Tangible UI 사례.



Squeezble Tangible UI from UECSqueezble Tangible UI from UECSqueezble Tangible UI from UEC

조금은 기괴해 보이는 데모지만, 원리를 생각해 보면 상당히 재미있는 구석이 있다. 원래 LCD에서 나오는 빛은 편광성을 가지고 있는데, 그 위에 압력(stress)을 가하면 편광을 왜곡시킬 수 있는 투명한 고무덩어리를 올려놓고 그걸 눌러 LCD 화면으로부터의 편광을 분산시킨다. 카메라에서는 LCD 화면과 편광 축이 수직인 필터를 사용하고, 그러면 아무 것도 안 보이다가 분산된 편광 부분만, 그것도 분산된 만큼 - 즉, 압력이 가해지면 확률적으로 더 많은 부분이 분산되어 - 카메라에 보이게 된다는 것이다. ... 참 별 생각을 다 해냈다. -_-a;;

Photoelastic TouchPhotoelastic Touch

Tangibles 자체에 가해진 압력만으로 입력의 정도를 조정할 수 있어서, 위 동영상에서처럼 화면과 떨어진 상태에서 조작함으로써 물감을 쥐어짜 화면에 흘리는 것과 같은 인터랙션이 가능하다는 점은 기존의 TUI 연구와 차별되는 점이라고 생각한다. 특히 물체를 쥐는 동작은 근대 GUI에 은근히 많이 적용된 metaphor이므로, 이를테면 drag-and-drop을 말 그대로 "집어들어 옮겨놓기"로 구현할 수 있다는 점은 재미있을듯.

특히 압력을 기반으로 입력이 이루어지기 때문에 터치스크린의 단점인 "오터치" 혹은 사용자가 의도하지 않은 터치 입력을 방지할 수 있다는 점은 주목할 만하다. 정확성을 기대할 순 없지만 deep touch의 입력방식 중 하나로 사용할 수도 있겠다.

그래도 결국 카메라가 화면 바깥에 있어야 하므로 결국 설비가 커지는 고질적인 제약사항은 여전히 가지고 있고, 편광된 광원이 필요하므로 LCD 화면으로부터의 빛이 보이는 영역에서만 조작할 수 있다는 한계가 있을테고, 무엇보다 여러 물체를 동시에 인식할 수 없을 듯한 점(고무에 색깔을 넣어서 인식한다고 해도 극단적인 원색 몇가지로 제한될 듯) 등은 아쉬운 일이다. 후에 뭔가 딱 맞는 사용사례를 만나게 될지는 모르지만, 지금으로선 그냥 스크랩이나 해두기로 했다.



그나저나, 처음 들어본 학교 이름인지라 한번 검색해 보니, 대표 연구자인 Hideki Koike는 전기통신대학의 교수로 위와 같이 영상인식을 통한 HCI 뿐만 아니라 정보 보안이나 Info Viz, 프랙탈 시각화에 대한 연구도 수행하고 있는 사람이다. 그 중에서 위 연구가 포함되어 있는 "Vision-based HCI" 페이지를 보면 2001년에 수행한 손 위치/자세 추적 연구부터 최근의 연구 - "Photoelastic Touch"라는 제목으로 발표된 듯 - 까지 나열되어 있는 걸 볼 수 있다.

최근의 연구를 보면 재미있는 게 좀 있는데, 이를테면 역시 LCD 화면의 편광성을 이용해서 투명한 AR Tag를 만든 사례같은 경우에는 일전에 Microsoft에서 데모했던 SecondLight의 구현원리를 조금 더 발전시킨 것으로 보인다.
Invisible AR Tag - from UEC

요즘에는 공대에서 나온 HCI 연구도 제법 잘 꾸며서 나오건만, 이 학교에서 나온 결과물들은 그 가능성에 비해서 시각적인 면이 조악해서 별로 눈에 띄지 않았나보다. 너무 유명해져서 일할 시간이 없는 사람들보다, 이렇게 눈에 띄지 않았던 연구팀과 협력할 일이 생긴다면 뭔가 독창적인 성과를 낼 수 있을까. OLED가 뜨면서 사양길인가 싶은 LCD의 단점을 인터랙션 측면의 장점으로 바꿀 수 있을지도.
Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2009.11.22 02:10
    댓글 주소 수정/삭제 댓글
    UEC에 있다가 작년에 게이오 대학으로 옮긴 Masahiko Inami 교수도 tangible media 등 관련 분야의 연구를 많이 수행한 것으로 알고 있습니다. SIGGRAPH E-Tech 등지에 많이 나왔었지요.

    http://inami-lab.kmd.keio.ac.jp/
    • 2009.11.22 20:48
      댓글 주소 수정/삭제
      와, 이 분도 참 왕성한 분이네요. 연구 내용에 개성이 넘칩니다. 주목해 둬야 할 분이 또 늘었네요. 우리나라에도 이런 연구자 분들이 좀 있는데 눈에 띄지 못하는 것 같아서 아쉬울 때가 있어요. 우리나라 기업에서도 외국대학/기업의 연구만 짝사랑하지 말고 국내의 가능성 있는 연구팀을 발굴해서 지원해준다면 좋을텐데 말이죠.
  2. 2009.11.24 15:32
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
    • 2009.11.24 17:13 신고
      댓글 주소 수정/삭제
      흠... 하고 계시는 부서업무와 딱히 연관되지는 않겠지만, 그래도 이메일로 보내드릴께요. :-)
  3. sangyoonmom
    2010.05.05 22:37
    댓글 주소 수정/삭제 댓글
    좋은 글 잘봤습니다. 국내 가능성 있는 연구팀을 어떻게 만날수 있을지가 가장 어려운 관문인거 같습니다. 점점더 한국은 HCI 연구가 멀어져가는 느낌입니다.
    • 2010.05.18 01:57
      댓글 주소 수정/삭제
      꼭 한국만 그런 것 같진 않습니다. SIGCHI에서도 고민이 많은 것 같고, 또 앞으로 나아가기 위해서는 그럴 때가 되기도 했다 싶습니다. 오래간만에 아이디를 뵈니 반갑습니다. :-)

그냥 이전의 Apple Magic Mouse 관련 글에 붙여서, 이쯤해서 스크랩해두고 싶은 몇가지 연구가 있다. 우선은 지난 2월 MIT Labcast를 통해서 접한 내용.



이 연구는 몇개월 후 Boston Globe를 통해서 기사화되었고, 이제 찾아보니 그 후에 6월, 10월에도 인터넷에 올라온 모양이다. 사실 MIT Media Lab의 상품성 있어 보이는 연구 결과 중에선 그다지 주목받지 못한 편에 속한다. 개인적으로는 꽤나 눈여겨 본 연구였기 때문에 사실은 좀 의아할 정도. ㅡ_ㅡa;;;

Graspable (Bar of Soap) from MIT Object-based Media Group, 2009

<Bar of Soap>라는 이름으로 불리기도 하는 이 연구는 저 '비누덩어리' 표면에 터치센서를 줄줄이 깔아두고, 내부에는 중력방향을 감지할 수 있는 가속도 센서를 장착함으로써 사용자가 이 물체를 잡는 다양한 손자세를 인지, 그로부터 추정할 수 있는 사용맥락을 기반으로 그때그때 적당한 UI를 제공한다는 것이다. ('적당한' 이라는 부분에 대해서는 적당히 넘어가고 있다. -_-;; )

Graspable (Bar of Soap) from MIT Object-based Media Group, 2009

흠... 그나저나 이 동영상을 보고나서 두번째로 든 생각(첫번째는 비밀 -_-;; )은 '예전에도 MIT에서 Graspables라는 연구가 있었던 것 같은데...?' 라는 거다. 한때 무척이나 유행했던 Tangible UI (TUI) 연구 중에서, TUI와 AR을 결합하는 형태로 화면 위에서 물리적인 물체를 조작함으로써 기능을 조작하는 데모가 많이 나왔는데, 이때 그 물체를 physicon, tangibles, 혹은 graspables 등의 이름으로 불렀더랬다. 결국 그 개념 자체가 크게 발전하지 못하면서 이름 따위 뭐든 상관없다는 식이 되어 버리긴 했지만. ㅋ

좀더 찾아보니 이전에 알고 있던 Graspables는 1995년에 발표된 거고(아래 그림 왼쪽), 그 후에도 1997년 Graspable Display라는 연구(오른쪽의 두 그림)가 있었다고 한다. 여기까지는 확실히 TUI 연구의 일환이고, 이 두가지 연구는 MIT Media Lab의 Tangible Media Group (히로시 이시이 교수가 이끄는, TUI의 발상지라고 하겠다)에서 나온 연구다.

Graspables by MIT Media Lab Tangible Media Group, 1995Graspable Display by MIT Media Lab Tangible Media Group, 1997

그 후 10여년이 지난 후에 같은 건물의 다른 연구실 - Object-based Media Group - 에서 나온 게 바로 이 <Bar of Soap>라는 물건이다. 흠, 뭐 키워드 하나갖고 니꺼내꺼 따지자는 건 아니지만 같은 곳에서 연구하면서 굳이 같은 이름을 써야 했을까 싶기는 하다. 물론 이전의 두 연구는 다른 용어에 묻혀버리거나 별로 눈길을 못 끌거나 했지만... 그래도 Graspable UI 라는 이름으로는 물건을 "집어들고, 움직인다"는 동작에 대해서 나름 심도있는 연구가 등장하기도 했기 때문에 역시 그냥 역사의 뒤안길로 보내버리기에는 아쉽기도 하고. :d

이름이야 어느 쪽이든, 이 연구 뭐랄까... 애플의 새로운 마우스에 적용된 제품 표면의 터치감지 기술과 연관해서 주목할만 한 것 같다. 뭐 분명히 특허는 확보하지 못할테지만. -_-a;;;;


Magic Mouse와 Bar of Soap 연구와 관련해서 언급하고 싶었던 이전 회사의 연구 사례가 있었는데, 알고보니 그 내용이 지난 번 CHI를 통해서 공개됐다고 한다. 그렇다면 조심스러워 할 필요도 없으니 공개된 범위 안에서만 객관적으로 소개해 볼까나. (충분히 조심스러워 하고 있다 -_-;; )

삼성에서 발표한 데모 동영상을 보면, 아래와 같은 장면들을 볼 수 있다.
Hand Grip Recognition - from Samsung


위 MIT의 동영상과 놀랄 정도로 닮아있다. 물론 학교에서 나온 프로토타입과 회사에서 나온 프로토타입의 수준 차이는 보여주고 있지만 사람의 아이디어라는 것이 비슷비슷하다는 좋은 사례랄까. 같은 데모 동영상의 아래 장면을 보면 터치 센서를 이용했다든가 하는 기술적인 면도 상당히 흡사하다는 걸 알 수 있다.

Hand Grip Recognition - from SamsungHand Grip Recognition - from Samsung


MIT에서 Bar of Soap의 동영상을 LabCast에 올려놓은 게 지난 1월이고 삼성전자 종합기술원에서 이 연구를 발표한 것은 4월이지만, 저자의 이름들로 검색해보면 이미 꽤 몇 년 전에 지적재산권을 확보했음을 알 수 있다. 어쩌면 그래서 MIT 측에서 활발하게 홍보를 하지 않았는지도 모르겠고.

어쨋든 이런 기술이 국내에서 개발되어 있다는 건 좋은 일이다. MIT에서 이런 걸 만들었다고 하면 "끝내준다! 우리는 왜 저런 거 못하나?!" 하다가, 국내에서 뭔가 개발했다고 하면 "그거 양산할 수나 있을 것 같아요?"라고 하는 게 우리나라 업계의 전통(?)이라고 한다면, 위 두 가지 연구 사례를 번갈아 보면서 한번 생각해 볼 여지가 있을지도 모르겠다.

Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2009.10.30 12:50
    댓글 주소 수정/삭제 댓글
    멀티터치패드에서 가장 유용하게 쓰는 제스쳐가 expose였는데 매직마우스에는 적용이 안돼서 아쉽더라구요. 하긴 엄지랑 약지는 마우스를 쥐어있어야하고 또 좁은 형태라 세손가락 이상 제스쳐는 오히려 불편할테니까요.
    기사를 보고 생각이 났는데, 가속도센서를 이용해서 마우스를 쥔채로 한쪽면을 살짝 들추는 동작(스냅을 이용해서 엄지쪽을)을 expose로 맵핑하면 괜찮지 않을까 싶네요. 들추는 동작 자체가 expose와 의미상으로도 어포던스가 있잖아요. 하
    • 2009.10.30 20:26
      댓글 주소 수정/삭제
      들춰보는 건가요. 하하! 들춰본 다음에 마우스 움직임에 대해서 좀 고민을 해봐야 하겠지만, 개념 자체는 재미있습니다. :) Expose에서 표현하고 있는 모델을 생각해보면, pinch 동작이 오히려 Expose에 잘 어울릴지도 모르겠어요...
  2. 2009.11.02 15:09
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
    • 2009.11.02 16:35 신고
      댓글 주소 수정/삭제
      엇. 제가 빼먹은 CHI에서 이미 발표를 하셨군요! ㅎㅎ 그럼 본문에 추가를 시켜 두겠습니다. 이미 발표된 내용이라면 상관이 없죠. :)
  3. Bomin
    2009.11.05 11:21
    댓글 주소 수정/삭제 댓글
    지금 봤는데, 저 Lab cast 에 나와서 소개하는 Brandon 이라는 사람이 지금 사무실 같은 층에 와서 일하고 있는 듯. 올해 선임으로 입사했군요.. 어찌 낯이 익다 했어요..
    • 2009.11.05 19:28
      댓글 주소 수정/삭제
      우웨 진짜? ㅋㅎㅎ 그건 또 무슨 조화여. 외국인이 그런 핵심부서(-_-+)에까지 채용되다니, 과연 글로벌 기업이라고 할 수 있겠군! 화이팅 Bomin!
  4. 2010.02.19 18:33
    댓글 주소 수정/삭제 댓글
    애플이 마우스를 들추는 특허를 냈네요. 들추는건 아니고 rocking이지만 비슷한 개념이잖아요.:) 근데 스크롤처럼 피드백을 요하는 세밀한 조작은 손목에 긴장을 많이 주어서 안좋을것 같은데요. 간단한 제스쳐 심볼인식정도로 사용해야 할것 같은데 말이에요.
    http://gizmodo.com/5475083/apples-patent-for-a-rocking-mouse-is-awkward-but-so-is-magic-mouse
    • 2010.02.22 00:57
      댓글 주소 수정/삭제
      정말 그러네요. ^^* 앞뒤좌우로 기울이고 돌리고... 마우스 쓰는 모습이 무슨 야바위꾼 손놀림 같겠습니다. :-D

Nokia에서 출원한, 터치스크린과 압력센서(정확히는 force sensor)를 결합한 장치에 대한 특허가 공개되었다. 출원한 회사도 회사고 두 가지 센서를 결합했다는 사실 때문인지 상당히 주목을 받는 모양이다.

Nokia's Pressure-sensitive Multi-touch

인터넷 포털에 공개된 위의 이미지 외에도, 특허 원문을 보면 멀티터치와 압력 감지를 어떻게 구성하느냐에 따라 하드웨어적으로 두 가지 구성을 제시하고 있다. 아래에서 왼쪽은 화면 자체에서 멀티터치/압력감지를 하는 경우이고, 오른쪽은 화면과 별도로 터치 영역을 두는 경우이다.

Nokia's Pressure-sensitive Multi-touchNokia's Pressure-sensitive Multi-touch

화면을 건드리는 것 뿐만 아니라 얼마나 세게 누르느냐에 따라 다른 방식으로 UI를 사용할 수 있다는 건 분명 멋진 일이지만, 불행히도 이 특허는 등록될 것 같지 않다. 흠... 물론 제대로 심사된다면 이야기지만.

HTI 분야(이름이야 뭐가 됐듯;;;)에 관심을 가지고 있는 사람들 중 Sony CSL의 Interaction Lab에서 "PreSense"라는 이름으로 몇년에 걸쳐 연구한 내용을 기억하는 사람이 있을 것이다. PreSense에 대한 내용은 이제는 동경대로 자리를 옮긴 준 레키모토(Interaction Lab을 이끈 사람이다)의 웹사이트에 잘 정리되어 있으며, 초기의 연구에 대해서라면 이전의 포스팅에서 잠깐 다룬 적도 있다.

사용자 삽입 이미지

위 그림은 원래 PreSense2 라는 이름으로 발표됐던 모듈이다. 노키아의 특허와 동일한 하드웨어 구성에, 노키아의 경우 멀티터치가 가능한 정전압식 터치 스크린를 언급했다는 정도의 차이가 있을 뿐이다. 발명의 구성 중 일부를 기존에 있던 다른 것으로 바꿔넣음으로써 그 기존의 장점을 포함시켰다고 기술의 신규성/혁신성이 인정되지는 않는데다가, 사실 압력감지식 터치를 쓴 소니의 PreSense는 접촉면의 면적에 따라 명령의 모드를 바꾸는 제안(Bi-directional pressure control)까지 부가적으로 포함되어 있다. 일본에서 출원한 특허가 있었던 것 같은데 지금으로선 찾아볼 수 없고, 아래는 PreSense2가 발표된 CHI 2006에서 촬영된 사진이다.

PreSense 2 at CHI 2006PreSense 2 at CHI 2006

이번에 노키아에서 출원한 발명의 특허 문건에 의하면, 발명이 출원된 날짜는 2008년 4월 14일이다. 그리고 소니의 Interaction Lab에서 CHI 학회를 통해 아래 내용을 발표한 것은 2006년 4월 24일(학회 시작일 기준)이다. 일단 시기적으로 봐도 너무 늦었고, 멀티터치가 추가되었으면 가장 먼저 생각할 수 있는 개선사항인 "각 손가락의 압력을 따로따로 알 수는 없을까?" 라는 부분이 전혀 없다. 화면 주변의 압력센서 값들을 서로 비교하면 대략의 짐작은 할 수 있겠지만, Force sensor를 이용한 터치는 부정확할 뿐만 아니라 제한이 많아서 멀티터치 상황에서 큰 도움이 될 것 같지는 않다. 뭐 어떻게 생각하면 손가락 각각의 압력을 인지한다는 것이 사실 UI 설계 관점에서 큰 도움이 될만한 기능인지도 잘 모르겠고.

노키아에서 출원한 특허가 과연 등록이 될 것인가 어떤가 하는 것보다, 이렇게 터치센서에 압력을 추가하는 것이 관심을 받고 있다는 게 개인적으로는 더 반가운 소식이다. 압력감지는 이 블로그에서 종종 언급(만)하는 deep touch 개념의 중요한 구성요소 중 하나인데, 이렇게 하나씩 채워지다보면 굳이 글을 쓸 이유가 없어질지도 모르겠다. 쿠헐.


HTI나 특허에 관심있는 분이라면... 특히 모바일 장치에 관련된 사람은 위 노키아 특허를 출원한 발명자 Mikko Nurmi 라는 사람을 눈여겨 보자. 재미있는 특허가 나오면 습관적으로 발명자 이름으로 한번 검색을 해 보곤 하는데, 이 이름으로 특허를 검색해 보면 상당히 재미있는 특허를 많이  내고 있다. 그 하나하나가 훌륭한 발명이라고는 못 하겠지만, 그래도 연구의 흐름이 대략 보인다는 점에서 주목할 만하다고 생각한다. (뭐 하루 백명도 안 오는 블로그에서 이런 소리했다고 노키아에서 눈을 흘기진 않겠지 -_-a;; )
Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

누가 뭐래도 컴퓨터의 주요 사용자 인터페이스 입력장치라고 할 수 있는 마우스를 둘러싸고, 지난 몇주 동안 애플과 마이크로소프트가 벌인 흥미진진한 싸움이 이제 슬슬 마무리 단계에 접어드는 모양이다.

Apple이야 오래전부터 마우스 바닥에 카메라를 장착해서 FTIR 방식으로 멀티터치를 인식하겠다는 특허를 발표한 적이 있고, 그 후로 애플에서 멀티터치를 적용한 마우스를 내놓는다는 루머는 수도 없이 많이 나왔다.

Apple's Optical Multitouch Mouse Patent

루머는 해를 더해 갈수록 똑같은 특허와 이미지를 울궈먹으면서 구체적이 되더니, 급기야 올해 안에 발표된다는 소문이 등장한 게 바로 지난 2일. 이때부터가 정말 재미있다. 이 발표가 나온 직후인 지난 5일 UIST 2009에서는 Microsoft Research의 연구원들이 "Mouse 2.0"이라는 이름의 연구결과를 발표한 것이다.



(Mouse 2.0이라니 묘하게 친근하다. 사실은 오래전에 마이크로소프트에서 나왔던 두번째 마우스(아마도)의 이름이 이거였다. 처음으로 쓸만한 마이크로소프트의 하드웨어 제품이었으니 나름 기념비적인 이름이랄까.)

어쨋든 이 '새로 나온' Mouse 2.0 개념은 역시 마우스에 멀티터치 개념을 부가하고 있는데, 무려 5가지 프로토타입을 등장시키고 있다. 위의 동영상을 보고 있노라면 뭐랄까, 그냥 있는 터치/동작인식 기술을 죄다 끌어내서 하나씩 접목시켰구나..라는 생각이 든다. 각각 나름의 별명까지 있는데, 아래 사진에서 왼쪽부터 "FTIR Mouse", "Cap Mouse", "Arty Mouse", "Orb Mouse", "Side Mouse"라는 명칭을 가지고 있다. ... 좀 전형적인 패턴이다. -_-a

5 Prototypes of Microsoft Mouse 2.0

그렇게 위의 동영상이 UI에 관심있는 사람들의 눈길을 한번씩 받은 다음, 2주 후인 몇시간 전에 드디어 애플이 소문의 "멀티터치 마우스"를 공개했다. 이름하여 "Magic Mouse" - 이전까지 쓰던 "Mighty Mouse"라는 명칭을 버린 것은 (역시 바로 며칠 전) 결국은 져버린 상표권 소송 때문인 것으로 보인다.

Apple Magic Mouse - Splash



오. 마이. 갓. ... 휴. 멋지다. (애플 직원들은 마이크로소프트의 동영상을 보면서 얼마나 웃어 제꼈을까. ㅡ_ㅡ;; )

자, 일단 시각적인 충격을 벗어나서 좀 생각해 보자. 이게 도대체 뭘까. 위 동영상에서도 나오듯이 저 깔삼한 외모의 윗면이 모두 멀티터치 패드라고 생각하면 되겠다. 이 곡면의 패드에서 가능한 동작은 일반적인 클릭(전체가 버튼이라고 하는데, 마이티마우스의 경우처럼 누르면 앞부분이 딸깍거리는 방식인 듯 하다), 스크롤(상하좌우로 드래그), 페이지 넘김(swipe: 두손가락을 좌우로 쓸기), 확대축소(컨트롤키 누르고 스크롤: 이건 좀 아닌듯?) 등이 있다.
Apple Magic Mouse - Gestures

다른 동영상을 보면, 어떻게 곡면에 멀티터치를 구현했는지에 대한 설명도 나와있다. iPhone의 정전압식 멀티터치 스크린을 구현할 때 사용하는 격자 전극을 곡면 안쪽에 배치해서 그 왜곡된 좌표를 가지고 손가락의 접촉을 인식하는 방식.
사용자 삽입 이미지

정전압식 터치를 이용하는 Mighty Mouse에서도 사용한 방식이고, 플라스틱 표면 아래에 정전압식 터치센서 격자를 배치한 것은 Motorola에서도 구현했던 방식이니 애플이 했다고 너무 추켜세울 필요는 없겠다. 뭐, 그걸 '멋지게' 구현한 것만큼은 인정해 줘야 하겠지만. d=(T^T) 굳이 앞에서 언급한 마이크로소프트의 프로토타입들과 비교하자면 "Cap Mouse"라는 놈과 비슷해 보인다. 마이크로소프트의 동영상에서도 눈에 띄게 칭찬을 받은 방식이고, 사용방법도 두 동영상이 크게 다르지 않다. (예외적으로, 애플이 확대축소에 pinch 동작을 대응시키지 않은 건 그 움직임의 불편함을 감안하더라도 좀 의아하다.)

그런데 이 방식의 문제는, 마이티마우스를 사용하던 사람들이 흔히 겪었듯이 오른쪽 클릭을 하기 위해서는 왼쪽 클릭을 하던 손가락을 번쩍(!) 들어야 한다는 것이다. 보통 마우스를 쓰듯이 편안하게 손가락을 얹어놓고 가운데 손가락을 지긋이 눌러 오른쪽 클릭을 하려고 한다거나, 손가락을 제대로 들지 않아서 터치로 인식되어 버린다면 왼쪽 클릭이 실행된다. 어떻게 보면 마우스로는 아주 치명적인 결함인데, Mac OS에서는 전통적으로 오른쪽 클릭을 그야말로 옵션으로나 사용하고 있다는 이유로 그냥 유지하기로 했나보다. 그 전통이라는 게 얼마나 의미가 없는지는, 새로운 매직 마우스를 설명하다가 나오는 아래 장면에서 잘 알 수 있다. 저 수많은 기능들을 왼쪽 클릭만으로 실행할 수 있을리가 없잖아! 저 불편하게 뻗힌 손가락을 보라고... 쥐 나겠다. -_-+

Apple Magic Mouse - Right Click

오른쪽 클릭 문제를 좀더 자연스럽게 해결하기 위한 기술적인 해결안은 숙제로 남겨두더라도(개인적으로는 압력센서가 답이라고 생각한다. 이것도 deep touch 개념이 되겠지만... -_-a ), 이 마우스+멀티터치패드의 가능성은 꽤 크다고 생각한다.

Apple Magic Mouse - Circle
당장 이번에 함께 발표된 MacBook의 터치패드에는 손가락을 4개까지 사용하도록 제스처가 추가되었고, 동영상에 잠깐 등장하는 동그라미를 그리는 동작 같은 경우에도 아직 실제 기능과 연결되지 않은 것 같다. iPod의 사례도 있으니 이 동작은 스크롤에도 훌륭하게 이용할 수 있을 것 같고, 아니면 확대축소에 적용해도 꽤 각광받을 것 같은 데 말이다. 그 이유야 뭐가 됐든, 애플이 숨겨진 기능을 가진 물건을 내놓는 건 처음 있는 일이 아니고... 앞으로 이 물건을 또 어떻게 개선해 나갈지가 기대된다.

... 만일 이 제품이 2주 후에 팔리기 시작해서 누군가 뜯어봤는데, 그 안에 3축 가속도 센서라도 들어있다면 난 또 굉장히 복잡한 생각과 데자뷰에 시달리게 될 것 같다. 어떻게든 꼬아서 복잡한 기술로 특허 실적을 올리려고 애쓰지 않고, 있는 기술을 최적화하고 딱 맞는 사용사례를 찾아 상품화하는 데 초점을 맞추었다면 뭐가 달라졌을까. 이 물건과 매우 흡사한 물건을 만들어냈던 사람들을 생각하면 입맛이 씁쓸할 뿐이다.




그나저나, 그래서 애플이 이 제품을 먼저 출시함으로써 차세대 마우스의 주도권을 쥐게 될까? 사실 그건 잘 모르겠다. 아무래도 애플이 PC 시장에서는 소수그룹이고, 출시가 임박했고 개발자 버전의 평판이 상당히 좋은 "Windows 7"에는 이미 멀티터치를 포함한 Touch Pack이 포함되어 있다. 비록 몇개월이 늦더라도 윈도우즈 시스템과 호환이 되는 멀티터치 마우스가 나온다면, 그리고 그게 애플의 것과 딴판이고 서로 호환되지 않다면... 시장을 선도한다는 것과 지배한다는 것은 좀 다를 수도 있겠다. ... 박리다매도 뭐 또 다른 접근방법이 되겠고. -,.-
Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2009.10.22 20:54
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
  2. 2009.11.17 09:09 신고
    댓글 주소 수정/삭제 댓글
    항상 멋진 포스팅을 해주시는 ;-;)!
    한참 멀었지만 본받으려고 노력중입니다. ㅎㅎ
    잘 읽었구요. 포스팅 감사해요! :)
    • 2009.11.17 18:40
      댓글 주소 수정/삭제
      재미있게 읽어주시면 제가 고맙죠. 블로그 재미있어요! :-)
  3. 2009.11.28 08:39
    댓글 주소 수정/삭제 댓글
    한 블로거의 매직마우스 사용후기가 올라왔는데, 이것도 정전기식 터치를 이용한지라 일전에 언급한 것처럼 손에 땀이 나면 인식이 잘 안 된다는 점이 지적되어 있다. 링크나 남겨놓기로 했다.

    http://s2news.com/2009/11/28/very-uncomfortable-apple-magic-mouse/

    http://interaction.tistory.com/70
  4. 2009.12.12 03:03
    댓글 주소 수정/삭제 댓글
    이제서야 분해한 사진을 구했다. 직접 사서 분해할 능력이 안 되는 관계로... 작은 사진이지만, 여러가지 확장가능성이 떠오르는 모습이다.

    http://www.ifixit.com/Teardown/Magic-Mouse/1240/2

삼성에서 "Alias 2" 라는 이름으로, e-Paper (참고로 e-Ink는 상표명이다)를 버튼에 적용한 듀얼힌지식 폴더형 휴대폰을 출시한다고 한다. 이 제품은, 가로모드일 때와 세로모드일 때 등, 사용상황에 따라 버튼에 표시되는 내용을 전자종이를 이용해서 그때그때 바꿔준다고 한다.

Samsung Alias 2 e-Paper PhoneSamsung Alias 2 e-Paper Phone

첨단(혹은, 최근)기술을 적용한 혁신적인 사례라든가, 반면에 버튼부분의 디자인은 시대에 뒤떨어져 보인다든가 하는 반응이 있을 수 있겠고, 이미 2년전 일본에서 나온 컨셉폰과 비교할 수도, OLED를 이용한 작년의 Optimus 키보드와 비교해서 생각해 볼 수도 있겠다.

일전에 유출되었던 같은 제품의 이미지를 보면, 터치스크린이 아니라 물리적으로 눌리고 촉각적인 피드백이 가능한 버튼이 사용되었음을 볼 수 있다.

Samsung Alias 2 Leaked Photo

이 방식의 버튼은 사용하기 전에는 동적으로 변하는 버튼의 기능을 명확하고 안정적으로 확인할 수 있고, 사용할 때에는 돔스위치의 촉각적인 피드백(딸깍)을 제공함으로써 입력에 대한 확신을 줄 수가 있다. 즉 정해진 구획을 갖는 버튼을 이용한 UI에 대해서라면 터치스크린보다 나은 일반적인 사용성을 제공해 줄 수 있는 것이다. (터치스크린 외에 이것과 반대의 시각vs촉각 trade-off를 보여준 사례가, 같은 회사의 '쏘울폰'이라고 할 수 있겠다.)



이 제품에 사용된 전자종이 기술은 각 픽셀을 따로따로 조정해서 어떤 이미지든지 표시할 수 있는 방식이 아니라, 미리 정해진 영역에 그림이 그려져 있고 그 그림의 표시여부를 on-off 할 수 있는 template 방식으로 보인다. 대부분의 디지털 시계에서의 LCD 화면과 동일한 방식이라고 생각하면 되는데, 이 방식은 자유로운 화면표시가 불가능한 반면 X-Y 좌표에 따른 픽셀구동을 위한 배선과 전자부품이 필요없기 때문에 훨씬 작은 부피안에 - 즉, 버튼 안에 - 구현이 가능했을 것이다.

템플릿 방식의 전자종이가 사용되었으므로, 위의 사진들에서 볼 수 있듯이, 각 버튼에는 세로 숫자, 가로 숫자, 가로 문자, 그리고 기타 아이콘 등이 표현되는 영역이 정해져 있어서, 어느 쪽의 힌지가 열려있고 어느 기능이 구동되는지에 따라 필요한 표시(들)만을 표시해주고 있음을 알 수 있다. 전자종이의 유용한 점 중의 하나인 '일단 화면을 바꿔주고 나면 전력이 소비되지 않는다'는 점을 생각하면, 화려한 LCD, OLED 화면을 버튼에 넣는 것보다 오히려 현실적인 기술의 선택이었다고 본다.



게다가, 전자종이를 이용한 UI를 생각할 때 (그 제한된 기능에도 불구하고!!!) 그나마 유용하게 쓸 수 있는 트릭인 "역상"이 잘 적용되었다는 것도 볼 수 있는데, 세로로 펼친 화면에서 검게 표시된 상하좌우+OK 버튼(일명, 5방향키)이 가로 모드에서는 위치와 배치를 바꿔서 똑같은 시각효과로 표시되었음을 볼 수 있다. 역상으로 표시된 경우에도 화면을 유지하는 데에는 전력이 들지 않으므로, 이 역상을 잘 이용하면 훨씬 더 많은 버튼표시의 조합을 만들어낼 수 있다.

개인적인 억측일지 모르겠지만, 아직도 이 버튼들에는 빈 곳이 많아 보이고, 공개된 사진 외에도 음악/동영상 감상을 위한 버튼이라든가, 사진촬영을 위한 버튼이라든가 하는 것이 들어갈만한 자리가 마치 일부러 빼먹은 것처럼 비어있다. 현재까지 공개된 사진은 공개를 염두에 둔 사진이고, 실제 제품리뷰에서는 그런 기능이 깜짝 등장하리라 기대하는 것은 너무 앞서나가는 걸까? (요새 자주 앞서나가는 관계로;;)

... 그나저나 이거 레이아웃 짜신 분, 머리 꽤나 아팠을 듯. 하나하나의 버튼에 가로 세로 각각 숫자키 모드, 문자입력 모드(QWERTY든 Multi-Tap이든)를 넣고 그 와중에 일관성을 유지하려고 노력한 흔적이 절절히 보인다. 완벽하다고는 말할 수 없겠지만, 주어진 제약조건 하에서는 최선의 배치를 끌어낸 듯. 수고하셨습니다!



몇가지 아쉽다고 할 수 있는 점은, 사실 전자종이의 숙명이라고도 말할 수 있는 저 '갱지에 인쇄한 듯한' 모양새인데, 아무리 해상도가 높고 '종이로 보는 듯한' 모습이라고 할지라도 그 종이가 갱지여서야 추억을 되새기게 할 뿐이다. -_-a;; 사실 전자종이의 구현방식 자체가 완전한 검은색이나 흰색을 (최소한 같은 장치에서 함께는) 표시할 수가 없는지라, 그에 따른 UI 상의 대안은 좀더 모색되었어야 한다고 생각한다. 개인적인 느낌으로는 글꼴이나 화살표, 아이콘 등이 전자종이의 contrast를 생각하면 조금 달라질 수 있지 않았을까 싶다. (특히, 전자종이의 해상도를 잘 이용하면, 실제 버튼에 인쇄해야 하는 경우나 LCD 화면에 표시해야 하는 경우와 달리 미묘한 글꼴 디자인이 가능했을 것이다. Typography의 기본으로 돌아간다든가.)

버튼의 플라스틱 자체에 색을 좀 넣어서 제품과의 시각적인 이질감을 없앤다거나, 아예 e-Ink사와 이야기해서 전자종이에 들어가는 알갱이에 검은색이 아닌 다른 색(삼성남색이라든가 ㅎㅎ)을 넣어달라고 했다면 어땠을까. 컬러 전자종이가 상용화 수준에 오기 나오기 전까지는 단색 전자종이의 안료를 개발하는 것이 가장 큰 목표라고 보는데, 그냥 '디폴트 색상'을 사용한 듯한 느낌이 조금 느낌상의 완성도를 떨어뜨리는 듯 하다. 무엇보다 저 희미한 회색화면은 너무 많이 봤다. -_-a;;;

기왕 전자종이를 사용하는 김에, 그동안 배터리 소모를 핑계로 항상 표시하지 못했던 것들 - 시계(분 단위 갱신이면 충분하다!), 받은메시지/놓친통화, 배터리 잔량 - 을 표시해주는 부분을 추가했다면 어땠을까. 휴대폰 바깥의 한면에 늘 그런 정도가 나타난다면 휴대폰을 거창하게 열고 어쩌고 하는 일이 줄어들테고, 굳이 밝은 화면을 켜서 주변의 시선을 모으지 않고도 당장 필요한 정보를 빠르게 얻을 수 있을 것이다. 물론 이런 아이디어는 안 나왔다기 보다, 나왔지만 이런저런 문제로 기각되었다고 보는 게 맞겠지만... -,.-

그리고 전에 아마존 Kindle 때에도 언급했지만, e-Paper의 치명적인(?) 단점은 디스플레이인 주제에 (다른 디스플레이 기술과 비교해 보면) 자체발광하는 게 없어서 밤에는 안 보인다는 것이다. 그냥 버튼에 인쇄된 레이블을 대체한 것으로 생각하면 당연한 소리지만. ㅎㅎ 게다가 일반 버튼이나 LCD 처럼 생각하고 백라이트를 뿌려주면, 역시 그 구현방식 상 희게 표시된 부분도 검게 표시된 부분도 똑같이 거무튀튀한 색으로 변해 버린다. 결국 꽤 고심해서 전방조명을 넣었어야 했을 듯 하고, 가로 모드의 소프트키 안쪽의 어색한 공간이 아마도 LED를 위한 자리가 아닐까 싶긴 하다. 하지만 저렇게 복잡한 버튼들에 골고루 빛을 보내는 건 거의 불가능해 보이는... ㅎㄷㄷ. 굿럭.



끝으로, 아래는 다른 유출된 이미지다. 요새는 웹사이트 업데이트할 때 비밀유지를 책임지는 솔루션을 만들어서 팔아도 잘 팔리겠다는 생각이 든다.

Samsung Alias 2 Explained




... 여전히 앞뒤없는 이 글의 개인적인 화두는, 하나의 아이디어가 상품으로 나오기까지, 그것도 가장 기초적인 형태만으로 출시되기까지 4년이나 걸리는 이유가 뭘까에 대한 거다. 또한 HTI의 적용에 있어서 단지 어떤 기술의 도입(혹은 그냥 삽입)에 그치는 경우와, 그 기술로 할 수 있는 모든 것을 단번에 뽑아내는 조직, 혹은 업무 방식의 차이는 어디에 있을까? 아이팟을 기안하고 시제품을 만드는 데에는 2달이 걸렸다고 한다. 아이폰의 경우에는 1년이 넘게 걸렸다고 한다. 혹시 그렇게 "오래" 하나의 프로젝트 팀을 유지할 수 있는 여유가 없다는 사실이, 오히려 제품 아이디어를 빨리 제품화시키지 못하는 가장 중요한 이유는 아니었을까.

이래저래 무척 반갑고, 무척 아쉬운 소식이었다. 다들 어디서 뭐하시는지. -,.-

Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2009.05.13 11:36
    댓글 주소 수정/삭제 댓글
    부재중통화나 미확인 메시지 알림 아이디어로 inflatable을 이용한 tangible UI 아이디어를 낸적이 있습니다. 전화오거나 메시지가 쌓이면 부풀어 오르는거죠. 남자들이 주로 주머니에 전화를 넣어다니잖아요.
    • 2009.05.13 17:50
      댓글 주소 수정/삭제
      현실적인 구현방법은 잘 모르겠지만, 재미있을 것 같습니다. ㅎㅎ 공기펌프를 이용했던 KAIST의 Inflatable Mouse의 경우라든가, 온도조절을 해서 특정 형상을 만들 수 있는 형상기억합금이라든가, 전압을 걸어서 모양을 변하게 할 수 있는 피에조 소자나 EAP 같은 게 떠오르기는 합니다만... 실제로 그 형상을 '유지'해야 한다는 점을 생각하면 뭔가 다른 방법을 찾아봐야 할 것 같아요.

      LG에서 했던 입을 벌렸다 오무렸다 하는 폴더폰이라든가, Glasgow 대학에서 했던, 4방향 진동으로 메시지의 유무/개수/종류를 판별하게 하는 방법 같은 걸 생각해 보신다면 좋지 않을까요?

      참고로 KAIST와 LG의 사례는 국내 HCI학회에서, Glasgow 대학의 사례는 CHI에서 발표된 내용입니다.
  2. 2009.05.13 12:02
    댓글 주소 수정/삭제 댓글
    다양한 버튼 크기의 epaper를 개별로 붙인게 아니라 통짜 epaper 뒷면에 버튼 스위치를 달고 상판에 버튼형태의 커버를 입힌게 아닐까요? 커스텀 부품보다 기존 epaper를 그냥 구매하는게 경제적일테니까요. 역상의 방향키 사용을 보면 템플릿방식은 아닌것 같습니다. 착각하게끔 영문이나 숫자를 겹치지 않게 배열한것이 디자인적인 의도인지 엔지니어가 종이에 레이아웃을 한꺼번에 그려보던게 반영된건지 궁금하네요.
    • 2009.05.13 17:59
      댓글 주소 수정/삭제
      그럴지도 모르겠네요. 버튼 사이의 간격도 너무 좁아 보여서, 그냥 한판으로 만든 것 같아 보이기도 합니다. 하지만 그럴 경우 ePaper가 스위치와 버튼 사이에 끼워져서 눌리는데, 몇번 눌리다보면 글자가 번지기 시작할 것 같네요. 그걸 또 refresh 하자면 배터리 소모가 적다는 게 의미가 없고.. 근데 사실 가로세로로 바꿀 때마다 어차피 refresh해야 하니까 그다지 눈에 띄지 않을지도요. ㅎㅎ

      템플릿 방식이 아니라면 굳이 저렇게 글자를 배치할 필요가 없다는 것 (역상은 영역별로 가능하기 때문에, 위 그림의 방향키같은 표시도 얼마든지 가능합니다) 외에도, 매트릭스 방식으로 가려면 뒷면에 회로기판을 대야 하기 때문에 ePaper의 유연성도 잃고, 따라서 뒷면에 스위치를 대서 누를 수 있다던가 하는 것도 불가능해요. 회로기판 재질을 무슨 flexible LCD에 쓰는 걸 가져다 썼을 것 같진 않지만, 그렇다고 하더라도 같은 지점에 반복적으로 압력이 가해질 때 그걸 감당할 수 있을지는 모르겠습니다.

      어쨋든 자세한 건 나와봐야+뜯어봐야 알겠네요. ㅎㅎ
  3. htruth
    2009.05.20 10:19
    댓글 주소 수정/삭제 댓글
    급할수록 돌아가라는 말이 적절한걸까요?
    '오래' 하나의 팀을 유지하지 못하는게 제품 개발이 늦어지는 이유라는 추측에 공감합니다.
    한숨만 더 참고 기다려주면.. 이라는 생각이 들때가 많아요.
    • 2009.05.20 17:27
      댓글 주소 수정/삭제
      흔들리지 않는 비전이 있거나 흔들리지 않는 믿음이 있다면 그렇지 않을텐데 말이죠. 물론 그 위에 위에 위로부터 흔들리는 건 어쩔 수 없지만, 그걸 또 어떻게든 하는 게 중간에 낀 사람들의 역할이고 월급 더 받는 이유 아니겠습니까.
  4. 2009.05.21 14:55
    댓글 주소 수정/삭제 댓글
    와 좋은 정보네요~~ 제 블로그에 링크좀 걸게요 ;ㅅ;
    • 2009.05.21 18:01
      댓글 주소 수정/삭제
      블로그 글이 엄청 많네요... 언제 날 잡아서 읽어봐야 하겠습니다. ^^*
  5. 2009.06.24 17:14
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
    • 2009.06.24 22:26 신고
      댓글 주소 수정/삭제
      까다로운 물건이라 고민이 많으셨겠습니다. 마무리 잘 하시고 성공적으로 출시해 주세요. 저도 만져보고 싶습니다. :)
  6. 2010.03.18 19:56
    댓글 주소 수정/삭제 댓글
    이거 왜 출시가 안 됐지... :(
    어쨋든 비슷한 물건이 주목을 받고 있길래 링크 걸어두기로 했다. 이름하여 MorphPad. http://www.engadget.com/2010/03/01/pelikons-morphpad-demoed-combines-touchpad-morphing-keyboard/

얼마전에 열렸던 CHI 2009 학회에서 Nanotouch라는 프로토타입이 공개된 모양이다. 나노터치라니, 무슨 나노기술을 이용한 터치센서인가 싶어서 얼른 연결되어 있는 동영상을 틀어 봤다.



관련기사의 설명에 따르면, 결국 작은("nano") 화면은 터치스크린으로 만들었을 때 손가락이 화면을 상대적으로 많이 가리므로 뒤에서 터치하는 방식이 유용하다..는 요지다.

... 물론 말은 맞지만, 이건 개념상의 발전은 커녕 남의 연구를 똑같이 베낀 거라는 게 문제다. 위 동영상에서 보이는 프로토타입은 PC에 연결된 LCD 화면과 뒷면의 터치스크린인데, 이건 2004년 Sony가 같은 학회에서 공개한 프로토타입과 정확히 똑같은 물건이다. (아래 왼쪽이 2004년에 촬영해 두었던 사진, 오른쪽이 동영상 속의 프로토타입이다.)

Gummi Prototype by Sony CSL, at CHI 2004Nanotouch Prototype by Microsoft Research, at CHI 2009

물론 크기는 놀랄 정도로 작아졌지만, 그동안 기술의 발전은 물론이고 Sony의 프로토타입은 2주동안 연구실에 굴러다니는 부품으로 만들었고, 특히 bendable computer라는 개념을 구현하기 위해서 휨센서를 포함한 손잡이가 부착되었다는 것을 생각하면 그건 자랑할만한 일이 아니다. 게다가 한쪽으로는 Gummi의 bendable 컨셉을 따라한 연구결과도 보여주고 있는 걸 생각하면 초큼 한심하달까.

무엇보다 오지랖 넓은 마음을 불편하게 하는 것은, 꽤나 장황하게 쓰여진 논문과 실험, 그리고 수십개에 달하는 참고문헌 어디에서도 이 똑같은 선행사례에 대한 인용이 없다는 것이다. 거 같은 솥밥을 나눠먹고 지내는 사람들끼리 이러면 안 되지, 이 사람들아... -_-+=3

이전에 소개한 Lucid Touch를 만들었던 Microsoft Research 연구팀의 성과인 모양인데, 손가락의 움직임을 볼 수 있다는 장점을 살리지는 못할 망정 오히려 Sony의 Gummi 컨셉을 베껴놓고, 손가락의 모습은 시뮬레이션으로(즉, 가짜로 터치지점에 손가락을 붙여서) 만들어서 데모 동영상을 만들었다. 즉 동영상은 그럴듯 하지만, 손가락의 방향이 바뀌면 어떻게 될지는 전혀 모른다는 거다. 이래놓구선 이미 MIT Technology Review에서는 벌써 "What's Next in Computer Interface?"라는 큼지막한 제목으로 기사를 걸어놓았다.

Shameful article from MIT Technology Review
부끄러운 줄을 알아야지~!!!

Nanotouch 홈페이지의 기사링크를 보니 벌써 지난 해 11월부터는 홍보에 나선 모양인데, MS Research 연구자분들 왜 이러신데... ㅡ_ㅡ;;; 이 사람들이 연봉 많이 받는 만큼 일해줘야 전체적으로 UI 선행연구 분야가 살아날텐데, 솔직히 이런 일은 그냥 덮어두는 게 좋지 않을까 하는 생각이 들 정도다. 그래도 이 블로그 보시는 분들, 이제 인터넷에 동영상이 돌기 시작했으니 아무래도 여러 쪽에서 이 "기술"에 대한 이야기를 듣게 될텐데... 참고하시라고 이것저것 모아서 쌓아놓기로 했다.

Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. 2009.05.11 17:14 신고
    댓글 주소 수정/삭제 댓글
    평소 Stan1ey님께서 작성하신 글 너무나 유익하게 잘 읽고 있습니다. 이번에도 역시 유익하고 통쾌한 글 잘 읽었습니다. 논문 보다보면 분명 예전에 나온 컨셉인데 원본에 대한 레퍼런스 없이 최근 학회에(그것도 저명한 CHI 같은) 출판되는거 보고 답답하기도 하고 궁금하기도 했는데, 이렇게 통쾌하게 정리를 해주세요~ ^^
    • 2009.05.11 18:14
      댓글 주소 수정/삭제
      기대했던 제목의 논문이 실망감을 안겨주길래, 그만 폭발해서 홧김에 마구 써버린 글인데요.

      티구님은 요샌 프로토타입(?)을 통한 연구는 안 하시나요? 예전에 손가락 영상인식 하셨던 것을 무척 감명깊게 기억하고 있습니다. ^^* 사실 그 연구도 나중에 비슷한 물건이 나와서 engadget에서 설레발 치고 그러는 걸 보고 좀 아쉬웠어요...
  2. 2009.05.15 23:08 신고
    댓글 주소 수정/삭제 댓글
    와~ 기억하고 계시다니.. ^^; Stan1ey님은 정말 이쪽 분야를 꽤뚤어 보고 계시는군요.

    최근 연구물들은 이곳에 쌓고 있어요.
    http://msl.yonsei.ac.kr/index.php/Main/Dckim

    과제관리하다보니 요즘 통 연구진도가 않나가네요. ㅋㅎ
    • 2009.05.16 18:03
      댓글 주소 수정/삭제
      여전히 왕성하시네요 뭐. :) 가전회사에 있었을 때나 게임회사에 있는 지금이나 기회가 된다면 같이 일해보고 싶은 분이네요. 영상기술에 대한 적절한 응용사례까지 한발자국만 더 앞쪽을 보여주신다면 Johnny Lee가 부럽지 않다고 봅니다.

LG에서 '투명폰'이라는 이름으로 투명한 터치패드를 장착한 폰(LG-GD900)을 내놓을 모양이다.
LG-GD900 with transparent touch pad

LG-GD900 with transparent touch pad
기술적인 측면에서 투명전극(ITO)를 화면 앞의 판때기에 배치해서 터치스크린으로 사용한 경우는 많지만, 그걸 따로 빼서 디자인적으로 응용한 부분은 훌륭하다고 생각한다. 최종적인 디자인은 내 취향이 아니지만. -_-;;; 터치키패드 빼서 누르고 하려면 상당히 불안한 모양새가 나올 듯하고, '투명인간의 부조리'에서처럼 사실 투명하다는 건 보이지 않는다는 거니까 배경조명 조건에 따라서 저 숫자들이 안 보이는 것도 사실은 꽤 문제가 될꺼다.

하지만 이 폰을 만든 사람들이 특히 훌륭하다고 느끼는 것은, 단지 한가지 눈길 끌만한 요소를 넣는 것에 멈추지 않고 관련된 기술을 연결해서 최적의 솔루션을 내려고 했다는 점이다. 이 폰의 투명키패드에서는 동작(stroke) 인식기능과 멀티터치, 진동 피드백 기능까지 넣었다고 한다. 엔지니어들 죽어났겠다... ㅠ_ㅠ 특히 동작인식 기능 중에는 터치 휠처럼 사용하는 부분도 있다고 한다. 와우.

정말 수고하셨습니다들. :D




하지만,

Motorola A668, a touchpad cellphone
그래도 그 놈의 "명품 S클래스 UI"라는 '광고문구'와, 이미 2004년 모토롤라에서 출시했던 것을 세계최초라고 하고 있는 것은 조금 마음에 걸린다. 설마 마케팅 부서에서는 아이들도 이해할 수 있는 캠페인을 펼치다보니 4년쯤 지나면 모두 잊는다고 생각하는 걸까. -_-a  아직도 왼쪽의 Motorola A668 모델 키패드 아래를 훔쳐봤을 때의 흥분을 잊지 않고 있는 사람으로서는 그냥 "마케팅은 마케팅일 뿐, 진실성을 따지지 말자"는 말을 되뇌이는 수 밖에.

개인적인 생각으로는, 모토롤라의 사례를 알고 그걸 투명하게=예쁘게=디자인적으로 활용하는 김에, 기왕이면 그 조합을 좀 더 살려서 뒷면 터치 기능을 강조했으면 어떨까 하는 생각도 든다. 사실은 글자가 잘 보이지 않을테니까 대부분의 사용자들이 한 손으로 키패드 뒷면을 가리는 자세로 어중간하게 폰을 잡고, 눈을 잔뜩 찌푸린채로 키패드를 사용하게 될 것이다. 만일 저 '투명폰'이 패드의 투명도를 희생해가면서까지 일부러 뒷면터치를 막지 않았다면 뒷쪽에서도 똑같이 사용할 수 있을테고... 그렇다면 그 부분을 좀더 강조하는 편이 단지 유용한 기술들의 훌륭한 조합이 아니라, 그 이상의 새로운 사용자 경험을 제공하는 제품이 되지 않았을까 하는 아쉬움이 든다.


한줄요약: 엔지니어 짱. 디자인 굿잡. 마케팅 즐. 상품기획 아쉽. UX 화이팅. (응?)
블로그는 블로그일 뿐... 정색하고 화내기 없기. (찡긋~ ;-> )
Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. htruth
    2009.04.01 15:47
    댓글 주소 수정/삭제 댓글
    글쎄요. 아마 전면 터치 인식한 센서로 뒷면터치까지 인지하게 되지는 않았을거 같은데요.
    뒷면 터치를 잡을려면 두배의 모듈은 아니어도 리소스가 늘어나야했겠지요.
    근데 굳이 키패드가 투명해서 좋은점이 UI 적으로 있기는 한가요? 말씀하신 저런 모든 문제를 덮을만큼?
    전 이거 보고 헉.. 굳이 이런걸로 이슈를 만들어야 할만큼 이 분야가 이슈에 목메고 있는건가? 하는 생각이 들었는데..
    편견인건가..
    • 2009.04.01 17:35
      댓글 주소 수정/삭제
      사실은 물건을 봐야 알겠지만서도, 에칭(?)한 숫자판과 ITO 피복을 보호하려면 아마도 두겹의 강화유리를 사용했을 꺼고요, 아마도 앞면은 재료수급이 가능한 한 되도록 얇게 하고 뒷면은 두껍게 붙였겠죠. 하지만 폰 두께를 볼 때 왠만큼 두껍게 하지 않는 다음에야 뒷면에서의 터치도 어느 정도 신호가 감지될 겁니다.

      그걸 막기 위해서 뒷면에 ITO 망을 따로 붙여서 차폐(투명도를 희생하는 대목이죠.. 원가상승은 물론이고)하지 않았다면 뒷면 터치도 잡아낼 수는 있을꺼예요. 만일 뒷면 터치의 신호가 앞면보다 약하다면 앞터치시에 뒷면의 오터치 신호를 걸러내지 못한다든가 하는 소리가 나오겠지만서도. -_-a;;;

      아, 그리고.. 키패드가 투명해서 UI적으로 좋은 점은 사실 없다고 봅니다. 본문에서도 말했듯이 그냥 디자인 이슈일 뿐이예요. 그걸로 어떻게든 포스팅 하나 더했을 뿐... 버튼이 자고로 크고 숫자 또렷하고 누르는 감각이 확실해야, 터치에 투명이라니 그 무슨! -_-+=3 ㅋㅋㅋ
  2. 2009.04.05 18:11 신고
    댓글 주소 수정/삭제 댓글
    이 제품의 동영상이 떴다. 딱이 놀랄 건 없지만, 그래도 링크는 걸어두기로. 순전히 이름 때문인지 저 UI는 왠지 정이 가질 않는다. 쩝.
    http://www.viddler.com/explore/engadget/videos/373/

    그나저나... 저 'cube' UI는 예전에 어느 회산가 특허를 출원해둔 걸 본 적이 있는데, 그게 design application으로라도 등록이 되어 있다면 이때다 하고 덤빌지도 모르겠다. GUI 분야에 모션이 적용되면서 그동안 공공연히 무시되었던 GUI 지적재산권이 조금은 부각되는 듯 하니까.

열흘쯤 전에, Apple이 iPhone의 Touch UI를 대상으로 낸 특허가 등록되었다. 이제 공식적으로 iPhone 및 iPod Touch에 적용된 UI 중에 어떤 것이 특허의 범위이고 아닌지를 판정할 수 있게 됐고, iPhone보다 낫다는 평을 들으며 떠오르고 있는 Palm Pre에 대해서 애플이 공개적으로 경고한 법적인 대응이 어느 정도 수준일지도 생각해 볼 수 있을 것이다. 많은 기사/블로그에서 - 요새는 이 둘을 구분하는 게 불가능하다 - 여기에 제1발명자로 Steve Jobs가 등록되어 있는 것에 대해서 "과연 잡스" 혹은 "CEO라고 올려준거라면 유효성에 영향" 정도의 주장도 하고 있지만, 솔직히 애플 내에서 잡스의 독재적 영향력이야 뭐 익히 알려진 정도이니 나는 그다지 문제삼을 내용은 아니라고 본다. 실제로 검색을 해봐도 "Steven P. Jobs"가 발명자로 등록된 50여건의 특허 중에서 잡스옹이 제1발명자인 경우는 심심찮게 볼 수 있다.

어쨋든 HTI 인지 UI 인지를 하는 입장에서 관심이 많이 갈 수 밖에 없는 특허이고, 그래서 이 특허문건(미국특허등록번호 7,479,949)를 좀 열심히 들여다보려고 했다가, 292쪽에 달하는 도면들을 보느라 몇시간이나 썼더니 그만 질려 버렸다. 할 일도 있는데 청구항까지 읽을 시간을 없어서, 그냥 눈에 띄는 그림 몇개를 스크랩하고 나머지는 숙제로 남겨두려고 한다. (숙제로 남겨둔다는 것과 나중에 그걸 어떻게 처리할 거라는 건 늘 별개의 일이다.)


(1) 개요

Apple iPhone Touch UI Patent: Overview
우선 이 특허는, 터치스크린이 달린 "휴대용 다기능 장치 portable multifunction device"에서 1차원 혹은 2차원적인 입력을 인지해서 화면 상태를 바꾸고, 입력된 명령에 따른 기능을 호출하는 구성을 가진 발명이다. 결국 전형적으로 '내가 내기엔 약해보이고 남이 내면 강력해보이는' UI 특허인 셈인데, ... 흠, 어쨋든 이제 iPhone에 적용되어 있어서 많은 업체에서 "터치스크린 UI는 원래 이게 표준"이라고 말했던 것이 그림의 떡이 되어 버린 셈이다. (쌍따옴표는 다른 사람의 말을 있는 그대로 인용했기 때문이다. 개인적으로는 인생을 바꿔주신 말이랄까.)

(2) 기본어플의 미구현 기능
Apple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic Apps
Apple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic Apps
특허에는 현재의 iPhone OS 2.2.1 버전에도 구현되어 있지 않은 몇가지 기능들이 포함되어 있다. 이 기능들을 위 그림의 순서대로 보면,
* 이메일이 도착했을 때 몇가지 기준에 따라 정해진 폴더로 자동 정리해주는 기능(Outlook이나 Gmail에 있는 기능과 거의 비슷하다),
* 이메일을 읽을 때 데스크탑 소프트웨어에서처럼 목록과 내용을 한 화면을 나누어 보여주는 방법(몇 가지가 예시되어 있다),
* 어플리케이션에 따라 화면이 어두워지는 시간을 따로따로 조절할 수 있는 기능,
* 웹브라우저에서 특정 웹페이지를 초기화면에 아이콘으로 링크할 때 아이콘 모양을 바꿀 수 있는 기능(현재는 보고있던 화면모양으로 자동설정),
* 화면의 일부를 확대하거나 고정시켜 놓고 한손가락 스크롤은 배경을, 두손가락 스크롤은 확대/고정된 부분을 움직이도록 하는 기능(웹브라우저를 사례로 들고 있다)
... 등이 iPhone의 개발 당시에 논의 되었음을 알 수 있다. 구현된 기능 중에 어떤 것은 초기버전의 OS에는 포함되지 않았던 것도 있는데, 그렇다면 이 기능들도 앞으로 구현될 가능성이 높아 보인다.

(3) 터치입력 개선
Apple iPhone Touch UI Patent: Better Touch InputApple iPhone Touch UI Patent: Better Touch InputApple iPhone Touch UI Patent: Better Touch Input
상하 stroke 동작으로 스크롤을 할 때 정확하게 수직으로 움직이는 사람은 없으므로, iPhone을 써보면 자유 스크롤과 상하 스크롤 간에는 어느 정도 threshold가 설정되어 있다. 이 특허에 의하면 그게 아마 27도인 듯. 나름의 인간공학적 실험을 거친 결과인 듯 하고, 실제로 해봐도 그 정도 각도에서 자유/상하 스크롤의 판단을 가르는 듯 하다. 그 외에도 손가락이 접촉된 점에서 가까운 widget을 찾아서 그걸 선택한 것으로 인식하게 하는 방법(!)이라든가, 키보드를 통해 입력된 일련의 철자에 따라 다음 키보드 입력의 터치입력 가중치를 빈도만큼 늘려주는 방법(예전에 키노트에서 살짝 언급했던 내용이긴 하다)이 설명되어 있다.

(4) 터치GUI 개선
Apple iPhone Touch UI Patent: Touch-friendly GUIApple iPhone Touch UI Patent: Touch-friendly GUIApple iPhone Touch UI Patent: Touch-friendly GUI
아이폰의 터치UI가 꽤 보기는 좋지만, 사실 손가락으로 터치하기 위한 키보드 치고는 좀 많이 작은 게 사실이다. 이미 애플에서도 그런 논란이 없지 않았는지, 대안적인 키보드가 몇가지 등장하고 있다. 한번 누를 거 두번 누르게 되면 불편하긴 하겠지만, 신체적 조건이라든가 하는 이유로 꼭 필요한 경우도 있을테니 미리미리 적용해 줬다면 좋았겠다 싶은 기능이다.

(5) 센서입력 무시
Apple iPhone Touch UI Patent: Overriding Sensor InputApple iPhone Touch UI Patent: Overriding Sensor Input
중력(가속도)센서를 이용해서 화면을 돌려주는 게 멋지고 대체로 유용하긴 하지만, 사용자가 옆으로 누워있다거나 하는 경우에는 오히려 기계가 제멋대로 동작해서 쓸 수가 없는 상황이 연출되기도 한다. 물론 웹브라우저의 경우에는 완전히 180도 돌리면 어느 쪽으로 돌리느냐에 따라 옆으로 누워서도 볼 수 있지만, 그건 왠지 숨겨진 기능조차도 아니라 기계의 눈치를 보며 아쉬운대로 사용하는 느낌이랄까. 위 두가지 입력은 중력방향 회전을 override하고 싶을 때 사용하는 동작으로, MacBook에서도 적용되었던 두 손가락 회전 제스처와, 대각선 모서리 양쪽에 손가락(엄지)을 대고 바깥으로 움직이는 제스처를 제시하고 있다.

(6) Deep Touch
Apple iPhone Touch UI Patent: Deep TouchApple iPhone Touch UI Patent: Deep TouchApple iPhone Touch UI Patent: Deep Touch
결국 써야지 써야지 했던 내용이 이렇게 특허로까지 (조금이지만) 드러나고 있다. 앞부분에서는 iPhone에 사용된 GUI들만 지루할 정도로 나열하더니, 뒷부분으로 가면서 정전기식 터치스크린의 센서신호를 어떻게 GUI와 연동하는가에 대한 자세한 부분까지 다루고 있다. 여기서 이야기하고 있는 유사압력감지라든가 손가락의 근접에 따른 GUI의 반응이라든가 하는 내용이 소위 내가 중얼거리고 다녔던 터치 다음으로서의 'deep touch'인데, 그 일부가 위에 설명되어 있는 것이다. 이 발명에서는 손가락의 근접에 따른 점진적인 시각 피드백, 근접과 접촉에 대한 센서입력값의 기준치 설정, 명확하지 않은 입력에 대해 근접정보를 활용하는 방법 등이 기술되어 있는데, 손에 들려있는 iPhone 3G을 가지고 이리저리 실험을 해봐도 이 딥터치 부분은 실제로 구현되어 있지 않은 듯 하다. ... 사실 디바이스 드라이버부터 많은 부분을 다시 만들어야 할테니 그럴만 하기도 하지만. 개인적으로는 조금 맥 빠지지만 뭐 한편으로는 일단 방향은 맞는 듯 하니 다행이랄까. -,.-a



내가 이 특허에 포함된 그림들을 보면서, 현재 버전의 iPhone/iPod Touch에 적용되어 있지 않거나 잘 드러나있지 않는 내용을 찾아낸 것은 여기까지다.

비슷비슷해 보이는 그림들을 일일이 보면서 실제 구현된 화면들과 비교하다 보니 좀 지치기도 했고, 중간쯤부터는 이게 무슨 쓸데없는 옛버릇인가 싶어서 시큰둥해지기도 했으므로 조금 빼먹었을지도 모른다. 각 그림에 대한 상세한 설명은, 그림 속의 좀 눈에 띄겠다 싶은 숫자를  위에 링크한 특허원문에서 검색해 보면 쉽게 찾아볼 수 있으니, 관심있는 사람은 좀더 열심히 읽고 틀리거나 빠진 부분이 있으면 리플 달아주시면 여러 사람(약 10여명 -_- )에게 도움이 되겠다. 그리고 무엇보다 특허는 도면이 아니라 청구항 claim 에 의해서 정의되는 만큼, 그냥 훑어보기 쉬운 그림만 보는 것으로 섣불리 기술적인 판단을 하지는 말기를.

이 글에 포함된 그림은 모두 위의 파일(PSD)에 저장되어 있다. 어차피 나야 가지고 있어봐야 짐만 되니까, 어느 친구의 퇴근시간에나 도움이 되면 좋겠다.

 




끝으로, 그림을 보다가 재미있는 부분 몇가지.
Apple iPhone Touch UI Patent: Conference CallApple iPhone Touch UI Patent: Bart SimpsonApple iPhone Touch UI Patent: Flash Was Planned

그동안 아이폰을 쓰면서도 다자간 통화 conference call 가 지원된다는 사실은 까맣게 잊고 있었다. 위의 첫번째 화면은 위 글에 포함시키려고 일단 저장해 두었다가, 뭔가 찜찜해서 찾아보니 처음부터 존재했던 기능이라길래 머쓱했다. 생각해보니 처음 아이폰을 발표했을 때 키노트 내용 중에도 있었던 것 같기도 하고, GSM에서는 쉽게 되지만 CDMA에서는 구현이 어렵다든가 하는 이야기도 나눴던 것 같기도 하고 뭐 그렇다. 어물쩍 넘어가자. =_=;;;

두번째 화면은 바트 심슨 Bart Simpson 이 난데없이 나왔길래 저장했다. 이 특허에서는 대부분 실명같은 이름(Bruce Walker는 도대체 누굴까)이나 노골적인 익명(Jane Doe)이 등장하는데, 아마 이 장면에서는 "B"로 시작하는 이름이 하나 더 필요해서 문득 넣은 것 같다. ㅎㅎ

세번째 화면은 웹브라우저에서 멀티미디어 컨텐트를 보여주는 방법인데, 한쪽에 버젓이 플래쉬 로고가 포함되어 있다.
스티브 잡스가 아이폰에서의 Flash 구동에 대해서 부정적인 발언을 했음에도 불구하고, 사실은 당연히 내부적으로는 준비를 하고 있었던 것으로 보인다. 아마 잡스옹의 그 발언은 Adobe와 Apple 중 누가 그 독점적인 플러그인을 개발해 넣을 것인가에 대한 소모적인 논의 끝에 불거진 불평 아니었을까. 이런이런.



이제 진짜 끝. 이제 그만 놀고 다시 일해야지 일. ㅡ_ㅡa;;;
Posted by Stan1ey

댓글을 달아주세요:: 네티켓은 기본, 스팸은 사절

  1. htruth
    2009.02.02 08:13
    댓글 주소 수정/삭제 댓글
    psd를 보고 웃었으며 조용히 다운받았습니다. ^^
    그렇지 않아도 이 특허가지고 말이 많아요.
    하루만에 온갖 포워딩을 당하더니 결국 저에게도 포워딩이 와서 청구항을 그대로 읽어서 다시 포워딩 해주었습니다.
    1청구항에 따르면 터치 움직임을 시작한 각도에 따라서 상하 스크롤일지, 화면의 x,Y Transition일지를 결정하는 것, next item 움직임에 대한것. 이렇게 청구하고 있네요.
    다른 청구항은 아직 보지는 않았습니다만.. ^^
    일단 등록은 되었지만, 이 특허 이전에 터치 각도에 따라 상하 스크롤 할지 좌우, 혹은 대각선(?) 이동할지를 결정한 예가 한번도 없었다고 자신할 수 있는지 모르겠네요.
    • 2009.02.02 09:41
      댓글 주소 수정/삭제
      잘 받았군요. :)

      결국 이건 전형적인 UI특허고, 기술적인 부분은 거들뿐인 거죠. 모처럼 모범적인 UI특허가 될 것 같습니다. 철저한 실시예에 구현방법에 대한 구체적인 설명까지... 일단 등록이 된 이상 뭐가 어쨌든 충분한 법적인 권한은 갖게 된 셈인데, 아마 이 "뭐가 어쨌든" 부분을 해결하는 게 회사의 능력 아니었을까요.
  2. htruth
    2009.02.02 08:15
    댓글 주소 수정/삭제 댓글
    애플은 전략적으로 허써주는 사람이 따로 있는지도 모르겠어요.
    예시 도면을 보면 아이디어 낸 사람이 그렇게까지 구체적이면서 수치적으로 적었을것같지 않은데..
    하긴 최고경영자가 발명자라면 특별 TF라도 만들어서라도 제대로된 특허를 쓰겠네요. ㅎㅎㅎ (모 대기업이라면요)
    • 2009.02.02 09:49
      댓글 주소 수정/삭제
      이 발명은 발명자도 많지만, 도면도 여러 사람이 그린 것 같더군요. 기본 그림은 공유해서 작업했지만 부속 그림들은 몇가지 패턴으로 나뉘어 있어요. 어쩌면 전형적인 T/F 결과일지도 모르겠습니다.
  3. 2009.02.05 15:46 신고
    댓글 주소 수정/삭제 댓글
    좋은 글 감사 합니다. 퍼가요.
    • 2009.02.05 16:25
      댓글 주소 수정/삭제
      블로그 글이 원래 퍼가라는 건 아지니만서도, 인터넷이니 뭐 어쩌겠습니까. 이게 다 싸이월드 덕택이죠. 글 끝에 달려있는 라이센스나 신경써 주세요. :)
  4. htruth
    2009.02.09 08:37
    댓글 주소 수정/삭제 댓글
    ㅎㅎㅎㅎ
    이게 다 싸이월드 덕택!
    • 2009.02.09 09:49 신고
      댓글 주소 수정/삭제
      싸이월드에 한때는 '퍼가기'를 누르면 댓글을 남겨야 하도록 되어 있었는데, '퍼가요~'라는 댓글이 기본적으로 입력되어 있었죠. 요새는 어떤 시스템인지 모르겠네요. ^^;;
  5. 2009.02.09 08:48
    댓글 주소 수정/삭제 댓글
    비밀댓글입니다
    • 2009.02.09 09:50 신고
      댓글 주소 수정/삭제
      메일로 연락 드리겠습니다. :)
  6. 영현
    2009.02.09 09:59
    댓글 주소 수정/삭제 댓글
    우연인지 모르겠지만..
    Bruce Walker는 조지아텍에서 사운드를 연구하는 분이었는데. 나름 선배도 한명 가 있는 연구실의 교수님이라 괜히 제 눈에 필터링이 되네요^^
    http://gatech.academia.edu/BruceNWalker/Papers
    • 2009.02.09 10:45 신고
      댓글 주소 수정/삭제
      iPhone에서 sonification 관련 어플리케이션을 찾는다면 어떤 게 있을까요... 음향 입출력은 기본이니까 뭔가 응용처는 많은 듯 한데 말이죠. 어쨋든 이름 자체는 딱이 연결되어 있다는 힌트가 안 보이네요. :)

      잘 지내죠? ^^
  7. 2009.02.17 21:55 신고
    댓글 주소 수정/삭제 댓글
    와 상당히 전문적인 내용을 다루고 계시군요. 전 하드웨어쪽을 다루는 사람이지만 UI쪽은 상당히 재미있는 주제인 것 같습니다. 사람과 하드웨어를 만나게 해주는 중요한 의사소통 도구니까요. 이해는 다 하지 못하지만 글 잘 보고 갑니다. ^^
    • 2009.02.17 22:48
      댓글 주소 수정/삭제
      감사합니다. :)
  8. chokmah
    2009.03.06 13:29
    댓글 주소 수정/삭제 댓글
    제대로 얻어갑니다. 감사합니다.
    누가 저 특허 안 읽어주나.. 하고 있었습니다.
    요새는 책상 앞에 읽어야할 특허를 쌓아놓고
    그 수가 줄지 않은지 3달이 되어간다는...
    • 2009.03.06 17:07
      댓글 주소 수정/삭제
      무슨 일을 또 맡으셨길래 터치 특허를. ㅠ_ㅠ 특기를 살려서 VUI도 좀 도와주셔요...


BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.