Don Norman의 "쓰기 편한 냉장고가 그래서 더 잘 팔리더냐"는 발언과 관련해서, 이제 슬슬 세간의 관심에서 멀어지고 있는 삼성과 애플의 특허 공방에서 주목할만한 발언이 나왔다. 삼성에서 고용한 증인이 pinch 제스처에 대해서 법정에서 이런 말을 한 모양이다.


However, Michael Wagner, an accountant and lawyer hired by Samsung, said there's no evidence from either company that shows consumers bought Samsung devices because they liked that particular touch-screen feature. As a result, he believes Apple should receive no money for lost profits. (...) "I believe people bought these phones for other features," Wagner said. That includes bigger, AMOLED screens; faster processors; and 4G LTE.


결국 삼성 폰을 구매한 사람이 그런 제스처 때문에 삼성 폰을 구매했다는 증거가 없기 때문에, 애플이 그 특허 침해로 인해 받은 직접적인 매출 손실은 없다는 주장이다. ... 뭐 물론 삼성 측의 변호인으로서 일단 되는대로 갖다 붙여서 배심원들을 설득해야 한다는 입장은 이해하지만, 이 발언은 참 씁쓸하기도 하고 바보같기도 하고 그렇다.


나름 "그쪽" 분야에 가까운 사람으로서 그만큼 핵심적인 UI 기술의 가치를 평가절하 받았다는 건 참 그렇다. 삼성 쪽에도 UI 특허가 적지 않을텐데, 다른 회사에서 그런 특허를 침해하고 나서 똑같은 소리를 하면 어떻게 하려고 그러나? 아니 무엇보다 그런 특허라면 애당초 돈 내면서 출원하고 관리할 필요는 있다고 생각하는 걸까?


하지만 이 발언이 정말 제대로 생각한 후에 나온 건지를 의심하게 만드는 점은, 그 구매자들이 pinch 제스처 기능 때문에 무슨 휴대폰을 구매할지를 결정하지는 않았을지 모르지만, 그 기능이 없는 휴대폰은 애당초 구매 대상에 끼지도 못했을 거라는 사실이다. 표준 특허, 강력한 특허에 대해서 그렇게나 중요시하는 회사에서 정작 시장표준이 된 특허에 대해서 이런 식으로 말하면 어쩌겠다는 건지...


무엇보다, 이런 주장은 판결 여부에 따라 (즉, 애플이 이겨서 UI 기술의 가치가 현금화된다고 쳐도) 무효화될 수 있는 게 아니다. 결국 삼성의 주장이라는 것은 삼성의 주장으로 남는 거고, 그걸 다른 법정에서는 반대로 "이 UI 특허를 써서 우리 제품이 팔릴 기회가 줄었으니 물어내라"고 말할 수도 없는 일 아닌가. 이렇게 공개적으로 발언해 버린 삼성 측의 前대변인을 증인석에 세우면 그만일테니까.


... 중국 휴대폰 업계를 비롯한 세계의 모든 전자기기 제조업체에서 쾌재를 부르는 소리가 들린다.


저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
(앞의 글에서 계속...이라지만 사실 앞글과는 별 상관이 없을지도 모르겠다;;)


이 글은 벌써 세번째인가 쓰는 글이다. 야심차게 적었다가 다음에 읽어보면 너무 무모한 내용이라고 생각해서 지우고, 블로그를 몇개월 방치했다가 다시 열어보고 써내려 가다가 다음에 읽어보면 또 지우고... 아무래도 자신이 없었나보다. 글 번호 순서로 보면 지난 2007년말에 쓰기 시작한 모양인데, 뭐 워낙 우유부단한 걸로 악명높은 놈이라지만 이건 좀 심했다고 본다. ㅎㅎ

어쨋든, 이젠 더 미룰 수 없을 것같은 상황이 됐다. 삼성은 갤럭시 노트라는 걸 발표했고, 아이폰5의 발표가 임박한 것같고, 아마존의 새 이북리더도 곧 나올 예정이다. 더 늦으면 뒷북이 될 것 같아서, 빈약한 논리와 어거지 주장을 그냥 그대로 적어 올리기로 했다. (제목도 이제는 좀 민망해졌지만, 그래도 밀린 숙제니 어쩔 수 없이 그대로...) 몇년을 말그대로 "썩혀온" Deep Touch 이야기다.


그래서 대뜸.

터치스크린의 최대 약점은 그 조작의 순간성에 있다.

PC 중심의 UI를 하던 UI/HCI/HTI 연구자들은 터치스크린을 보고 무척이나 당혹스러웠다. 지금 인터넷 상에서는 도대체 찾을 수가 없는 누군가의 글(아마도 Ben Shneiderman 할아버지일텐데, 이 분의 논문을 다 뒤지기도 귀찮고... 해서 통과)에서는, 터치스크린이 전통적인 사용자 인터페이스의 기본 개념인 "Point-and-Click"을 지킬 수 없게 한다고 지적한 적이 있었다. 즉 물리적인 버튼을 누르는 상황에서는 손가락으로 그 버튼을 만지는 단계와 눌러 실행시키는 단계가 분리되어 있고, PC의 전통적인 GUI에서는 그것이 point 단계와 click 단계로 구분되어 있는데, Touch UI에서는 point 단계없이 바로 click(tap) 단계로 가버리게 되면서 사용성 오류가 발생하고 있다는 것이다.

Mouse Pointers, Hand-shaped
GUI에 이미 익숙한 사용자들은 이런 손모양 포인터를 통해서 사용에 많은 도움을 받는다. 이런 포인터들은 마우스의 저편 가상세계에서, 손을 대신해서 가상의 물체를 만지고 이해하며, 사용 이전과 사용 중에는 선택한 기능에 대한 확신을 준다. 추가설명이 필요한 영역에 포인터를 올렸을 때 활성화되는 툴팁(tooltip)이나, 포인터에 반응해서 클릭할 수 있는 영역을 시각적으로 강조하는 롤오버(roll-over; hover) 등의 기법도 이런 사례이다.

그런데, iOS의 기본 UI 디자인 방식을 중심으로 표준화되어 버린 Touch UI에서는 이런 도움을 받을 수가 없다. 물론 페이지, 토글버튼, 슬라이더 등의 즉물성(physicality)을 살린 -- 드래그할 때 손가락을 따라 움직인다든가 -- 움직임이 도움이 되긴 하지만, 기존에 손→마우스→포인터→GUI 설계에서 제공해주던 만큼 도움이 되지는 않는다. 요컨대 전통적인 GUI에서 "클릭"만을 빼서 "터치(혹은 탭)"으로 간단히 치환하는 것으로는 부족한 거다.

이 부족한 부분을 어떻게든 되살려서, 사용자가 고의든 아니든 어떤 기능을 실행시키기 전에 그 사실을 인지시킬 수 있는 방법을 주는 것. 그리고 실행을 시키는 중에확신을 줄 수 있고, 명령이 제대로 전달되었음을 따로 추론하지 않고도 조작도구(손가락) 끝에서 알 수 있게 하는 것. 아마 그게 터치UI의 다음 단계가 되지 않을까 한다. 버튼 입력이 들어올 때마다 휴대폰 몸통을 부르르 떤다든가 딕딕 소리를 내는 것 말고 말이다.

개인적으로 생각하고 있는 것은, 오래전부터 끼고 있는 아래 그림이다.

Deep Touch - Pre-touch detection, and Post-touch pressure/click


터치 이전. Pre-touch.

앞서 말한 (아마도 Ben 할배의) 연구 논문은 터치 이전에 부가적인 정보를 주기 위해서, 앞의 글에서도 말한 광선차단 방식의 터치스크린과 유사한 방식의 "벽"을 화면 주위에 3cm 정도 세워 사람이 화면 상의 무언가를 "가리키면" 이를 알 수 있게 한다..는 내용이었다. (혹시 이 논문 갖고 계신 분 좀 공유해주삼!) 말하자면 'MouseOver' 이벤트가 가능한 인터페이스를 만든 거 였는데, 불행히도 이 방식은 그다지 인기가 없었던 모양이다.

하지만 그 외에도 손가락이 접촉하기 전의 인터랙션을 활용하고자 하는 사례는 많았다. 지금은 Apple에 합병된 FingerWorks사의 기술은 표면에서 1cm 정도 떠있는 손가락의 방향이나 손바닥의 모양까지도 인식할 수 있었고, 이미 이런 센서 기술을 UI에 적용하기 위한 특허도 확보했다. 카메라를 이용한 사례로는 Tactiva의 TactaPad나 Microsoft Research의 Lucid Touch 프로토타입이 있고, 역시 Microsoft Research의 또 다른 터치 프로토타입에서도 터치 이전에 손가락을 추적할 수 있는 기술을 제시한 바 있다.

iGesture Pad, FingerWorks (Apple)Looking Glass, Microsoft ResearchLooking Glass, Microsoft Research


터치 이후. Post-touch.

일단 터치가 감지되면, 대부분의 시스템에서는 이것을 일반 마우스의 "KeyDown" 이벤트와 동일하게 처리한다. 즉 생각 없는 개발팀에서는 이를 바로 클릭(탭)으로 인식하고 기능을 수행하고, 좀 더 생각 있는 팀에서는 같은 영역에서 "KeyUp" 이벤트가 생기기를 기다리는 알고리듬을 준비할 것이다. 하지만 어느 쪽이든, 이미 터치 순간에 기능 수행을 활성화시켰기 때문에 사용자가 의도하지 않은 조작을 할 가능성은 생겨 버린다.

손가락이 화면에 닿은 후에, 추가적으로 사용자의 의도를 확인할 수 있게 해주는 것으로는 Drag와 Press의 두가지 동작을 생각할 수 있다.

이 중 Drag의 경우는 이제 터치 기반 제품에 명실상부한 표준으로 자리잡은 "Slide to Unlock"을 비롯해서 사용자의 의도를 오해 없이 전달받아야 하는 경우에 널리 쓰이고 있지만, 화면을 디자인해야 하는 입장에서 볼 때 어째 불필요하게 커다란 UI 요소를 넣어야 한다는 점이 부담으로 다가온다. 특수한 경우가 아니면 단순한 버튼을 클릭/탭하도록 하는 편이 사용자에게 더 친숙하기도 하고.

이에 비해서, 압력 혹은 물리적인 클릭을 통해 전달받을 수 있는 Press의 경우에는 화면 디자인 상의 제약은 덜하겠지만 이번엔 기술적인 제약이 있어서, 일반적인 터치 패널을 통해서는 구현에 어려움이 많다. (불가능하다..라고 할 수도 있겠지만, 클릭영역의 분포나 시간 변수를 활용해서 간접적으로 압력을 표현한 사례도 있었으니까.) 한때 우리나라의 많은 UI 쟁이들 가슴을 설레게 했던 아이리버의 D*Click 시스템은 제한된 범위에서나마 화면 가장자리를 눌러 기능을 실행시킬 수 있게 했었고, 화면과는 동떨어져 있지만 애플의 노트북 MacBook의 터치패드나 Magic Mouse에서도 터치패널 아래 물리적 버튼을 심어 터치에 이은 클릭을 실현시키고 있다. 몇차례 상품화된 소니의 PreSense 기술도 터치와 클릭을 조합시킨 좋은 사례였다고 생각한다.

이진적인 클릭이 아니라 아날로그 신호를 다루는 압력감지의 경우에도 여러 사례가 있었다. 일본 대학에서는 물컹물컹한 광학재료를 이용한 사례를 만들기도 했고, 앞서 언급한 소니의 PreSense 후속연구인 PreSense 2는 바로 터치패드 위에 다름아닌 압력센서를 부착시킨 물건이었다. 노키아에서 멀티터치로 동일한 구성을 특허화하려고 시도하고 있기도 하다. 하지만, 최근 가장 눈길을 끄는 것은 단연 TouchCo 라는 회사의 투명한 압력감지 터치스크린이다. 이 기술은 아무래도 압력감지를 내세우다보니 외부충격에 예민한 평판 디스플레이와는 맞지 않아서, 상대적으로 외부충격에 강한 전자종이와 같이 쓰이는 것으로 이야기 되다가 결국 Amazon에 합병되고 말았다. 사실 플라스틱 OLED 스크린도 나온다고 하고, 고릴라 글래스라든가 하는 좋은 소재도 많이 나왔으니 잘 하면 일반 화면에도 쓰일 수 있을텐데, 그건 이제 전적으로 아마존에서 Kindle다음 버전을 어떤 화면으로 내느냐에 달려있는 것같다.

D*Click, iRiverMagicMouse, AppleMagicMouse, Apple



Deep Touch

곧 iPhone 5를 발표할 (것으로 보이는) Apple은 Pre-touch에 해당하는 FingerWorks의 기술과 Post-touch에 해당하는 터치+클릭 제작 경험이 있고, 아마도 며칠 차이로 Kindle Tablet이라는 물건을 발표할 Amazon은 Post-touch 압력감지가 되는 터치스크린을 가지고 있다. 단순히 순간적인 터치가 아닌 그 전후의 입력을 통해서, Touch UI의 태생적인 단점을 개선할 수 있는 '가능성'이 열리고 있는 거다. 이렇게 확장된 터치 입력 방식이, 그동안 이 블로그에서 "딥터치(Deep Touch)"라고 했던 개념이다. (그렇다. 사실 별 거 아니라서 글 올리기가 부끄럽기도 했다.)

얼마전 발표된 삼성의 갤럭시 노트도, 압력감지를 이용한 입력을 보여주고 있다.

Galaxy Note, SamsungS-Pen with Galaxy Note, Samsung

압력감지가 가능한 스타일러스를 포함시켜 자유로운 메모와 낙서를 가능하게 함은 물론, 스타일러스의 버튼을 누른 채로 탭/홀드 했을 때 모드전환이 이루어지게 한 것 등은 정말 좋은 아이디어라고 생각한다. (사진을 보다가 버튼을 누른 채 두번 탭하면 메모를 할 수 있고, 버튼을 누른 채 펜을 누르고 있으면 화면을 캡춰해서 역시 메모할 수 있다.)

하지만 PDA 시절 절정을 이뤘던 스타일러스는 사실 가장 잃어버리기 쉬운 부속이기도 했다든가(게다가 이 경우에는 단순히 플라스틱 막대기도 아니니 추가 구매하기도 비쌀 것같다), 화면에서 멀쩡히 쓸 수 있던 펜을 본체의 터치버튼에서는 쓰지 못한다든가 하는 디자인 외적인 단점들이 이 제품의 발목을 잡을 수도 있다. 게다가 무엇보다도, 만일 앞으로 발표될 iPhone 5와 Kindle Tablet에서 스타일러스 없이 Deep Touch를 구현할 수 있는 방안이 제시된다면 갤럭시 노트의 발표에서 출시까지의 몇개월이 자칫 일장춘몽의 시기가 될 지도 모르겠다.

개인적으로는 출시 준비가 거의 되고나서 발표를 해도 좋지 않았을까 싶은 아쉬움과 함께, 아예 펜을 이용한 인터랙션(이 분야는 동작인식과 관련해서 많은 연구가 있던 주제이고, 검증된 아이디어도 꽤 많다.)을 좀 더 적극적으로 도입해서 손가락이 아닌 펜의 강점을 최대한 부각시키면 좀 더 robust한 경쟁력이 있는 상품이 되지 않을까 상상해 본다. 물론 남이 만든 OS를 쓰다보니 독자적인 인터랙션을 구현하는 데 한계가 많았다는 건 알겠지만, 무엇보다 홍보 문구대로 "와콤 방식"의 펜을 적용했다면 pre-touch pointing 이라든가 압력과 각도에 반응하는 UI도 구현할 수 있었을텐데 말이다. (특허 문제는 뭐 알아서 -_- )



Multi-touch든 Deep-touch든, 혹은 HTI가 적용된 다른 어떤 종류의 새로운 UI 방식이든, 우리는 그것이 모두 어떤 군중심리에 사로잡힌 설계자에 의해서 "임의로 정의된 입출력"임을 잊으면 안 된다. 사용자가 익숙하게 알고 있는 어떤 물리적 법칙도 적용되지 않고, 상식으로 알고 있는 공리가 반영되어 있는 것도 아니다. 새로운 UI 기술이 주목받게 되었을 때 그 기술을 충분히 이해하고 그 잠재력을 발휘하도록 해주는 최후의 보루는, 결국 사용자 중심의 관점를 프로젝트에 반영하는 전문성을 가진 UI 디자이너이다. (혹은 유행따라 UX.)

하나하나의 UI 기술이 상용화될 때마다, UI/UX 디자이너들 사이에는 그 완성본을 먼저 제시하기 위한 물밑 경쟁이 치열하게 이루어진다. 기술과 사용자의 입장을 모두 고려해서 최적화된 UI를 설계한 팀만이 그 경쟁에서 승자가 되고, 결국 다른 이들이 그 UI를 어쩔 수 없는 표준으로 받아들이는 모습을 흐뭇한 표정으로 볼 수 있을 것이다. 아마도.

한줄결론: Good luck out there.

신고
Posted by Stan1ey
얼마 전에 올린 polarization과 관련해서 글을 쓰던 중에, 아래와 같은 동영상을 발견했다. 지난 달 New Scientist지에 소개된 일본 전기통신대학의 "Squeezable" Tangible UI 사례.



Squeezble Tangible UI from UECSqueezble Tangible UI from UECSqueezble Tangible UI from UEC

조금은 기괴해 보이는 데모지만, 원리를 생각해 보면 상당히 재미있는 구석이 있다. 원래 LCD에서 나오는 빛은 편광성을 가지고 있는데, 그 위에 압력(stress)을 가하면 편광을 왜곡시킬 수 있는 투명한 고무덩어리를 올려놓고 그걸 눌러 LCD 화면으로부터의 편광을 분산시킨다. 카메라에서는 LCD 화면과 편광 축이 수직인 필터를 사용하고, 그러면 아무 것도 안 보이다가 분산된 편광 부분만, 그것도 분산된 만큼 - 즉, 압력이 가해지면 확률적으로 더 많은 부분이 분산되어 - 카메라에 보이게 된다는 것이다. ... 참 별 생각을 다 해냈다. -_-a;;

Photoelastic TouchPhotoelastic Touch

Tangibles 자체에 가해진 압력만으로 입력의 정도를 조정할 수 있어서, 위 동영상에서처럼 화면과 떨어진 상태에서 조작함으로써 물감을 쥐어짜 화면에 흘리는 것과 같은 인터랙션이 가능하다는 점은 기존의 TUI 연구와 차별되는 점이라고 생각한다. 특히 물체를 쥐는 동작은 근대 GUI에 은근히 많이 적용된 metaphor이므로, 이를테면 drag-and-drop을 말 그대로 "집어들어 옮겨놓기"로 구현할 수 있다는 점은 재미있을듯.

특히 압력을 기반으로 입력이 이루어지기 때문에 터치스크린의 단점인 "오터치" 혹은 사용자가 의도하지 않은 터치 입력을 방지할 수 있다는 점은 주목할 만하다. 정확성을 기대할 순 없지만 deep touch의 입력방식 중 하나로 사용할 수도 있겠다.

그래도 결국 카메라가 화면 바깥에 있어야 하므로 결국 설비가 커지는 고질적인 제약사항은 여전히 가지고 있고, 편광된 광원이 필요하므로 LCD 화면으로부터의 빛이 보이는 영역에서만 조작할 수 있다는 한계가 있을테고, 무엇보다 여러 물체를 동시에 인식할 수 없을 듯한 점(고무에 색깔을 넣어서 인식한다고 해도 극단적인 원색 몇가지로 제한될 듯) 등은 아쉬운 일이다. 후에 뭔가 딱 맞는 사용사례를 만나게 될지는 모르지만, 지금으로선 그냥 스크랩이나 해두기로 했다.



그나저나, 처음 들어본 학교 이름인지라 한번 검색해 보니, 대표 연구자인 Hideki Koike는 전기통신대학의 교수로 위와 같이 영상인식을 통한 HCI 뿐만 아니라 정보 보안이나 Info Viz, 프랙탈 시각화에 대한 연구도 수행하고 있는 사람이다. 그 중에서 위 연구가 포함되어 있는 "Vision-based HCI" 페이지를 보면 2001년에 수행한 손 위치/자세 추적 연구부터 최근의 연구 - "Photoelastic Touch"라는 제목으로 발표된 듯 - 까지 나열되어 있는 걸 볼 수 있다.

최근의 연구를 보면 재미있는 게 좀 있는데, 이를테면 역시 LCD 화면의 편광성을 이용해서 투명한 AR Tag를 만든 사례같은 경우에는 일전에 Microsoft에서 데모했던 SecondLight의 구현원리를 조금 더 발전시킨 것으로 보인다.
Invisible AR Tag - from UEC

요즘에는 공대에서 나온 HCI 연구도 제법 잘 꾸며서 나오건만, 이 학교에서 나온 결과물들은 그 가능성에 비해서 시각적인 면이 조악해서 별로 눈에 띄지 않았나보다. 너무 유명해져서 일할 시간이 없는 사람들보다, 이렇게 눈에 띄지 않았던 연구팀과 협력할 일이 생긴다면 뭔가 독창적인 성과를 낼 수 있을까. OLED가 뜨면서 사양길인가 싶은 LCD의 단점을 인터랙션 측면의 장점으로 바꿀 수 있을지도.
신고
Posted by Stan1ey
누가 뭐래도 컴퓨터의 주요 사용자 인터페이스 입력장치라고 할 수 있는 마우스를 둘러싸고, 지난 몇주 동안 애플과 마이크로소프트가 벌인 흥미진진한 싸움이 이제 슬슬 마무리 단계에 접어드는 모양이다.

Apple이야 오래전부터 마우스 바닥에 카메라를 장착해서 FTIR 방식으로 멀티터치를 인식하겠다는 특허를 발표한 적이 있고, 그 후로 애플에서 멀티터치를 적용한 마우스를 내놓는다는 루머는 수도 없이 많이 나왔다.

Apple's Optical Multitouch Mouse Patent

루머는 해를 더해 갈수록 똑같은 특허와 이미지를 울궈먹으면서 구체적이 되더니, 급기야 올해 안에 발표된다는 소문이 등장한 게 바로 지난 2일. 이때부터가 정말 재미있다. 이 발표가 나온 직후인 지난 5일 UIST 2009에서는 Microsoft Research의 연구원들이 "Mouse 2.0"이라는 이름의 연구결과를 발표한 것이다.



(Mouse 2.0이라니 묘하게 친근하다. 사실은 오래전에 마이크로소프트에서 나왔던 두번째 마우스(아마도)의 이름이 이거였다. 처음으로 쓸만한 마이크로소프트의 하드웨어 제품이었으니 나름 기념비적인 이름이랄까.)

어쨋든 이 '새로 나온' Mouse 2.0 개념은 역시 마우스에 멀티터치 개념을 부가하고 있는데, 무려 5가지 프로토타입을 등장시키고 있다. 위의 동영상을 보고 있노라면 뭐랄까, 그냥 있는 터치/동작인식 기술을 죄다 끌어내서 하나씩 접목시켰구나..라는 생각이 든다. 각각 나름의 별명까지 있는데, 아래 사진에서 왼쪽부터 "FTIR Mouse", "Cap Mouse", "Arty Mouse", "Orb Mouse", "Side Mouse"라는 명칭을 가지고 있다. ... 좀 전형적인 패턴이다. -_-a

5 Prototypes of Microsoft Mouse 2.0

그렇게 위의 동영상이 UI에 관심있는 사람들의 눈길을 한번씩 받은 다음, 2주 후인 몇시간 전에 드디어 애플이 소문의 "멀티터치 마우스"를 공개했다. 이름하여 "Magic Mouse" - 이전까지 쓰던 "Mighty Mouse"라는 명칭을 버린 것은 (역시 바로 며칠 전) 결국은 져버린 상표권 소송 때문인 것으로 보인다.

Apple Magic Mouse - Splash



오. 마이. 갓. ... 휴. 멋지다. (애플 직원들은 마이크로소프트의 동영상을 보면서 얼마나 웃어 제꼈을까. ㅡ_ㅡ;; )

자, 일단 시각적인 충격을 벗어나서 좀 생각해 보자. 이게 도대체 뭘까. 위 동영상에서도 나오듯이 저 깔삼한 외모의 윗면이 모두 멀티터치 패드라고 생각하면 되겠다. 이 곡면의 패드에서 가능한 동작은 일반적인 클릭(전체가 버튼이라고 하는데, 마이티마우스의 경우처럼 누르면 앞부분이 딸깍거리는 방식인 듯 하다), 스크롤(상하좌우로 드래그), 페이지 넘김(swipe: 두손가락을 좌우로 쓸기), 확대축소(컨트롤키 누르고 스크롤: 이건 좀 아닌듯?) 등이 있다.
Apple Magic Mouse - Gestures

다른 동영상을 보면, 어떻게 곡면에 멀티터치를 구현했는지에 대한 설명도 나와있다. iPhone의 정전압식 멀티터치 스크린을 구현할 때 사용하는 격자 전극을 곡면 안쪽에 배치해서 그 왜곡된 좌표를 가지고 손가락의 접촉을 인식하는 방식.
사용자 삽입 이미지

정전압식 터치를 이용하는 Mighty Mouse에서도 사용한 방식이고, 플라스틱 표면 아래에 정전압식 터치센서 격자를 배치한 것은 Motorola에서도 구현했던 방식이니 애플이 했다고 너무 추켜세울 필요는 없겠다. 뭐, 그걸 '멋지게' 구현한 것만큼은 인정해 줘야 하겠지만. d=(T^T) 굳이 앞에서 언급한 마이크로소프트의 프로토타입들과 비교하자면 "Cap Mouse"라는 놈과 비슷해 보인다. 마이크로소프트의 동영상에서도 눈에 띄게 칭찬을 받은 방식이고, 사용방법도 두 동영상이 크게 다르지 않다. (예외적으로, 애플이 확대축소에 pinch 동작을 대응시키지 않은 건 그 움직임의 불편함을 감안하더라도 좀 의아하다.)

그런데 이 방식의 문제는, 마이티마우스를 사용하던 사람들이 흔히 겪었듯이 오른쪽 클릭을 하기 위해서는 왼쪽 클릭을 하던 손가락을 번쩍(!) 들어야 한다는 것이다. 보통 마우스를 쓰듯이 편안하게 손가락을 얹어놓고 가운데 손가락을 지긋이 눌러 오른쪽 클릭을 하려고 한다거나, 손가락을 제대로 들지 않아서 터치로 인식되어 버린다면 왼쪽 클릭이 실행된다. 어떻게 보면 마우스로는 아주 치명적인 결함인데, Mac OS에서는 전통적으로 오른쪽 클릭을 그야말로 옵션으로나 사용하고 있다는 이유로 그냥 유지하기로 했나보다. 그 전통이라는 게 얼마나 의미가 없는지는, 새로운 매직 마우스를 설명하다가 나오는 아래 장면에서 잘 알 수 있다. 저 수많은 기능들을 왼쪽 클릭만으로 실행할 수 있을리가 없잖아! 저 불편하게 뻗힌 손가락을 보라고... 쥐 나겠다. -_-+

Apple Magic Mouse - Right Click

오른쪽 클릭 문제를 좀더 자연스럽게 해결하기 위한 기술적인 해결안은 숙제로 남겨두더라도(개인적으로는 압력센서가 답이라고 생각한다. 이것도 deep touch 개념이 되겠지만... -_-a ), 이 마우스+멀티터치패드의 가능성은 꽤 크다고 생각한다.

Apple Magic Mouse - Circle
당장 이번에 함께 발표된 MacBook의 터치패드에는 손가락을 4개까지 사용하도록 제스처가 추가되었고, 동영상에 잠깐 등장하는 동그라미를 그리는 동작 같은 경우에도 아직 실제 기능과 연결되지 않은 것 같다. iPod의 사례도 있으니 이 동작은 스크롤에도 훌륭하게 이용할 수 있을 것 같고, 아니면 확대축소에 적용해도 꽤 각광받을 것 같은 데 말이다. 그 이유야 뭐가 됐든, 애플이 숨겨진 기능을 가진 물건을 내놓는 건 처음 있는 일이 아니고... 앞으로 이 물건을 또 어떻게 개선해 나갈지가 기대된다.

... 만일 이 제품이 2주 후에 팔리기 시작해서 누군가 뜯어봤는데, 그 안에 3축 가속도 센서라도 들어있다면 난 또 굉장히 복잡한 생각과 데자뷰에 시달리게 될 것 같다. 어떻게든 꼬아서 복잡한 기술로 특허 실적을 올리려고 애쓰지 않고, 있는 기술을 최적화하고 딱 맞는 사용사례를 찾아 상품화하는 데 초점을 맞추었다면 뭐가 달라졌을까. 이 물건과 매우 흡사한 물건을 만들어냈던 사람들을 생각하면 입맛이 씁쓸할 뿐이다.




그나저나, 그래서 애플이 이 제품을 먼저 출시함으로써 차세대 마우스의 주도권을 쥐게 될까? 사실 그건 잘 모르겠다. 아무래도 애플이 PC 시장에서는 소수그룹이고, 출시가 임박했고 개발자 버전의 평판이 상당히 좋은 "Windows 7"에는 이미 멀티터치를 포함한 Touch Pack이 포함되어 있다. 비록 몇개월이 늦더라도 윈도우즈 시스템과 호환이 되는 멀티터치 마우스가 나온다면, 그리고 그게 애플의 것과 딴판이고 서로 호환되지 않다면... 시장을 선도한다는 것과 지배한다는 것은 좀 다를 수도 있겠다. ... 박리다매도 뭐 또 다른 접근방법이 되겠고. -,.-
신고
Posted by Stan1ey
영국 통신사 O2에서 O2 Joggler라는 디지털 액자를 내놓았다. 우리나라에서도 비슷한 시도가 여러번 있었으니 뭐 새롭다할 건 없지만, 그래도 하도 광고를 해주는 덕택에 궁금해져서 한번 들여다 봤다.

O2 Joggler

통신사에서 만들었다길래 당연히 휴대폰 망을 쓰는 줄 알았더니, 의외로 WiFi나 유선 랜에 연결해서 쓰는 웹 기반의 서비스다. O2 웹사이트에서 서비스하는 O2 Calendar에서, 가족/친구들끼리 일정을 공유하는 서비스를 제공하면서 그 공유된 일정을 Joggler 장치에 다운로드 받아 보여주는 듯. 공유 일정이라면 Google Calendar에서 해주던 거지만, 무슨 생각인지 저 위에서 보이듯이 "Your New Fridge Door"라는 카피를 중심으로 그 일정공유 기능을 가장 앞세워 열심히 홍보를 하고 있다.



물론 PC와 연결해서 사진, 동영상, 음악을 다운로드/재생할 수 있는 건 기본이고, 일반/스포츠 뉴스(이 동네에선 스포츠 뉴스가 세상 무엇보다도 중요하다;;)를 알려주고 날씨와 교통상황도 알려준다. 간단한 게임도 들어가 있고, 문자 송수신과 인터넷 라디오도 넣을 예정이라고 한다. 요컨대 인터넷에서 다운로드 받을 수 있는 정보를 이것저것 집어넣었다는 건 이제까지 나온 물건들과 하나도 다를 게 없는데, 단지 그 중심을 사진 재생(디지털 액자)이나 최신정보 제공(대쉬보드)으로 잡지 않고 가족 간의 일정정보 공유로 잡았다는 것이 가장 큰 차별점이 되겠다.

[O] 참고: O2 Calendar 사용 동영상


개인적으로 디지털 액자에 대한 애정도 있고 해서 아쉽기도 하고, 솔직히 저렇게 냉장고 문에 붙여놓은 온갖 맥락의 정보들을 작은 화면에 건조하게 나열한다는 게 좋은 생각이라는 생각은 안 든다. 하지만 이 기기(혹은 서비스)가 통신사에서 만들었다는 느낌이 드는 유일한 점 - 일정알림이 휴대폰 문자메시지로 도착한다 - 을 최대한 살린다고 생각하면 뭐 나름의 고충은 이해가 간달까.

O2 Joggler
지난 십여년간 실패를 거듭해온 컨셉에 작은 (7인치) 화면, 기껏 휴대폰 망을 가지고 있으면서도 전원선에 랜선(WiFi가 없다면)까지 꼽아야 하는 물건을 만들어 내다니. 솔직히 유용할 것 같지도 성공할 것 같지도 않은 물건이지만, 그래도 GUI를 보면 구석구석 공들인 흔적이 보이니 '행운'을 빌어주는 수 밖에.

YouTube에 위 광고가 올라왔나...하고 검색하다가, 재미있는 동영상을 발견했다. 동영상간 링크 기능을 활용한 Walkthrough가 올라와있다. O2에서 공식적으로 만들어 올린 것 같기는 하지만, 이 링크 기능이 동영상 미연시 게임을 만드는 데만 유용한 게 아니었구나... ㅎㅎ



... 결국 터치스크린을 쓰고 있다는 것일 뿐, 터치 UI에 대한 재미있는 점은 하나도 없었다. 이거 블로그 성격에 안 맞는 글이 되어 버렸지만, 그래도 모처럼 썼으니 올리자. ㅡ_ㅡa;;;
신고
Posted by Stan1ey

삼성에서 "Alias 2" 라는 이름으로, e-Paper (참고로 e-Ink는 상표명이다)를 버튼에 적용한 듀얼힌지식 폴더형 휴대폰을 출시한다고 한다. 이 제품은, 가로모드일 때와 세로모드일 때 등, 사용상황에 따라 버튼에 표시되는 내용을 전자종이를 이용해서 그때그때 바꿔준다고 한다.

Samsung Alias 2 e-Paper PhoneSamsung Alias 2 e-Paper Phone

첨단(혹은, 최근)기술을 적용한 혁신적인 사례라든가, 반면에 버튼부분의 디자인은 시대에 뒤떨어져 보인다든가 하는 반응이 있을 수 있겠고, 이미 2년전 일본에서 나온 컨셉폰과 비교할 수도, OLED를 이용한 작년의 Optimus 키보드와 비교해서 생각해 볼 수도 있겠다.

일전에 유출되었던 같은 제품의 이미지를 보면, 터치스크린이 아니라 물리적으로 눌리고 촉각적인 피드백이 가능한 버튼이 사용되었음을 볼 수 있다.

Samsung Alias 2 Leaked Photo

이 방식의 버튼은 사용하기 전에는 동적으로 변하는 버튼의 기능을 명확하고 안정적으로 확인할 수 있고, 사용할 때에는 돔스위치의 촉각적인 피드백(딸깍)을 제공함으로써 입력에 대한 확신을 줄 수가 있다. 즉 정해진 구획을 갖는 버튼을 이용한 UI에 대해서라면 터치스크린보다 나은 일반적인 사용성을 제공해 줄 수 있는 것이다. (터치스크린 외에 이것과 반대의 시각vs촉각 trade-off를 보여준 사례가, 같은 회사의 '쏘울폰'이라고 할 수 있겠다.)



이 제품에 사용된 전자종이 기술은 각 픽셀을 따로따로 조정해서 어떤 이미지든지 표시할 수 있는 방식이 아니라, 미리 정해진 영역에 그림이 그려져 있고 그 그림의 표시여부를 on-off 할 수 있는 template 방식으로 보인다. 대부분의 디지털 시계에서의 LCD 화면과 동일한 방식이라고 생각하면 되는데, 이 방식은 자유로운 화면표시가 불가능한 반면 X-Y 좌표에 따른 픽셀구동을 위한 배선과 전자부품이 필요없기 때문에 훨씬 작은 부피안에 - 즉, 버튼 안에 - 구현이 가능했을 것이다.

템플릿 방식의 전자종이가 사용되었으므로, 위의 사진들에서 볼 수 있듯이, 각 버튼에는 세로 숫자, 가로 숫자, 가로 문자, 그리고 기타 아이콘 등이 표현되는 영역이 정해져 있어서, 어느 쪽의 힌지가 열려있고 어느 기능이 구동되는지에 따라 필요한 표시(들)만을 표시해주고 있음을 알 수 있다. 전자종이의 유용한 점 중의 하나인 '일단 화면을 바꿔주고 나면 전력이 소비되지 않는다'는 점을 생각하면, 화려한 LCD, OLED 화면을 버튼에 넣는 것보다 오히려 현실적인 기술의 선택이었다고 본다.



게다가, 전자종이를 이용한 UI를 생각할 때 (그 제한된 기능에도 불구하고!!!) 그나마 유용하게 쓸 수 있는 트릭인 "역상"이 잘 적용되었다는 것도 볼 수 있는데, 세로로 펼친 화면에서 검게 표시된 상하좌우+OK 버튼(일명, 5방향키)이 가로 모드에서는 위치와 배치를 바꿔서 똑같은 시각효과로 표시되었음을 볼 수 있다. 역상으로 표시된 경우에도 화면을 유지하는 데에는 전력이 들지 않으므로, 이 역상을 잘 이용하면 훨씬 더 많은 버튼표시의 조합을 만들어낼 수 있다.

개인적인 억측일지 모르겠지만, 아직도 이 버튼들에는 빈 곳이 많아 보이고, 공개된 사진 외에도 음악/동영상 감상을 위한 버튼이라든가, 사진촬영을 위한 버튼이라든가 하는 것이 들어갈만한 자리가 마치 일부러 빼먹은 것처럼 비어있다. 현재까지 공개된 사진은 공개를 염두에 둔 사진이고, 실제 제품리뷰에서는 그런 기능이 깜짝 등장하리라 기대하는 것은 너무 앞서나가는 걸까? (요새 자주 앞서나가는 관계로;;)

... 그나저나 이거 레이아웃 짜신 분, 머리 꽤나 아팠을 듯. 하나하나의 버튼에 가로 세로 각각 숫자키 모드, 문자입력 모드(QWERTY든 Multi-Tap이든)를 넣고 그 와중에 일관성을 유지하려고 노력한 흔적이 절절히 보인다. 완벽하다고는 말할 수 없겠지만, 주어진 제약조건 하에서는 최선의 배치를 끌어낸 듯. 수고하셨습니다!



몇가지 아쉽다고 할 수 있는 점은, 사실 전자종이의 숙명이라고도 말할 수 있는 저 '갱지에 인쇄한 듯한' 모양새인데, 아무리 해상도가 높고 '종이로 보는 듯한' 모습이라고 할지라도 그 종이가 갱지여서야 추억을 되새기게 할 뿐이다. -_-a;; 사실 전자종이의 구현방식 자체가 완전한 검은색이나 흰색을 (최소한 같은 장치에서 함께는) 표시할 수가 없는지라, 그에 따른 UI 상의 대안은 좀더 모색되었어야 한다고 생각한다. 개인적인 느낌으로는 글꼴이나 화살표, 아이콘 등이 전자종이의 contrast를 생각하면 조금 달라질 수 있지 않았을까 싶다. (특히, 전자종이의 해상도를 잘 이용하면, 실제 버튼에 인쇄해야 하는 경우나 LCD 화면에 표시해야 하는 경우와 달리 미묘한 글꼴 디자인이 가능했을 것이다. Typography의 기본으로 돌아간다든가.)

버튼의 플라스틱 자체에 색을 좀 넣어서 제품과의 시각적인 이질감을 없앤다거나, 아예 e-Ink사와 이야기해서 전자종이에 들어가는 알갱이에 검은색이 아닌 다른 색(삼성남색이라든가 ㅎㅎ)을 넣어달라고 했다면 어땠을까. 컬러 전자종이가 상용화 수준에 오기 나오기 전까지는 단색 전자종이의 안료를 개발하는 것이 가장 큰 목표라고 보는데, 그냥 '디폴트 색상'을 사용한 듯한 느낌이 조금 느낌상의 완성도를 떨어뜨리는 듯 하다. 무엇보다 저 희미한 회색화면은 너무 많이 봤다. -_-a;;;

기왕 전자종이를 사용하는 김에, 그동안 배터리 소모를 핑계로 항상 표시하지 못했던 것들 - 시계(분 단위 갱신이면 충분하다!), 받은메시지/놓친통화, 배터리 잔량 - 을 표시해주는 부분을 추가했다면 어땠을까. 휴대폰 바깥의 한면에 늘 그런 정도가 나타난다면 휴대폰을 거창하게 열고 어쩌고 하는 일이 줄어들테고, 굳이 밝은 화면을 켜서 주변의 시선을 모으지 않고도 당장 필요한 정보를 빠르게 얻을 수 있을 것이다. 물론 이런 아이디어는 안 나왔다기 보다, 나왔지만 이런저런 문제로 기각되었다고 보는 게 맞겠지만... -,.-

그리고 전에 아마존 Kindle 때에도 언급했지만, e-Paper의 치명적인(?) 단점은 디스플레이인 주제에 (다른 디스플레이 기술과 비교해 보면) 자체발광하는 게 없어서 밤에는 안 보인다는 것이다. 그냥 버튼에 인쇄된 레이블을 대체한 것으로 생각하면 당연한 소리지만. ㅎㅎ 게다가 일반 버튼이나 LCD 처럼 생각하고 백라이트를 뿌려주면, 역시 그 구현방식 상 희게 표시된 부분도 검게 표시된 부분도 똑같이 거무튀튀한 색으로 변해 버린다. 결국 꽤 고심해서 전방조명을 넣었어야 했을 듯 하고, 가로 모드의 소프트키 안쪽의 어색한 공간이 아마도 LED를 위한 자리가 아닐까 싶긴 하다. 하지만 저렇게 복잡한 버튼들에 골고루 빛을 보내는 건 거의 불가능해 보이는... ㅎㄷㄷ. 굿럭.



끝으로, 아래는 다른 유출된 이미지다. 요새는 웹사이트 업데이트할 때 비밀유지를 책임지는 솔루션을 만들어서 팔아도 잘 팔리겠다는 생각이 든다.

Samsung Alias 2 Explained




... 여전히 앞뒤없는 이 글의 개인적인 화두는, 하나의 아이디어가 상품으로 나오기까지, 그것도 가장 기초적인 형태만으로 출시되기까지 4년이나 걸리는 이유가 뭘까에 대한 거다. 또한 HTI의 적용에 있어서 단지 어떤 기술의 도입(혹은 그냥 삽입)에 그치는 경우와, 그 기술로 할 수 있는 모든 것을 단번에 뽑아내는 조직, 혹은 업무 방식의 차이는 어디에 있을까? 아이팟을 기안하고 시제품을 만드는 데에는 2달이 걸렸다고 한다. 아이폰의 경우에는 1년이 넘게 걸렸다고 한다. 혹시 그렇게 "오래" 하나의 프로젝트 팀을 유지할 수 있는 여유가 없다는 사실이, 오히려 제품 아이디어를 빨리 제품화시키지 못하는 가장 중요한 이유는 아니었을까.

이래저래 무척 반갑고, 무척 아쉬운 소식이었다. 다들 어디서 뭐하시는지. -,.-

신고
Posted by Stan1ey

센서 기반 UI 라는... 그런 제목을 한동안 달고 다닌 적이 있었다. 그때는 그게 기술 중심의 연구소에서 사용자 - 연구원과 경영진 - 에게 쉽게 이해될 수 있는 호칭이었기 때문인데, 그게 결국 HTI로 이어진 셈이다.

CACM, Feb 2009 issue
<Communications of ACM>의 지난 2월호 한켠에 실려있는 기사 - "Making Sense of Sensors" - 는, 제목만 보고도 무슨 이야기를 하려는지 분명하게 알 수 있었다. 이제 이런 얘기가 나올 때가 됐지.

센서를 통한 암시적 입력이, 당연히 명시적 명령입력과 기대했던 결과출력으로 이루어졌던 사용자 인터페이스에 사용된 건 그다지 오랜 일도 아니고, 이런 종류의 UI에 대한 사용자의 반응이 항상 좋았던 것도 아니다. 무엇보다 분명한 알고리듬이 존재한다고 하더라도 제멋대로 판단해서 움직이는 듯한 물건에 대해서 호감을 가지려면 서로 친숙해질 시간이 필요한 것이다.

이제 슬슬 그런 타이밍인 걸까. 이번 기사의 제목은 그런 의미에서 개인적으로 의미가 크다. 그래서 이런저런 회포나 풀면서 머릿속을 정리해 보려고 끼고 있었는데, 점점 블로깅에 투자할 시간이 없어진다. 이러다가 곰팡이 피기 전에 그냥 스크랩이나 하고 말기로 했다.


아래는 이 기사의 마지막 문단이다. 맘에 들어서 퍼넣어야지 했다가 깜박해서 다음날 추가. 감기약 때문에 정신이 혼미한듯. ㅎㅎㅎ

... When sensors start to do more than just transmit sensory data to a traditional two-dimensional computer screen, the way we interact with computers will fundamentally shift, as physical objects become "smarter" about themselves and the world around them. When that starts to happen - when computers start taking shape in three dimensions - sensors may just start making sense.

저자는 Alex Wright라는 사람인데, 말 장난을 좋아하는 사람이다. 같은 과라 호감이 간달까.


아, 참고로 이 기사의 내용은 별 게 없다. 유투브에서 많이 유명해져서 여기저기 강연을 다녔던 Johnny Lee의 연구내용을 필두로 저자가 아는 범위에서 여기저기 연결점을 찾으려는 노력이랄까. 딸랑 2쪽 분량으로는 단지 몇가지 사례를 나열한 느낌이지만, 좋은 제목에 걸맞게 좀더 잘 정리할 수 있었던 좋은 주제였기에 좀 아쉽긴 하다.

신고
Posted by Stan1ey
엊그제 아는 분이 재미있는 동영상이라면서 URL을 하나 보내줬다. 바로 G-Speak. 모르긴 몰라도 꽤나 주목받을 것 같은 완성도의 제스처 입력 장치다. 일단은 받은 동영상부터 연결하고 시작하자.




Gestural Interface in Minority Report
영화 <마이너리티 리포트>가 개봉된 게 벌써 6년 전이다. 그 동안 수많은 Gesture UI와 Tangible UI, 그리고 가장 자격미달인 Touch UI까지 이 영화를 인용하며 자기 UI의 '혁신성'을 강조하곤 해왔다. (사실 영화야 2054년을 배경으로 했다고 해도 그것과 비교될 만한 걸 만든 건 왠지 혁신과는 거리가 있지 않나... -_-a ) 그런데, 이번엔 아예 영화 속의 동작기반 UI를 온갖 기술을 동원해서 똑같이 재현한 게 나온 거다. 이건 차라리 좀 혁신적이다.

G-Speak by Oblong Industries

이 프로토타입 시스템은 Oblong Industries이라는 작은 기술벤처 회사에서 개발한 것으로, 미국 방위산업체인 Raytheon Systems에서 자본을 댔다는 것 같다. 이 시스템에 대한 소개는 벌써 2006년 미국에서 방송을 탄 모양으로, CNN과 CBS에서 방송된 내용이 이미 유투브에 올라와 있다.

다음 날 아침에 추가:
뒤늦게 팀원이 지적해줘서 확인해 보니, 이 방송내용은 2006년 12월자 포스팅이다. =_=;; 결국 이때의 시스템을 개선(카메라 위치라든가 사용자 앞의 작업테이블로 이동하는 방식이라든가)해서 며칠 전에 맨 앞의 동영상을 올렸다고 보는 게 맞을 듯. 추가로 홍보비를 확보한 걸까. -_- 어쨋든 아래 뉴스 동영상에 기반한 내용들과 위 동영상 내용은 시기적으로 구분해서 참고하시길.



하나 더. (위의 것이 CNN, 아래 것이 CBS)


이제까지의 "마이너리티 리포트 방식" UI 들이 감히 하지 못한 게 데모 전에 실제로 영화의 장면을 보여주는 거 였는데, 저 화려한 실행장면에 비해서 그 일부만 구현했거나 온갖 보조장치가 덕지덕지 붙어 등장하는 기술데모는 초라하기 그지 없었기 때문이다. 그런데 이번엔 아예 보란듯이 나란히 보여주기까지... 아주 자신만만하다.

조금 감상적으로 씌여진 회사의 연혁 혹은 기술적 배경역사를 보면 알 수 있듯이, 이 회사의 대표는 바로 MIT Media Lab의 Tangible Media Group에서 Hiroshi Ishii 교수에게 수학했던 John Underkoffler이다. 말하자면 Tangible UI의 1세대라고 할 수 있겠는데, 그동안 그저 TUI의 태고적 흑백동영상 정도로 치부되던 1997년의 'Luminous Room' 동영상까지 덩달아 띄우고 있다. (이 기회에 개인적으로 좋아라 하는 I/O Bulb 개념에 대한 업계의 관심도 좀 살아나줬으면 좋겠는데 어쩌려나.)





이 사람의 배경을 생각하면서 뉴스에 나온 영상들을 들여다보면, 대충 이 시스템은 AR 태그를 이용한 인식방법과 모션캡춰를 결합해서 돈을 아끼지 않고 만든 시스템으로 보인다. 최소한 3대의 프로젝터와 최소한 6대의 적외선 카메라, 그것도 카메라는 상당히 고해상도임이 틀림 없다. 그렇다고 시스템이 고정된 건 아니고, 그때그때 공간에 맞게 설치해서 calibration해서 사용할 수 있는 모양이다. 맨 앞의 동영상을 자세히 들여다보면 사용자 앞의 벽면에서 사용자를 노려보는 카메라만 5개다.

G-Speak System ConfigurationG-Speak System ConfigurationG-Speak System Configuration

인식은 일반 모션캡춰에서 쓰이는 것보다 훨씬 작은 적외선 반사체를 양손의 장갑위의 손등과 엄지/검지/중지에 붙이되, 각각의 위치에 5x7의 격자를 놓고 35칸 중에서 5~6군데에만 반사체를 붙여 각각의 점을 구분하는 방법을 사용하고 있다. 널리 사용되는 AR Toolkit에서 흑백으로 인쇄된 종이를 사용하는 걸 응용한 듯.

G-Speak IR Tag for RecognitionG-Speak IR Tag for RecognitionG-Speak IR Tag for Recognition

IR LED Array in Ordinary Camera
문제는 정황 상으로는 비싼 군사용 고해상도 적외선 카메라와 엄청나게 빠른 컴퓨터를 사용했을 것 같은데, 카메라에 비친 저 카메라들과 광원의 모습은 전혀 적외선 카메라가 아니라는 거다. 일반적으로 적외선등(IR-LED Array)은 눈으로는 안 보이지만 보통 카메라로 찍으면 왼쪽 사진(2005년 용산 CGV의 영상인식 홍보설치물에서 촬영)처럼 보라색 광원으로 보이기 마련인데, 촬영된 동영상 어디에도 그런 건 없고 오히려 연두색 점광원만 보이고 있다. 흐음. 설마하니 자외선등 같은 건 아닐테고, 보안을 이유로 카메라에 적외선 필터라도 달게 한 걸까. 그렇다고 카메라의 빨강 LED가 녹색으로 보일 정도로 심한 필터링이 가능한지 모르겠다. ㅡ_ㅡa;;; 그 외에도 저 손가락 태그에 노란색/보라색 색이 칸칸이 다른 모양으로 칠해져 있는 이유가 딱이 설명되지 않는다. 뭔가 단순히 적외선 반사체의 배열로 AR tag를 대신해서 모션캡춰 장비에 연결시킨 것만은 아닌 모양.

그래서... 혹시나 해서 특허를 찾아보니 뭐 줄줄이 나온다. 저 앞의 뉴스에서는 원리가 비밀이라고 하더만, 딱히 비밀일 것도 없네 뭐. ㅡ_ㅡa;;; 대충 앞에서 설명한 것과 맞아 떨어진다. 2006년 2월에 출원했는데 여태 등록이 안 된 상태라서 그렇게 말한 걸지도 모르겠다. 어쨋든 특허만으로는 그냥 적외선 카메라 외에 특별한 걸 못 찾았다. 결국 이번 시스템의 기술적 비밀은 그저 막대한 (눈 먼) 군사자본이었던 거냐... OTL...

G-Speak Patent DrawingG-Speak Patent DrawingG-Speak Patent Drawing




바로 전의 소니의 동장인식 게임 컨트롤러의 뉴스도 그렇고, 며칠 후에 올리려고 하는 뉴스도 있고... 요 며칠 참 동작기반 UI 관련 소식이 많다. 이번의 G-Speak가 많은 동작 UI 팬들의 마음을 설레게 할 만큼 영화 속의 환상을 잘 재현하고, 상상으로만 생각하던 동작인식 시스템을 그대로 구현한 건 사실이지만... 여전히 UI의 근원적인 질문을 안 할 수는 없을 것이다. "이게 쓰기 편할까?"

솔직히 동작인식.. 그것도 저렇게 양팔을 열심히 돌리고 움직여야 하는 UI가 사용자에게 편할 리가 없잖아. =_=;;; 테러리스트 잡으려는 일념으로 뭐 하나 검색하고 나면 완전 땀으로 범벅 되겠다. ㅋㅋ 게다가 동작 UI 해 본 사람은 안다. 동작명령 외우는 게 "가리키기"와 "잡기"를 제외하고는 (그런데 이것도 결국 마우스의 point and click이라 ;ㅁ; ) 얼마나 어려운지.

테러리스트 잡으려면 사실 데이터가 확보되는 게 우선이고, 데이터가 확보된 후에는 3D 마우스나 터치스크린 정도면 충분한 속도로 검색할 수 있을 것 같다. 굳이 저렇게 '달밤에 체조'를 하지 않아도 볼 수 있는 건 충분히 볼 수 있으텐데 말이지... 굳이 사용자의 손을 영상인식으로 추적하는 것보다, 수집된 영상데이터에서 수상쩍은 상황을 영상인식으로 골라내서 보통 PC 앞에 앉은 사람에게 최종확인을 맡기는 게 나을 것 같은 생각이 든다. ㅡ_ㅡa;; (아 물론 쫌 과장이다. 적외선 광점을 찾아내는 건 수상한 상황을 인식하는 것보다 몇천배 쉽다 ^^: )
신고
Posted by Stan1ey

... 뭐, 그런 논리적이고 설득력 있는 연유로 해서 ( '-')y~, 휴대폰 없는 생활에 지겨워진 어느 날 iPhone을 질러 버렸다. ㅡ_ㅡa;;; 한 이틀 잘 가지고 놀다보니, 인터넷으로 지겹도록 예습한 iPhone 자체의 기능들보다 AppStore에서 다운로드 받을 수 있는 소프트웨어 중에 재미있는 게 너무 많아서 즐거운 비명을 지르는 중이다. 탑재하고 있는 센서와 네트워크 기능, 게다가 뛰어난 그래픽 엔진까지 달려 있으니 뭐 아이디어와 열정과 욕심이 있는 엔지니어들이 얼마나 신이 나서 만들었는지가 보이는 느낌이랄까.

이런저런 재미있는 장난감들이 있지만, 그 중 다음 몇가지 어플은 어떤 식으로든 센서로부터의 입력 신호를 바탕으로 패턴을 인식해서, 그걸 사용자로부터의 암시적 입력으로 사용하는... 뭐 결국은 HTI 어플이라고 할 수 있는 것들이다. AppStore에 올라와 있는 것들 중 전부는 아니겠지만, 그래도 제법 많이 뒤져서 찾아낸 거다.

My Collection of iPhone HTI Apps


1. Movies
iPhone Apps - Movies
iPhone Apps - Movies
영화를 검색하고, 현재 위치에서 가까운 극장에 대한 상영정보와 함께 영화 정보나 예고편을 볼 수 있는 어플이다. 현재 위치를 사용할 수도 있고, 임의의 다른 지역을 '디폴트 지역'으로 설정할 수도 있다. 위치 정보를 이용하는 모든 어플들은 처음 시작할 때 "위치 정보에 대한 접근을 허락하겠느냐"는 확인을 하게 된다. 등록된 영화정보가 많다보니 이 지역과 관련이 적은 영화도 올라와서 걸러내기가 힘들긴 하지만, 그래도 평점 같은 정보는 정말 도움이 많이 될 듯.


2. AroundMe
iPhone Apps - AroundMe
iPhone Apps - AroundMe
마치 LBS의 표본 같은 어플로, 그야말로 사용자의 현재 위치에 기반해서 알려줄 수 있는 유용한 지점 정보를 (구글에 등록된 항목들을 바탕으로) 검색해서 나열해 준다. 카 내비게이션에서 종종 보이는 POI 표시/검색 기능과 비슷하다고 할 수 있는데, GPS로 인해 정확한 위치가 가능하니 얼마나 앞에 있는지를 정확하게 보여주고 구글 맵 지도 위에서 확인할 수 있게 해 준다. 물론 구글 맵 위에는 내 GPS 신호의 위치가 함께 표시가 되니까, 예전에 동영상으로 숱하게 찍어냈던 ubicomp 서비스가 이제 이만큼이나 구현되어 있구나... 하는 느낌이다. 실제로 언젠가 봤던 노키아의 기술비전 동영상 (뭐 왠만한 회사에서는 다 동일한 내용이 있었던 것으로 기억하지만 -_- ) 속에서처럼, 친구들이 서로의 위치를 확인할 수 있다든가 하는 어플도 나와있는데, 무료가 아니라 패쓰. ㅋㅋ


3. SnapTell
iPhone Apps - SnapTell
iPhone Apps - SnapTell
아이폰 어플 중에 영상인식을 사용하는 게 있는 걸 보고 많이 놀랐다. 인식용으로 사용하기에 카메라의 화질도 별로고, 아무래도 모바일 환경에서 찍힌 사진에는 인식을 방해하는 요소가 많이 포함되기 마련이니까. 이 어플은 책/영화포스터/CD표지 등을 찍으면 그에 대한 평과 관련 정보를 보여주는 기능이 있는데, 미국에 출판되었을 법한 책을 하나 집어서 찍어보니 꽤 정확하게 인식하고 있다. 단지 광고와 달리 영화포스터는 몇 개를 해봐도 정보가 없었고, 게임 CD도 인식하지 못했다. 그래도 예전에 언급한 Evolution Robotics사의 기술과 유사한 게 적용되어 있는지, 배경만 깔끔하다면 조금 삐딱하게 찍어도 되는 것 같고, color histogram 같은 게 아니라 제대로 윤곽선 따서 하는 듯 하다. 흑백으로 복사한 책 표시를 인식시켜봐도 똑같이 검색이 되는 걸 보면. ^^; 기왕이면 내가 찍은 사진과 검색된 책 표지를 같이 보여주면 좋을텐데, 검색이 성공했을 경우엔 그걸 확인할 방법이 없으니 간혹 엉뚱한 책이 검색됐을 때 왜 그랬는지를 추정할 수가 없다. (일반 사용자 용의 기능은 아니겠지만 -_- )


4. Evernote
iPhone Apps - Evernote
iPhone Apps - Evernote
사진을 찍어서 저장하면 사진에 포함된 글자를 인식해서 단어로 검색할 수 있게 해준다고 하길래 얼른 설치한 어플이다. 기능은 로컬이지만 결국 영상인식은 위의 SnapTell과 마찬가지로 서버에서 하는 듯, 사진을 등록할 때마다 꽤나 시간이 걸린다. 그런데도, 사실은 인식의 난이도를 넘넘 낮춰가며 여러가지를 시도해봐도 인식이 된 적이 없다. 엔진의 문제인지 뭔지는 몰라도 마치 사장 데모 만큼이나 감감 무소식에 뭐가 잘못 됐는지도 알 수가 없어서 그냥 포기했다.


5. Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus

음성인식 어플이 나와있었다! 그것도 무료로! Cactus Voice Dialer라고 되어 있는 이 어플은 주소록의 이름을 인식해서 전화를 걸어주는데, 전화기에서 VUI의 첫번째 응용이라고 볼 수 있는만큼 좋은 징조라고 생각한다. 무료 어플이긴 하지만 음성인식 다이얼링에 필요한 기능과 옵션들을 두루 잘 갖추고 있고, 음성인식 오류를 최대한 줄이기 위한 지침도 역시나 '아무도 읽지 않을 장문으로' 꼼꼼히 적혀 있다. 실제로 여러 영어이름을 넣어 실험해 보니 처음에는 indexing을 하는지 좀 오래 걸리지만 다음부터는 더 빨리 구동되는 듯 하고(600명 정도 넣었을 경우), 인식률은 그다지 높은 편이 아니었다. 전화번호까지 넣고 해본 게 아니고, 아무래도 실험참가자의 영어 발음이 알아듣기 힘들었던지라 그다지 공정한 판정은 아니라고 해도. -_-
VUI 자체는 가장 일반적인 방식, 즉 Push-to-Talk 방식의 터치 버튼("Speak")을 채용하고 결과를 1개 혹은 옵션에서 선택하면 3개까지 보여주는 식이다. 인식결과에 대해서 무조건 전화를 걸게 한다든가, 인식결과에 나온 사람의 대표 번호를 디폴트 선택으로 할 것인가 라든가 하는 것도 voice dialer를 표방한 이상 들어갈 수 밖에 없는 기능들. 하지만 인식기 자체는 위 그림에서 보이듯이 "Call John Smith's mobile" 따위의 최소한의 구문은 인식할 수 있도록 되어 있다. (IBM에서 VoiceSignal로 넘어오는 대표적인 '전화걸기' 구문 되겠다) 비록 시각적인 (그리고 아마도 인식엔진의) 완성도는 떨어진다고 해도, 이만큼 충실하게 만들어진 어플이 무료로 배포되다니, 정말 유료로 살 정도의 시장은 없는 건가... OTL..


6. CenceMe
iPhone Apps - CenceMe
iPhone Apps - CenceMe
iPhone Apps - CenceMe
이게 또 재미있는 어플이다. 가속도 센서의 입력을 가지고 각 방향으로의 강도와 빈도를 분석해서 사람이 어떤 행동을 하고 있는지, 즉 소위 말하는 "사용자 행동 정황"을 파악하겠다는 시도는 많은 연구가 이루어져 있다. 대부분의 취지는 뭐 휴대단말이 사용자에게 전달할 메시지가 있을 때 그 적절한 '끼어들기' 타이밍을 좀 판단하겠다는 거다. 이메일이 왔다거나, 전화가 왔다거나 하는 메시지가 대표적이고, 소리로 알릴지 진동으로 알릴지 나중에 알릴지 등등의 판단을 유도하곤 한다. 이 어플은 정확히 똑같은 일을 하면서, 그 '정황'을 무려 내 계정의 FaceBook에 연결시켜 보여준다. 이 정황은 2가지 아이콘으로 보여지는데, 앞의 것은 자동으로 업데이트되고, 뒤의 것은 자기가 원하는 아이콘(정황을 보여주는)으로 바꾸거나 사진을 찍어 올릴 수 있다. 덤으로 위치 정보까지 같이 올려주는 모양인데, 어떻게 보면 상당한 사생활 공개라고 하겠다. ㅡ_ㅡa;;;
CenceMe Application on FaceBook
그래도 공짜니까 받아서 여러가지를 테스트해 봤는데, 오른쪽 그림의 몇가지는 어느 정도 잘 인식하고 있었다. (실험 과정에서 룸메이트가 항의하는 사태가 있었다;;;) 이 어플의 문제는 어플이 떠있는 동안에만 센싱 및 업데이트가 된다는 점이 아닐까 한다. FaceBook 업데이트하려고 이 어플만 띄워놓고 다닐 사람은 없을테니까.  그 외에도 아주 심각한 문제를 하나 안고 있는데, 정작 그 사용자는 이런 행동을 하는 동안 자기 FaceBook에 뭐가 표시되고 있는지를 볼 수 없을 거라는 거다. 실제로도 열심히 뛰고 헉헉 거리면서 바로바로 캡춰하지 않으면 위의 장면들도 얻기 힘들었을 거다.


7. WritePad
iPhone Apps - WritePad
iPhone Apps - WritePad
IUI 분야의 선구자 중 한 분라고 생각하는 IBM의 한 연구자가 십년 너머 연구해 온 터치스크린 키보드가 있다. 처음에는 ATOMIK 이라고 부르면서 입력시의 동선을 최적화 시킨 새로운 키보드 배치를 제안했는데, 요즘은 SHARK 라는 이름으로 바뀌고, 배치도 결국 사람들에게 익숙한 QWERTY 자판을 쓰고 있다. 이 연구를 상업화한 것이 ShapeWriter 라는 회사이고, 이 어플은 실제 사용할 수 있도록 개발/공개된 첫번째 상품(?)이다. 아이폰의 다른 기능과 그다지 어울리지 않아서 데모 소프트웨어와 다른 점은 모르겠지만, 그래도 최근 Google Android 위에서도 개발되는 등 활발한 활동을 보이고 있다. 실제로 이 '그려서 글자입력' 방식을 써보면 꽤 편하고 무엇보다 빠르다는 걸 알 수 있는데, 터치스크린이 손가락을 가리는 단점을 잘 극복한다면 (아이폰의 기본 GUI scheme만으로 가능할거다) 이 터치스크린 시대에 잘 맞는 새로운 표준이 될 수도 있을 듯 하다. (뭐 이런 류의 연구가 늘 그렇지만, 한글입력은 아직 지원하지 않는다 -_- ) 위 회사 웹사이트에 가면 상당한 정보가 있으니, 관심 있으신 분은 가봄직하다.


8. PanoLab
iPhone Apps - PanoLab
iPhone Apps - PanoLab
이 어플은 사실 HTI, 혹은 인식기반의 어플이라고는 할 수는 없다. 하지만 여러 장의 사진을 이어붙여 파노라마 사진을 만드는 과정에서, 그냥 평면적인 조합이 아니라 iPhone 카메라의 고정된 화각과 초점거리를 적용해서 구면 상에서 합성하도록 되어 있는 어플이다. 그 덕에 사진 바깥쪽의 왜곡에도 불구하고 좀 더 잘 겹쳐지는 것 같기는 한데, 사실은 아무래도 정확할 수 없어서 뭐 있으나 마나 하다. 그래도 그렇게 합성한 사진을 저장하고 바로 보낼 수 있는 점은 확실히 장점이어서, 돌아다니다가 본 풍경을 공유하거나 할 때 유용할 듯.


9. LlamaLight
iPhone Apps - LlamaLight
PDA를 쓰던 시절에 가장 유용한 필수어플이었던 PalmMirror (화면을 검게 표시해서 얼굴이 비친다;;)와 PalmLight (화면을 하얗게 표시해서 조명으로 쓸 수 있다;;)를 기억한다면, 이 어플에 대한 설명은 왼쪽 화면 만큼이나 단순하다. 단지, 터치하는 위치에 따라 색과 밝기를 바꿀 수 있다는 정도가 다른 점이랄까. 하지만 이 "가장 단순한" 기능을 HTI 기반 어플로 언급하는 이유는 그 플래시 기능 때문이다. 한가지 색상을 선택한 후에 다른 색상 위치를 서너번 같은 간격으로 tap 하면, 그걸 인식해서 그 간격대로 두 색을 번쩍번쩍하는 기능인데, 그냥 버튼 하나 둔다든가 한 게 아니라 터치 간격을 입력으로 받아들이게 한 게 재미있다. 사용법이 너무 숨겨져 있다든가, 사실은 뭐 인식이랄 것도 없을 정도로 단순한 기술이라는 게 좀 그렇지만, 그래도 기능의 단순함에 비하면 훌륭한 HTI 적용이라고 본다.




여기까지가, 현재의 Apple AppStore에서 무료로 구할 수 있었던 9가지 HTI 어플들이다. 정도의 차이는 있고 어쩌면 못 본 어플이 있었을지도 모르겠지만 그래도 꽤 재미있는 콜렉션이라고 생각해서 한번 정리해 봤다. 이 외에도 게임들을 보면 재미있는 기능들이 넘치도록 많지만, 오히려 너무 많아서 뭘 어떻게 봐야 할지 모르겠다.

Chinese Character Input on iPhone
한편으론 기본적인 iPhone 기능 중에서도 GPS를 지도 상에 표시하는 방법이라든가 (정확도에 따라 표시가 다르고, 지도 상의 길을 기준으로 위치를 보정하는 것 같다.), 중국어 입력에 한해서는 필기입력이 가능하다든가 (왼쪽 그림) 하는 점도 HTI의 적용이라고 볼 수 있겠지만, 뭐 너무 널리 알려진 기능들은 또 말하는 재미가 없으니까.

신고
Posted by Stan1ey
마이크로소프트에서 멀티터치 스마트 테이블를 들고 나오면서 한동안 소위 'Surface Computing'이라는 요상한 용어를 뿌리더니(예전에 같이 일했던 어떤 분은 분명히 "표면이 computing하는 것도 표면을 computing하는 것도 아닌데 무슨 surface computing이냐!!!"라고 하고 계실 거다), 이번엔 'Sphere'라는 코드명을 들고 나왔다. 요컨대 멀티터치가 되는 구형의 화면이다.



흠. 결국 했구나. ㅡ_ㅡa;;

데모하고 있는 사람 너머로 보이는 화면을 보면, 왼쪽의 큰 화면은 결국 프로젝션 되고 있는 화면으로 원형으로 투사될 수 있도록 미리 왜곡되어 있고, 오른쪽 화면에 보이는 모습들 중 가운데 화면은 적외선 반사에 의한 포인팅을 인식하는 모습을 보여주고 있다. (특히 아래 장면에서는 두 손가락이 화면에 찍혀 있는 모습을 볼 수 있다... 잘 보면 =_= )

Sphere Computing(?) of Microsoft

결국 Surface 시스템에 있던 입출력 장치 앞에 어안렌즈를 하나 넣어서, 프로젝션도 카메라도 180도 가까이 퍼지게 만든 것으로 보이는데, 사실 그럼에도 불구하고 몇가지 의문이 남는 부분이 있다. 이를테면 프로젝션의 초점거리 같은 경우가 대표적인데, 180도 퍼지게 만든 화면을 투사한다고 해도 구체 아랫쪽의 투사면과 맨 위쪽의 투사면까지의 거리는 크게 다르기 때문에 골고루 또렷한 영상을 맺히게 하기 힘들 거다. (초점거리 개념이 없는 프로젝터가 개발되어 있기는 하지만, 저렇게 바깥쪽으로 사람을 향해서 투사할 수는 없는 물건이다 -_- )

그 외에 적외선 반사를 이용한 인식의 해상도라든가, 상을 왜곡시키기 위해 평면 좌표계를 실시간으로 구좌표계로, 또 반대로 계산하는 번거로움이라든가 하는 것들도 문제가 될 수 있겠지만, 사실 실용성 측면에서 볼 때 가장 큰 문제는 역시 투사된 화면의 위치에 따른 해상도 차이라고 본다.




... 사실은 그게 내가 못 풀었던 문제다. 그래서 난 @#$%@%@#$%^$#^&#%^&렇게 피해서 도망갔더랬는데, 얘네들은 혹시 풀었는지, 풀었다면 어떻게 풀었는지가 아주 궁금해 죽겠다. ~_~ ㅎㅎ
신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.