Deep touch at last.

2015.08.27 17:55

참 오래도 걸렸다. 근데 이걸 부가메뉴 표시하는 용도 외에 또 어디에 써 주려나.. 두근.

iOS9 DeepPress

iOS9 코드에서 발견된 "enableDeepPress" 변수



아, 안녕하세요? 

저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey

iPhone 5 Wishlist

2011.10.04 06:13
애플의 "Let's talk iPhone" 행사가 코앞으로 다가왔다. 매번 새로운 OS 버전이 발표될 때마다 내심 혁신에 대한 기대를 하게 하는 아이폰이지만, 이제 모바일 상황에서 쓸 수 있는 센서들은 대충 (2개 빼고) 다 들어갔고 MobileMe에서 환골탈태한 iCloud 서비스의 새로운 윤곽도 많이 알려진 터라 뭐 또 새로운 게 나올까 싶긴 하다. 요컨대 출시하기 전부터 새로운 기능들이 식상해지고 있는 희한한 형국인데, 주요 업데이트인 만큼 큰 변화들이 많아 그 와중에 별로 주목을 받지 못하고 있는 소소하지만(?) 재미있는 기능들이 많다.

실제 발표가 되기 직전이니만큼 조금 무모한 포스팅이지만, 그래도 그런 기능들에 개인적인 소망-_-을 담아보자면 이렇다.


Magic Home Button

iPhone 5 CAD Drawing - Wider Home Button
아이폰의 홈버튼이 커지고, 제스처 기능이 들어간다는 건 이제 기정사실화 되어있는 것같다. 이 이야기는 소문만 있는 게 아니라 이미 아이폰 케이스를 만드는 업체를 통해서 도면까지 나왔는데, 결국 어떤 동작이 사용되느냐에 대해서는 어째 그다지 구체적인 소리가 없다. 동작이라는 힌트를 바탕으로 멋대로 추측성 "소설"을 써보자면 (요새 이게 유행이라면서 -_- ), 아마도 애플은 이미 Mighty Mouse와 Magic Mouse에서 보여줬던 물리 버튼과 터치센서의 조합을 보여주지 않을까 싶다.

Touch Sensor Layout inside Apple's Mighty Mouse

처음 나왔던 "마이티마우스"는 멀티터치 동작을 지원하는 매직마우스와 달리 (저렴하고) 단순한 기술의 조합이었는데, 하나의 플라스틱 표면에서 어느 부위에 손가락이 닿아있는냐에 따라 왼쪽 클릭과 오른쪽 클릭을 구분하고, 몸통 전체가 통채로 버튼 역할을 함으로써 물리적인 입력을 가능하게 했다. (왼쪽 그림을 보면 좌우로 한쌍의 터치센서가 펼쳐져 있음을 볼 수 있다.)

그리고 유출된 아이폰5의 넓다란 홈버튼에도, 딱 손가락 3개 폭만큼의 터치센서를 올릴 수 있어 보인다. 3개의 영역만 구분되면 좌우로 쓸기(swipe) 동작은 인식할 수 있을테고, 그렇다면 이런 식의 활용이 가능하지 않을까? 내멋대로 이름하여 유치찬란한 "매직홈버튼"이다. ㅎㅎ


Magic Home Button for iPhone 5
요컨대 기본적으로 홈버튼 위의 세 영역 중 한 곳에 손가락을 얹고 누르면, 그 위치에 따라 다른 동작을 하는 조작이 가능할 것이다. 여기에 추가로 버튼을 누르기 전이나 후에는 좌우쓸기 동작을 이용해서 몇가지 변용을 추가할 수 있겠다.

  • 홈버튼을 눌러서 화면을 켜고 홈스크린이 나오면, 홈버튼 자체에서 "slide to unlock" 동작을 할 수 있다.
  • 멀티태스킹을 지원하는 상황에서 버튼에 손을 올리면, 오래전부터 소문만 많았던 Mac OS의 Expose 같은 화면을 보여주다가 좌우쓸기로 불러올 기능을 선택할 수 있다.
  • Springboard나 웹브라우저 등 여러 페이지를 앞뒤로 넘길 수 있는 상황에서는, 이 좌우쓸기 동작이 페이지 넘김과 연동될 것이다.
  • 홈버튼을 클릭해서 자주 쓰는 기능을 구동하는 기능은, 버튼의 어느 영역에 손가락을 올리고 눌렀느냐에 따라 다르게 수행될 수 있다. 한번 눌러 홈스크린을 띄우거나 첫페이지/검색페이지로 가는 기능은 어떨지 몰라도, 두번 혹은 세번 누르는 기능은 이로 인해서 몇 배로 다양한 기능을 할 수 있게 된다.
... 아님 말고.


Voice UI
Voice UI Setting for iOS5, partnered with Nuance
iOS5에서 음성 UI를 본격적으로 지원한다는 것 또한 사실상 확정된 것같다. 애플은 이미 MacOS와 iOS에 구현된 VoiceOver 기능을 통해서 검증된, 쓸만한 음성합성 엔진을 갖고 있다. 하지만 음성인식 분야에서는 그닥 눈에 띄는 활동이 없었는데, 지난 몇달간 그 분야의 일인자라고 할 수 있는 Nuance사와 온갖 소문이 다 났다. Apple와 Nuance는 이전에도 협력관계에 있기는 했지만, 한때는 애플이 아예 뉘앙스를 사버린다는 소문도 있다가, 결국은 그냥 어느 정도 선에서 합의한 모양이다. (사실 애플이 실제로 뉘앙스를 가져가 버렸다면, 뉘앙스 외에는 구글의 Android를 쓰는 것 말고 딱히 음성인식 대안이 없는 휴대폰 제조사들로선 청천벽력같은 상황이 될 수도 있었다. -- 뭐 VUI에 대해서 신경이나 쓴다면 말이지만.)

어쨋든 저 앞의 설정화면에 드러난 대로라면, 관련된 옵션이 새로 최소한 3개는 들어가는 것 같다. 우선 가장 흥미있는 것은, Android에서 구현되어 몇번 언급했던 가상 키보드의 "음성 버튼"이다. "Mic on space key"라고 묘사된 저 기능은 왠지 스페이스(공백) 키 자체에 마이크를 표시하고 이를 길게 누르거나, 심지어 누르고 있는 동안(push-to-talk; PTT) 음성인식을 할 수 있도록 할 것같다.

출시할 때 이름이 바뀌긴 할테지만, 그 외에 "Nuance Dictation"이나 "Nuance Long Endpoint Detection"이라는 옵션들은 감히 "받아쓰기(dictation)"를 언급했다는 게 특히나 놀랍다. 사실 이미 구글은 물론 우리나라의 인터넷 포털까지 자유발화를 통한 음성검색을 지원하고 있는 마당에, 사실 더이상 빼기도 뭐 했을게다. 남은 건 과연 이 음성인식을 어느 범위로 지원하냐는 건데, 과연 아이폰 내의 기능으로 제한될지, 음성을 통한 인터넷 검색까지 지원할지, 아니면 기왕 Dictation을 넣은 김에 새로 들어가는 iMessage나 이메일의 음성 받아쓰기를 포함시킬지, 혹은 심지어 모든 키보드 입력 상황에서 음성입력의 대안을 제공하는 소위 "Hybrid VUI"까지 구현할지 말이다. 아니 기왕 꿈을 꾸는 김에, 일전에 인수한 대화형 검색엔진 Siri의 기능을 몽땅 아이폰에 넣어서 제대로 된 대화(nested adjacent pair 등을 포함한) 로 대부분의 PIMS를 이용할 수 있도록 한다면? ㅎㅎ (물론 보통 이런 상황에서는, 애플은 보수적인 접근을 택해서 나를 실망시키곤 한다.)

끝으로 "Long EPD"라는 옵션도 아마 PTT 기능과 관련해서, 버튼을 누르고 떼는 순간과 음성발화에 공백이 있는 순간을 비교해서 음성인식에 유리한 발화를 선택하는 기능이 아닐까 싶다. 실제로 그렇게 된다면 '그런데 그 일이 정말 일어났습니다!' 라는 느낌일 듯 하지만.

한가지 확실한 것은, 만일 이 기능들이 출시되는 iPhone 5에 그대로 들어간다면 더이상 장애인 접근성에 포함되지 않을 거라는 거다. 그렇게 된다면 -- 안드로이드에 이어 아이폰에까지 주요 사용방식으로 음성이 적용된다면 -- Voice UI도 사용자 인터페이스의 주류에 들어갔다고 말할 수 있겠지.

... 하지만 역시, 그런 일이 일어날까나. -_-a;;


Assistive Touch
iOS에서의 장애인 접근성 기능 중에도 추가되는 기능이 있다. 이전 버전에서는 다이얼을 돌리는 동작을 하면 그 상대적인 회전 각도에 따라 다른 기능을 실행시키는 Rotor라는 기능이 있었는데, 이 방식은 상하좌우가 비슷하게 생긴 iPhone이나 iPad에서는 특히 전맹인(全盲人)을 고려할 때 꽤 괜찮은 접근이었다고 생각한다. 그런데, 이번 방식은 반대로 장치의 방향을 안다는 전제 하에, 특정 위치에 손가락을 댄 후에 화면 중앙에서 상하좌우의 미리 설정한 방향으로 손가락을 움직이면 해당 기능을 선택할 수 있다.

Assistive Touch in iOS5



위 동영상에서 볼 수 있듯이, 손가락을 움직여서 구동시킬 수 있는 기능 중에는 멀티터치 기능도 있어서 여러 손가락을 자유롭게 움직일 수 없는 지체장애인의 경우에도 멀티터치 동작명령을 쓸 수 있게 해준다.

Assistive Touch in iOS5 - Custom gesture
유출된 왼쪽의 설정화면에 따르면, 이 기능을 쓰기 위해서 처음 터치해야 하는 지점(adaptive accessory?)은 미리 설정된 터치 제스처(가로 지그재그)로 활성화시킬 수도 있는 것같다. 이 동작은 사용자가 바꿀 수도 있는데, 어쩌면 그 동작이 다음에 뜨는 pie menu의 방향성을 결정할 수도 있겠다. Pie menu는 최대 8개까지의 기능을 설정할 수 있는데, 이런 방향 버튼의 조합은 다양한 장애인 보조기술(assistive technology)에서 지원하고 있는 입력으로 접근가능한 웹사이트 UI 설계 지침에도 들어가는 대목이기도 하다.

사실 장애로 인한 니즈가 없는 일반 사용자의 경우에도, 이 방식은 주머니 속에 손을 넣은 채 주요 기능을 사용하게 해줄 수 있을 것같다. 어쩌면 Universal Design의 개념과 맞물려 좋은 사례가 되어줄지도...?


Deep touch
설마 하니 아닐 거라고 생각하긴 하지만 -_-, 어쩌면 이번 아이폰5에는 터치 이전에 손가락의 감지를 느낄 수 있거나, 터치 이후에 압력 혹은 클릭을 느낄 수 있는 방법이 들어가지 않을까. 화면 자체는 아니더라도, 앞서 말한 방식의 터치방식의 홈버튼이 구현된다면 터치와 클릭/압력을 조합해서 제한된 범위나마 딥터치가 구현될지도 모르겠다.

Deep Touch

Apple Mighty Mouse

앞에서 적었듯이 "마이티마우스"의 기술이 아이폰의 홈버튼에 들어간다면, 사실 누군가는 그 제품에서 별로 빛을 보지 못한, 하지만 사실은 꽤 중요한 기술을 재검토했을지 모른다. 바로 마이티마우스의 양쪽에 있는 압력센서. 아이폰5의 홈버튼이 단순한 물리 스위치가 아니라 압력센서를 겸하는 것이라면 그것도 재미있는 딥터치 사례가 되겠다. 실제로 그 마이티마우스의 사례처럼, Expose 화면들의 축소 정도가 압력에 따라서 결정된다면 사용자는 화면을 완전히 전환하지 않고도, 자신이 필요로 하는 만큼만 정보를 훔쳐볼 수 있을 것이다. ... 하지만 다른 버튼도 아니고 홈버튼에 그런 불안한 아날로그 센서를 넣으리라는 기대는 나로서도 좀 무리. =_=

... 이러나 저러나, 역시 이건 그냥 개인적인 소망일 뿐이다.


NFC/RFiD
이게 언제부터 나오던 이야긴데 아직도 안 넣냐. -_-;; 루머에 따르면 애플에서는 아직 그 상품화 필요성을 못 느끼고 안 넣으려고 하는 것같지만, 이미 안드로이드 스마트폰에서는 이를 이용한 어플리케이션을 이용해서 아이폰과 차별화가 이루어지고 있고, 얼마전에는 Google Wallet이라는 서비스가 나오면서 이 방식이 아예 주류 통신채널 중 하나로 급부상하고 있다.

즉 이 대목에서 애플이 iOS에 NFC를 포함시키지 않는다면 안드로이드 기기와 비교될 수 밖에 없을테고, 따라서 그런 결정은 내리지 않을꺼라고 기대하고 있다. 애플 입장에서는 소위 "iTunes 생태계(eco-system)"에 다른 결제 방식이 끼어드는 것을 싫어하는 게 당연하다. 그래서 In-App 결제니 뭐니 만들면서 앱에서 직접 결제하려고 할 때마다 어떻게든 막아왔는데, 이제 와서 전자지갑이니 앱을 통한 인증이니 결제니 하면서 통제할 수 없는 돈의 흐름이 생기는 게 내키지는 않겠지.

... 그래도 이것만큼은, 이번에도 안 들어간다면 애플이 너무 욕심이 많은 거다.



여기까지. 사실 이런 예측... 혹은 제목에 적었듯이 희망사항들(wishlist)이 얼마나 애플의 의사결정권자들의 생각과 맞을지는 모른다. 저번에 그랬듯이 대박 틀릴 수도 있겠지. 단지 정식으로 공개되기 전까지는, 내 생각을 한번 정리해 보고 싶었다.

이건 그저, 후견지명의 오류에 빠지지 않으려는 애플 빠돌이의 몸부림일 뿐이다.
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey
(앞의 글에서 계속...이라지만 사실 앞글과는 별 상관이 없을지도 모르겠다;;)


이 글은 벌써 세번째인가 쓰는 글이다. 야심차게 적었다가 다음에 읽어보면 너무 무모한 내용이라고 생각해서 지우고, 블로그를 몇개월 방치했다가 다시 열어보고 써내려 가다가 다음에 읽어보면 또 지우고... 아무래도 자신이 없었나보다. 글 번호 순서로 보면 지난 2007년말에 쓰기 시작한 모양인데, 뭐 워낙 우유부단한 걸로 악명높은 놈이라지만 이건 좀 심했다고 본다. ㅎㅎ

어쨋든, 이젠 더 미룰 수 없을 것같은 상황이 됐다. 삼성은 갤럭시 노트라는 걸 발표했고, 아이폰5의 발표가 임박한 것같고, 아마존의 새 이북리더도 곧 나올 예정이다. 더 늦으면 뒷북이 될 것 같아서, 빈약한 논리와 어거지 주장을 그냥 그대로 적어 올리기로 했다. (제목도 이제는 좀 민망해졌지만, 그래도 밀린 숙제니 어쩔 수 없이 그대로...) 몇년을 말그대로 "썩혀온" Deep Touch 이야기다.


그래서 대뜸.

터치스크린의 최대 약점은 그 조작의 순간성에 있다.

PC 중심의 UI를 하던 UI/HCI/HTI 연구자들은 터치스크린을 보고 무척이나 당혹스러웠다. 지금 인터넷 상에서는 도대체 찾을 수가 없는 누군가의 글(아마도 Ben Shneiderman 할아버지일텐데, 이 분의 논문을 다 뒤지기도 귀찮고... 해서 통과)에서는, 터치스크린이 전통적인 사용자 인터페이스의 기본 개념인 "Point-and-Click"을 지킬 수 없게 한다고 지적한 적이 있었다. 즉 물리적인 버튼을 누르는 상황에서는 손가락으로 그 버튼을 만지는 단계와 눌러 실행시키는 단계가 분리되어 있고, PC의 전통적인 GUI에서는 그것이 point 단계와 click 단계로 구분되어 있는데, Touch UI에서는 point 단계없이 바로 click(tap) 단계로 가버리게 되면서 사용성 오류가 발생하고 있다는 것이다.

Mouse Pointers, Hand-shaped
GUI에 이미 익숙한 사용자들은 이런 손모양 포인터를 통해서 사용에 많은 도움을 받는다. 이런 포인터들은 마우스의 저편 가상세계에서, 손을 대신해서 가상의 물체를 만지고 이해하며, 사용 이전과 사용 중에는 선택한 기능에 대한 확신을 준다. 추가설명이 필요한 영역에 포인터를 올렸을 때 활성화되는 툴팁(tooltip)이나, 포인터에 반응해서 클릭할 수 있는 영역을 시각적으로 강조하는 롤오버(roll-over; hover) 등의 기법도 이런 사례이다.

그런데, iOS의 기본 UI 디자인 방식을 중심으로 표준화되어 버린 Touch UI에서는 이런 도움을 받을 수가 없다. 물론 페이지, 토글버튼, 슬라이더 등의 즉물성(physicality)을 살린 -- 드래그할 때 손가락을 따라 움직인다든가 -- 움직임이 도움이 되긴 하지만, 기존에 손→마우스→포인터→GUI 설계에서 제공해주던 만큼 도움이 되지는 않는다. 요컨대 전통적인 GUI에서 "클릭"만을 빼서 "터치(혹은 탭)"으로 간단히 치환하는 것으로는 부족한 거다.

이 부족한 부분을 어떻게든 되살려서, 사용자가 고의든 아니든 어떤 기능을 실행시키기 전에 그 사실을 인지시킬 수 있는 방법을 주는 것. 그리고 실행을 시키는 중에확신을 줄 수 있고, 명령이 제대로 전달되었음을 따로 추론하지 않고도 조작도구(손가락) 끝에서 알 수 있게 하는 것. 아마 그게 터치UI의 다음 단계가 되지 않을까 한다. 버튼 입력이 들어올 때마다 휴대폰 몸통을 부르르 떤다든가 딕딕 소리를 내는 것 말고 말이다.

개인적으로 생각하고 있는 것은, 오래전부터 끼고 있는 아래 그림이다.

Deep Touch - Pre-touch detection, and Post-touch pressure/click


터치 이전. Pre-touch.

앞서 말한 (아마도 Ben 할배의) 연구 논문은 터치 이전에 부가적인 정보를 주기 위해서, 앞의 글에서도 말한 광선차단 방식의 터치스크린과 유사한 방식의 "벽"을 화면 주위에 3cm 정도 세워 사람이 화면 상의 무언가를 "가리키면" 이를 알 수 있게 한다..는 내용이었다. (혹시 이 논문 갖고 계신 분 좀 공유해주삼!) 말하자면 'MouseOver' 이벤트가 가능한 인터페이스를 만든 거 였는데, 불행히도 이 방식은 그다지 인기가 없었던 모양이다.

하지만 그 외에도 손가락이 접촉하기 전의 인터랙션을 활용하고자 하는 사례는 많았다. 지금은 Apple에 합병된 FingerWorks사의 기술은 표면에서 1cm 정도 떠있는 손가락의 방향이나 손바닥의 모양까지도 인식할 수 있었고, 이미 이런 센서 기술을 UI에 적용하기 위한 특허도 확보했다. 카메라를 이용한 사례로는 Tactiva의 TactaPad나 Microsoft Research의 Lucid Touch 프로토타입이 있고, 역시 Microsoft Research의 또 다른 터치 프로토타입에서도 터치 이전에 손가락을 추적할 수 있는 기술을 제시한 바 있다.

iGesture Pad, FingerWorks (Apple)Looking Glass, Microsoft ResearchLooking Glass, Microsoft Research


터치 이후. Post-touch.

일단 터치가 감지되면, 대부분의 시스템에서는 이것을 일반 마우스의 "KeyDown" 이벤트와 동일하게 처리한다. 즉 생각 없는 개발팀에서는 이를 바로 클릭(탭)으로 인식하고 기능을 수행하고, 좀 더 생각 있는 팀에서는 같은 영역에서 "KeyUp" 이벤트가 생기기를 기다리는 알고리듬을 준비할 것이다. 하지만 어느 쪽이든, 이미 터치 순간에 기능 수행을 활성화시켰기 때문에 사용자가 의도하지 않은 조작을 할 가능성은 생겨 버린다.

손가락이 화면에 닿은 후에, 추가적으로 사용자의 의도를 확인할 수 있게 해주는 것으로는 Drag와 Press의 두가지 동작을 생각할 수 있다.

이 중 Drag의 경우는 이제 터치 기반 제품에 명실상부한 표준으로 자리잡은 "Slide to Unlock"을 비롯해서 사용자의 의도를 오해 없이 전달받아야 하는 경우에 널리 쓰이고 있지만, 화면을 디자인해야 하는 입장에서 볼 때 어째 불필요하게 커다란 UI 요소를 넣어야 한다는 점이 부담으로 다가온다. 특수한 경우가 아니면 단순한 버튼을 클릭/탭하도록 하는 편이 사용자에게 더 친숙하기도 하고.

이에 비해서, 압력 혹은 물리적인 클릭을 통해 전달받을 수 있는 Press의 경우에는 화면 디자인 상의 제약은 덜하겠지만 이번엔 기술적인 제약이 있어서, 일반적인 터치 패널을 통해서는 구현에 어려움이 많다. (불가능하다..라고 할 수도 있겠지만, 클릭영역의 분포나 시간 변수를 활용해서 간접적으로 압력을 표현한 사례도 있었으니까.) 한때 우리나라의 많은 UI 쟁이들 가슴을 설레게 했던 아이리버의 D*Click 시스템은 제한된 범위에서나마 화면 가장자리를 눌러 기능을 실행시킬 수 있게 했었고, 화면과는 동떨어져 있지만 애플의 노트북 MacBook의 터치패드나 Magic Mouse에서도 터치패널 아래 물리적 버튼을 심어 터치에 이은 클릭을 실현시키고 있다. 몇차례 상품화된 소니의 PreSense 기술도 터치와 클릭을 조합시킨 좋은 사례였다고 생각한다.

이진적인 클릭이 아니라 아날로그 신호를 다루는 압력감지의 경우에도 여러 사례가 있었다. 일본 대학에서는 물컹물컹한 광학재료를 이용한 사례를 만들기도 했고, 앞서 언급한 소니의 PreSense 후속연구인 PreSense 2는 바로 터치패드 위에 다름아닌 압력센서를 부착시킨 물건이었다. 노키아에서 멀티터치로 동일한 구성을 특허화하려고 시도하고 있기도 하다. 하지만, 최근 가장 눈길을 끄는 것은 단연 TouchCo 라는 회사의 투명한 압력감지 터치스크린이다. 이 기술은 아무래도 압력감지를 내세우다보니 외부충격에 예민한 평판 디스플레이와는 맞지 않아서, 상대적으로 외부충격에 강한 전자종이와 같이 쓰이는 것으로 이야기 되다가 결국 Amazon에 합병되고 말았다. 사실 플라스틱 OLED 스크린도 나온다고 하고, 고릴라 글래스라든가 하는 좋은 소재도 많이 나왔으니 잘 하면 일반 화면에도 쓰일 수 있을텐데, 그건 이제 전적으로 아마존에서 Kindle다음 버전을 어떤 화면으로 내느냐에 달려있는 것같다.

D*Click, iRiverMagicMouse, AppleMagicMouse, Apple



Deep Touch

곧 iPhone 5를 발표할 (것으로 보이는) Apple은 Pre-touch에 해당하는 FingerWorks의 기술과 Post-touch에 해당하는 터치+클릭 제작 경험이 있고, 아마도 며칠 차이로 Kindle Tablet이라는 물건을 발표할 Amazon은 Post-touch 압력감지가 되는 터치스크린을 가지고 있다. 단순히 순간적인 터치가 아닌 그 전후의 입력을 통해서, Touch UI의 태생적인 단점을 개선할 수 있는 '가능성'이 열리고 있는 거다. 이렇게 확장된 터치 입력 방식이, 그동안 이 블로그에서 "딥터치(Deep Touch)"라고 했던 개념이다. (그렇다. 사실 별 거 아니라서 글 올리기가 부끄럽기도 했다.)

얼마전 발표된 삼성의 갤럭시 노트도, 압력감지를 이용한 입력을 보여주고 있다.

Galaxy Note, SamsungS-Pen with Galaxy Note, Samsung

압력감지가 가능한 스타일러스를 포함시켜 자유로운 메모와 낙서를 가능하게 함은 물론, 스타일러스의 버튼을 누른 채로 탭/홀드 했을 때 모드전환이 이루어지게 한 것 등은 정말 좋은 아이디어라고 생각한다. (사진을 보다가 버튼을 누른 채 두번 탭하면 메모를 할 수 있고, 버튼을 누른 채 펜을 누르고 있으면 화면을 캡춰해서 역시 메모할 수 있다.)

하지만 PDA 시절 절정을 이뤘던 스타일러스는 사실 가장 잃어버리기 쉬운 부속이기도 했다든가(게다가 이 경우에는 단순히 플라스틱 막대기도 아니니 추가 구매하기도 비쌀 것같다), 화면에서 멀쩡히 쓸 수 있던 펜을 본체의 터치버튼에서는 쓰지 못한다든가 하는 디자인 외적인 단점들이 이 제품의 발목을 잡을 수도 있다. 게다가 무엇보다도, 만일 앞으로 발표될 iPhone 5와 Kindle Tablet에서 스타일러스 없이 Deep Touch를 구현할 수 있는 방안이 제시된다면 갤럭시 노트의 발표에서 출시까지의 몇개월이 자칫 일장춘몽의 시기가 될 지도 모르겠다.

개인적으로는 출시 준비가 거의 되고나서 발표를 해도 좋지 않았을까 싶은 아쉬움과 함께, 아예 펜을 이용한 인터랙션(이 분야는 동작인식과 관련해서 많은 연구가 있던 주제이고, 검증된 아이디어도 꽤 많다.)을 좀 더 적극적으로 도입해서 손가락이 아닌 펜의 강점을 최대한 부각시키면 좀 더 robust한 경쟁력이 있는 상품이 되지 않을까 상상해 본다. 물론 남이 만든 OS를 쓰다보니 독자적인 인터랙션을 구현하는 데 한계가 많았다는 건 알겠지만, 무엇보다 홍보 문구대로 "와콤 방식"의 펜을 적용했다면 pre-touch pointing 이라든가 압력과 각도에 반응하는 UI도 구현할 수 있었을텐데 말이다. (특허 문제는 뭐 알아서 -_- )



Multi-touch든 Deep-touch든, 혹은 HTI가 적용된 다른 어떤 종류의 새로운 UI 방식이든, 우리는 그것이 모두 어떤 군중심리에 사로잡힌 설계자에 의해서 "임의로 정의된 입출력"임을 잊으면 안 된다. 사용자가 익숙하게 알고 있는 어떤 물리적 법칙도 적용되지 않고, 상식으로 알고 있는 공리가 반영되어 있는 것도 아니다. 새로운 UI 기술이 주목받게 되었을 때 그 기술을 충분히 이해하고 그 잠재력을 발휘하도록 해주는 최후의 보루는, 결국 사용자 중심의 관점를 프로젝트에 반영하는 전문성을 가진 UI 디자이너이다. (혹은 유행따라 UX.)

하나하나의 UI 기술이 상용화될 때마다, UI/UX 디자이너들 사이에는 그 완성본을 먼저 제시하기 위한 물밑 경쟁이 치열하게 이루어진다. 기술과 사용자의 입장을 모두 고려해서 최적화된 UI를 설계한 팀만이 그 경쟁에서 승자가 되고, 결국 다른 이들이 그 UI를 어쩔 수 없는 표준으로 받아들이는 모습을 흐뭇한 표정으로 볼 수 있을 것이다. 아마도.

한줄결론: Good luck out there.

신고
Creative Commons License
Posted by Stan1ey
얼마 전에 올린 polarization과 관련해서 글을 쓰던 중에, 아래와 같은 동영상을 발견했다. 지난 달 New Scientist지에 소개된 일본 전기통신대학의 "Squeezable" Tangible UI 사례.



Squeezble Tangible UI from UECSqueezble Tangible UI from UECSqueezble Tangible UI from UEC

조금은 기괴해 보이는 데모지만, 원리를 생각해 보면 상당히 재미있는 구석이 있다. 원래 LCD에서 나오는 빛은 편광성을 가지고 있는데, 그 위에 압력(stress)을 가하면 편광을 왜곡시킬 수 있는 투명한 고무덩어리를 올려놓고 그걸 눌러 LCD 화면으로부터의 편광을 분산시킨다. 카메라에서는 LCD 화면과 편광 축이 수직인 필터를 사용하고, 그러면 아무 것도 안 보이다가 분산된 편광 부분만, 그것도 분산된 만큼 - 즉, 압력이 가해지면 확률적으로 더 많은 부분이 분산되어 - 카메라에 보이게 된다는 것이다. ... 참 별 생각을 다 해냈다. -_-a;;

Photoelastic TouchPhotoelastic Touch

Tangibles 자체에 가해진 압력만으로 입력의 정도를 조정할 수 있어서, 위 동영상에서처럼 화면과 떨어진 상태에서 조작함으로써 물감을 쥐어짜 화면에 흘리는 것과 같은 인터랙션이 가능하다는 점은 기존의 TUI 연구와 차별되는 점이라고 생각한다. 특히 물체를 쥐는 동작은 근대 GUI에 은근히 많이 적용된 metaphor이므로, 이를테면 drag-and-drop을 말 그대로 "집어들어 옮겨놓기"로 구현할 수 있다는 점은 재미있을듯.

특히 압력을 기반으로 입력이 이루어지기 때문에 터치스크린의 단점인 "오터치" 혹은 사용자가 의도하지 않은 터치 입력을 방지할 수 있다는 점은 주목할 만하다. 정확성을 기대할 순 없지만 deep touch의 입력방식 중 하나로 사용할 수도 있겠다.

그래도 결국 카메라가 화면 바깥에 있어야 하므로 결국 설비가 커지는 고질적인 제약사항은 여전히 가지고 있고, 편광된 광원이 필요하므로 LCD 화면으로부터의 빛이 보이는 영역에서만 조작할 수 있다는 한계가 있을테고, 무엇보다 여러 물체를 동시에 인식할 수 없을 듯한 점(고무에 색깔을 넣어서 인식한다고 해도 극단적인 원색 몇가지로 제한될 듯) 등은 아쉬운 일이다. 후에 뭔가 딱 맞는 사용사례를 만나게 될지는 모르지만, 지금으로선 그냥 스크랩이나 해두기로 했다.



그나저나, 처음 들어본 학교 이름인지라 한번 검색해 보니, 대표 연구자인 Hideki Koike는 전기통신대학의 교수로 위와 같이 영상인식을 통한 HCI 뿐만 아니라 정보 보안이나 Info Viz, 프랙탈 시각화에 대한 연구도 수행하고 있는 사람이다. 그 중에서 위 연구가 포함되어 있는 "Vision-based HCI" 페이지를 보면 2001년에 수행한 손 위치/자세 추적 연구부터 최근의 연구 - "Photoelastic Touch"라는 제목으로 발표된 듯 - 까지 나열되어 있는 걸 볼 수 있다.

최근의 연구를 보면 재미있는 게 좀 있는데, 이를테면 역시 LCD 화면의 편광성을 이용해서 투명한 AR Tag를 만든 사례같은 경우에는 일전에 Microsoft에서 데모했던 SecondLight의 구현원리를 조금 더 발전시킨 것으로 보인다.
Invisible AR Tag - from UEC

요즘에는 공대에서 나온 HCI 연구도 제법 잘 꾸며서 나오건만, 이 학교에서 나온 결과물들은 그 가능성에 비해서 시각적인 면이 조악해서 별로 눈에 띄지 않았나보다. 너무 유명해져서 일할 시간이 없는 사람들보다, 이렇게 눈에 띄지 않았던 연구팀과 협력할 일이 생긴다면 뭔가 독창적인 성과를 낼 수 있을까. OLED가 뜨면서 사양길인가 싶은 LCD의 단점을 인터랙션 측면의 장점으로 바꿀 수 있을지도.
신고
Creative Commons License
Posted by Stan1ey
Nokia에서 출원한, 터치스크린과 압력센서(정확히는 force sensor)를 결합한 장치에 대한 특허가 공개되었다. 출원한 회사도 회사고 두 가지 센서를 결합했다는 사실 때문인지 상당히 주목을 받는 모양이다.

Nokia's Pressure-sensitive Multi-touch

인터넷 포털에 공개된 위의 이미지 외에도, 특허 원문을 보면 멀티터치와 압력 감지를 어떻게 구성하느냐에 따라 하드웨어적으로 두 가지 구성을 제시하고 있다. 아래에서 왼쪽은 화면 자체에서 멀티터치/압력감지를 하는 경우이고, 오른쪽은 화면과 별도로 터치 영역을 두는 경우이다.

Nokia's Pressure-sensitive Multi-touchNokia's Pressure-sensitive Multi-touch

화면을 건드리는 것 뿐만 아니라 얼마나 세게 누르느냐에 따라 다른 방식으로 UI를 사용할 수 있다는 건 분명 멋진 일이지만, 불행히도 이 특허는 등록될 것 같지 않다. 흠... 물론 제대로 심사된다면 이야기지만.

HTI 분야(이름이야 뭐가 됐듯;;;)에 관심을 가지고 있는 사람들 중 Sony CSL의 Interaction Lab에서 "PreSense"라는 이름으로 몇년에 걸쳐 연구한 내용을 기억하는 사람이 있을 것이다. PreSense에 대한 내용은 이제는 동경대로 자리를 옮긴 준 레키모토(Interaction Lab을 이끈 사람이다)의 웹사이트에 잘 정리되어 있으며, 초기의 연구에 대해서라면 이전의 포스팅에서 잠깐 다룬 적도 있다.

사용자 삽입 이미지

위 그림은 원래 PreSense2 라는 이름으로 발표됐던 모듈이다. 노키아의 특허와 동일한 하드웨어 구성에, 노키아의 경우 멀티터치가 가능한 정전압식 터치 스크린를 언급했다는 정도의 차이가 있을 뿐이다. 발명의 구성 중 일부를 기존에 있던 다른 것으로 바꿔넣음으로써 그 기존의 장점을 포함시켰다고 기술의 신규성/혁신성이 인정되지는 않는데다가, 사실 압력감지식 터치를 쓴 소니의 PreSense는 접촉면의 면적에 따라 명령의 모드를 바꾸는 제안(Bi-directional pressure control)까지 부가적으로 포함되어 있다. 일본에서 출원한 특허가 있었던 것 같은데 지금으로선 찾아볼 수 없고, 아래는 PreSense2가 발표된 CHI 2006에서 촬영된 사진이다.

PreSense 2 at CHI 2006PreSense 2 at CHI 2006

이번에 노키아에서 출원한 발명의 특허 문건에 의하면, 발명이 출원된 날짜는 2008년 4월 14일이다. 그리고 소니의 Interaction Lab에서 CHI 학회를 통해 아래 내용을 발표한 것은 2006년 4월 24일(학회 시작일 기준)이다. 일단 시기적으로 봐도 너무 늦었고, 멀티터치가 추가되었으면 가장 먼저 생각할 수 있는 개선사항인 "각 손가락의 압력을 따로따로 알 수는 없을까?" 라는 부분이 전혀 없다. 화면 주변의 압력센서 값들을 서로 비교하면 대략의 짐작은 할 수 있겠지만, Force sensor를 이용한 터치는 부정확할 뿐만 아니라 제한이 많아서 멀티터치 상황에서 큰 도움이 될 것 같지는 않다. 뭐 어떻게 생각하면 손가락 각각의 압력을 인지한다는 것이 사실 UI 설계 관점에서 큰 도움이 될만한 기능인지도 잘 모르겠고.

노키아에서 출원한 특허가 과연 등록이 될 것인가 어떤가 하는 것보다, 이렇게 터치센서에 압력을 추가하는 것이 관심을 받고 있다는 게 개인적으로는 더 반가운 소식이다. 압력감지는 이 블로그에서 종종 언급(만)하는 deep touch 개념의 중요한 구성요소 중 하나인데, 이렇게 하나씩 채워지다보면 굳이 글을 쓸 이유가 없어질지도 모르겠다. 쿠헐.


HTI나 특허에 관심있는 분이라면... 특히 모바일 장치에 관련된 사람은 위 노키아 특허를 출원한 발명자 Mikko Nurmi 라는 사람을 눈여겨 보자. 재미있는 특허가 나오면 습관적으로 발명자 이름으로 한번 검색을 해 보곤 하는데, 이 이름으로 특허를 검색해 보면 상당히 재미있는 특허를 많이  내고 있다. 그 하나하나가 훌륭한 발명이라고는 못 하겠지만, 그래도 연구의 흐름이 대략 보인다는 점에서 주목할 만하다고 생각한다. (뭐 하루 백명도 안 오는 블로그에서 이런 소리했다고 노키아에서 눈을 흘기진 않겠지 -_-a;; )
신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.