Nokia에서 출원한, 터치스크린과 압력센서(정확히는 force sensor)를 결합한 장치에 대한 특허가 공개되었다. 출원한 회사도 회사고 두 가지 센서를 결합했다는 사실 때문인지 상당히 주목을 받는 모양이다.

Nokia's Pressure-sensitive Multi-touch

인터넷 포털에 공개된 위의 이미지 외에도, 특허 원문을 보면 멀티터치와 압력 감지를 어떻게 구성하느냐에 따라 하드웨어적으로 두 가지 구성을 제시하고 있다. 아래에서 왼쪽은 화면 자체에서 멀티터치/압력감지를 하는 경우이고, 오른쪽은 화면과 별도로 터치 영역을 두는 경우이다.

Nokia's Pressure-sensitive Multi-touchNokia's Pressure-sensitive Multi-touch

화면을 건드리는 것 뿐만 아니라 얼마나 세게 누르느냐에 따라 다른 방식으로 UI를 사용할 수 있다는 건 분명 멋진 일이지만, 불행히도 이 특허는 등록될 것 같지 않다. 흠... 물론 제대로 심사된다면 이야기지만.

HTI 분야(이름이야 뭐가 됐듯;;;)에 관심을 가지고 있는 사람들 중 Sony CSL의 Interaction Lab에서 "PreSense"라는 이름으로 몇년에 걸쳐 연구한 내용을 기억하는 사람이 있을 것이다. PreSense에 대한 내용은 이제는 동경대로 자리를 옮긴 준 레키모토(Interaction Lab을 이끈 사람이다)의 웹사이트에 잘 정리되어 있으며, 초기의 연구에 대해서라면 이전의 포스팅에서 잠깐 다룬 적도 있다.

사용자 삽입 이미지

위 그림은 원래 PreSense2 라는 이름으로 발표됐던 모듈이다. 노키아의 특허와 동일한 하드웨어 구성에, 노키아의 경우 멀티터치가 가능한 정전압식 터치 스크린를 언급했다는 정도의 차이가 있을 뿐이다. 발명의 구성 중 일부를 기존에 있던 다른 것으로 바꿔넣음으로써 그 기존의 장점을 포함시켰다고 기술의 신규성/혁신성이 인정되지는 않는데다가, 사실 압력감지식 터치를 쓴 소니의 PreSense는 접촉면의 면적에 따라 명령의 모드를 바꾸는 제안(Bi-directional pressure control)까지 부가적으로 포함되어 있다. 일본에서 출원한 특허가 있었던 것 같은데 지금으로선 찾아볼 수 없고, 아래는 PreSense2가 발표된 CHI 2006에서 촬영된 사진이다.

PreSense 2 at CHI 2006PreSense 2 at CHI 2006

이번에 노키아에서 출원한 발명의 특허 문건에 의하면, 발명이 출원된 날짜는 2008년 4월 14일이다. 그리고 소니의 Interaction Lab에서 CHI 학회를 통해 아래 내용을 발표한 것은 2006년 4월 24일(학회 시작일 기준)이다. 일단 시기적으로 봐도 너무 늦었고, 멀티터치가 추가되었으면 가장 먼저 생각할 수 있는 개선사항인 "각 손가락의 압력을 따로따로 알 수는 없을까?" 라는 부분이 전혀 없다. 화면 주변의 압력센서 값들을 서로 비교하면 대략의 짐작은 할 수 있겠지만, Force sensor를 이용한 터치는 부정확할 뿐만 아니라 제한이 많아서 멀티터치 상황에서 큰 도움이 될 것 같지는 않다. 뭐 어떻게 생각하면 손가락 각각의 압력을 인지한다는 것이 사실 UI 설계 관점에서 큰 도움이 될만한 기능인지도 잘 모르겠고.

노키아에서 출원한 특허가 과연 등록이 될 것인가 어떤가 하는 것보다, 이렇게 터치센서에 압력을 추가하는 것이 관심을 받고 있다는 게 개인적으로는 더 반가운 소식이다. 압력감지는 이 블로그에서 종종 언급(만)하는 deep touch 개념의 중요한 구성요소 중 하나인데, 이렇게 하나씩 채워지다보면 굳이 글을 쓸 이유가 없어질지도 모르겠다. 쿠헐.


HTI나 특허에 관심있는 분이라면... 특히 모바일 장치에 관련된 사람은 위 노키아 특허를 출원한 발명자 Mikko Nurmi 라는 사람을 눈여겨 보자. 재미있는 특허가 나오면 습관적으로 발명자 이름으로 한번 검색을 해 보곤 하는데, 이 이름으로 특허를 검색해 보면 상당히 재미있는 특허를 많이  내고 있다. 그 하나하나가 훌륭한 발명이라고는 못 하겠지만, 그래도 연구의 흐름이 대략 보인다는 점에서 주목할 만하다고 생각한다. (뭐 하루 백명도 안 오는 블로그에서 이런 소리했다고 노키아에서 눈을 흘기진 않겠지 -_-a;; )
신고
Creative Commons License
Posted by Stan1ey

증강현실 AR 연구로 유명한 곳을 꼽으라면 반드시 Sony CSL의 Interaction Lab.이 포함된다. 이 연구소에서 나오는 연구들은 상당히 잘 포장되어 있기 때문이기도 하지만, 가전회사와 연결되어 있는 만큼 상용화를 염두에 두고 만들어진 프로토타입도 많을 뿐만 아니라 실제로 상용화되는 사례도 적지 않기 때문에 많은 주목을 받곤 한다. 그럼에도 불구하고 회사 내부에서는 수시로 존폐가 논의되고 성과에 대한 압력을 받고 있다는 건 - 랩장인 Jun Rekimoto씨에게 몇년 전 들었던 이야기다 - 씁쓸한 이야기가 되겠지만서도.

Eye of Judgement, 2007 by SCE
어쨌든, 이 연구소에서 벌써 십년 넘게 연구되어 온 AR은, 내가 알기론 유일하게 작년에 발매된 Sony Computer Entertainment의 PS3 게임 <The Eye of Judgement>을 통해 상용화되어 있다.





그런데, 얼마 전 떠났던 일본여행에서 재미있는 사례를 하나 더 발견했다. 긴자 거리의 소니 전시관 1층에, AR을 이용한 안내 키오스크가 설치되어 있는 거다.

Augmented Reality Kiosk in Sony Exhibition Building

특정한 AR marker가 들어있는 카드가 언어별로, 즉 언어에 따라 조금씩 다른 표시가 인쇄된 카드별로 정리되어 있고, 이걸 화면 아래에 있는 받침대에 놓으면 3D 건물이 화면에 뜨고, 해당 언어로 설명이 뜨는 방식이다. 물론 AR 답게 카드를 직접 돌려서 건물을 놀려볼 수 있고, 카드의 특정 영역을 손가락으로 가림(소위 'dwell' 방식이다)으로써 옵션을 선택할 수 있다.

Augmented Reality Kiosk in Sony Exhibition Building - ScreenAugmented Reality Kiosk in Sony Exhibition Building - StageAugmented Reality Kiosk in Sony Exhibition Building - Setting

소니에서 전시용으로 AR을 사용한 것은 사실 Sony Exploratorium에서 많이 찾아볼 수가 있다고 하는데, 그외에도 이렇게 사용되고 있구나.. 싶어서 스크랩해 둔다.

신고
Creative Commons License
Posted by Stan1ey

벌써 보름쯤 전의 일이지만서도, Sony에서 PlayStation3의 조종기에 끼워서 쓰는 QWERTY 키보드를 내놓았다.

QWERTY keyboard for PS3 ControllerQWERTY keyboard for PS3 Controller

조금 가오리처럼 생겼지만, 조종기에 꼽혀있는 모습을 보면 게임 컨트롤과 키보드 입력을 같이 지원하려면 사실 적당한 디자인(=위치선정)이라는 생각도 든다. PS3에서도 웹서핑이라든가 게임에서 이름을 넣는다든가 하는 식으로 문자입력이 종종 필요하다는 점에서, QWERTY 키보드가 들어간다는 건 환영할만한 일이다.


Touch Pad mode button on PS3 QWERTY keyboard
... 뭐 그런가보다 하고 넘어가려다 보니, 위에 링크한 기사에서 언급한 "Touch Pad mode"가 마음에 턱하니 걸렸다. 자세히 보면, 키보드 아랫부분에 손가락 아이콘과 함께 On/Off로 터치패드모드 상태를 알려주는 듯한 LED가 있는 버튼이 있다. 기사에서 말한대로 터치패드가 있다면 웹서핑 같은 순간에 꽤 쓸모가 있겠지만, 저 제품의 어디에 터치패드가 있다는 걸까? ㅡ_ㅡa;;;

그냥 답이 나오지 않았다는 이유로 이걸 멋대로 수수께끼로 생각하자면, 이 모드에서 무엇이 "마우스를 대신하는" 포인팅 기능을 할지에 대해서는 몇가지 예측을 해볼 수 있겠다.


1. 아날로그 스틱
PS3 컨트롤러에 붙어있는 2개의 아날로그 스틱은 평소에 다양한 용도로 각각 쓰이기 때문에, 일부러 "터치패드 모드"를 두어서 마우스 조정에 사용하도록 만들 거라는 예상을 해볼 수도 있다. 하지만 웹서핑과 같은 모드에서는 3D 게임에서처럼 많은 입력이 동시에 필요하지 않으므로, 굳이 스틱을 다른 용도와 함께 나누어 쓰지 않아도 될 것이다. 따라서 가장 간단하게 생각할 수 있는 이 조합은, 사실은 아무래도 아니지 않을까 싶다. ㅎㅎ


2. 터치-키보드 조합
사실 소니는 키보드를 동시에 터치로 사용하는 기술을 이미 특허로 가지고 있으며, 심지어 일부는 상품화되어 있다. 원래 "PreSense" 라는 이름으로 몇차례 논문화되었던 이 아이디어는, 키보드 자체를 전기가 (조금이라도) 통하는 물질도 만들어서 그 자체가 터치패드로 기능할 수 있도록 만든 것이다, 이 방법을 이용하면 버튼을 누르기 전에 터치여부를 알 수 있으므로, 사용자는 버튼을 누르지 않고 버튼 표면만을 살살 문질러서 터치패드처럼 사용할 수 있는 것이다. (가끔 인간이 손가락의 압력을 얼마나 자유롭게 조절할 수 있는지를 생각해보면 새삼스럽게 놀라곤 한다.) 게다가 클릭이 가능한 영역에 손가락을 올렸을 때 화면에 시각적 피드백을 줄 수가 있고, 그대로 누르면 되기 때문에 상당히 직관적이고 자연스럽게 사용할 수 있다.

PreSense - OverviewPreSense - Applications

Sony VGF-AP1 with G-Sense
하지만 이 방식을 사용하면, 사실 화면좌표 상에서의 정확한 포인팅이나 클릭은 어렵다고 봐야 한다. 버튼과 버튼 사이의 영역은 터치가 안 되거나 별도의 계산이 필요하고 오류가 많기 때문에, 결국 버튼영역에 공간적으로 매핑되는 별도의 UI를 만들어야 하는 것이다. PreSense를 "G-Sense"라는 이름으로 최초로 상용화했던 Sony의 MP3 플레이어 VGF-AP1 같은 경우에도 5x5의 버튼배치에 일대일로 매핑되는 UI를 만들어서 적용해야 했다.

따라서, 웹브라우저에서의 사용을 목표로 하는 위의 컨트롤러 키보드에 이 방식이 쓰이려면 웹브라우저에서의 링크를 그때그때 모두 QWERTY 배치에 맞춰 매핑시켜야 하는 불편+위험이 따른다. 아무리 소니라지만 이렇게 무모한 시도는 안 하지 않을까?


3. 뒷면 터치패드

Backside Touch Pad from Sony's Flexible Computer, Gummi
기기의 앞면을 사용할 수 없는 경우, 소니에서는 뒷면에 터치패드를 달아 입력장치로 쓰는 방법을 특허낸 바 있다. 이 기술은 이미 Gummi라는 휘어지는 컴퓨터에 적용되어 공개된 적이 있으며, 실제로 절대적인 포인팅이 아닌 상대적인 포인팅, 즉 특정한 방향으로 dragging gesture를 한다든가 할 때에는 앞면에서 터치하는 방식과 진배없는 사용성을 보여준다.

문제는 웹브라우저에서 사용할 것은 특정한 아이콘을 클릭한다든가 하는, 주로 절대적인 포인팅이라는 거다. 그냥 스크롤만 할 게 아니라면, 손가락 끝을 보지 못하는 상태에서 뒷면으로 클릭을 한다던가 하는 것은 직관적이지도 못할 뿐더러 실제로도 어려운 일이다.

Touch Pad mode button on PS3 QWERTY keyboard
단지, 이 대목에서, 확대된 터치모드 버튼 위로 어색하게도 스페이스 버튼 좌우에 놓여있는 좌우 화살표가 마음에 걸린다. 혹시 터치패드 모드에서는 뒷면으로 상대적인 포인팅을 하면서, 좌우 클릭을 저 화살표키로 할 수 있도록 하는 게 아닐까? 컨트롤러를 잡은 상태에서 좌우의 방아쇠 trigger 버튼의 조작을 방해하지 않으면서 터치패드를 사용하게 하려면 뒷면의 디자인이 좀 까다로우니까, 사실 그 상황이라면 컨트롤러를 떼고 저 가오리 모양의 키보드만 따로 들고 입력하는 게 훨씬 편하겠다. (그런 경우라면 저 안에 배터리와 통신장비가 들어가 있어야 하겠다.)




... 흠, 이래저래 생각해보니 뒷면터치가 나올 법한 조합이긴 한데, 그렇다면 정확한 절대 포인팅이 불가능한 포인팅 장치의 특성상 다소 특이한 UI가 나올 수도 있겠다. 이를테면 웹브라우저를 조작할 때에도 우선은 전체 웹페이지를 TV 화면에 띄우고 그 중 일정영역을 표시하는 사각형을 뒷면터치로 대충 원하는 곳으로 이동, 버튼으로 선택한 다음... 커서는 화면 중앙에 고정된 채로, 뒷면터치로 화면을 이동하는 방식을 채용하지 않을까 싶다. Gummi의 UI가 그런 방식이기도 했지만, 중앙의 커서에 가까와지는 링크를 활성화시키는 방식이라면 사용하기도 편하지 않을까?

Combined Scrolling and Selection, from Sony's Gummi Prototype, CHI 2004 Presentation

어떤 방식의 UI가 나오든, 소니가 뭔가 새로운 시도를 준비하고 있다는 소식만으로도 기대가 된다. 도대체 저 제품이 나온다는 "later this year"라는 건 언제가 될런지, 일단은 조마조마 하면서 기대해 봐야겠다.



... 심심하니까 참 별 걸 다 궁리하고 앉았다. ( '-')a


며칠 전 이 키보드의 출시가 임박했다는 기사를 봤는데, 오늘 시내 -_- 에 갔다가 게임샵에 갔더니 떡하니 팔리고 있다. ㅡ_ㅡa;; 뭐 크리스마스를 맞이하여 채팅이라고 하라는 건지 뭔지. 여하튼 덕택에 좀 요모조모 살펴보고 사진도 찍었는데, 정작 사진은 접사불가의 아이폰인지라 나만 간직하기로 하고, 결국 확인된 내용만 (기사에서 훔친 사진과 함께) 간단히 정리하자면 이렇다.

Sony PS3 Wireless Keyboard Sold NowSony PS3 Wireless Keyboard Sold Now

우선 이 기계는 독립적인 컨트롤러로, 그냥 집게로 기존 컨트롤러에 집어놓는 방식이다. 별도로 mini USB 케이블(별매 --;;; 혹은 기존 컨트롤러에 있는 놈과 교대로 사용해야 한다)를 이용해서 충전시키고, 본체와는 역시 별도의 Bluetooth 모듈로 연동하는 방식. 일반적인 모양새로 잡아서는 손가락이 키보드에 제대로 닿지 않기 때문에, 위에 말한대로 결국 키보드만 떼어서 따로 쓸 수도 있는 셈이다.

뒷면의 저 네모는 잠시 나를 두근거리게 했으나 결국 그냥 상품표시 레이블에 불과하다. ㅎㅎ 결국 위에 링크한 리뷰기사에서 언급되었듯이 위 글에서 적었던 두번째 방법 - PreSense 특허를 또 울궈먹기로 한 모양 - 을 사용하고 있고, 우려했던 문제도 그대로 발생하는 듯 하다. 에헤라.

재미있었던 것은 이 키보드 컨트롤러에도 좌우에 버튼이 하나씩 더 달려 있다는 건데, 이게 용도가 뭔지는 잘 모르겠다. L1, L2, L3까지 다 썼는데 저 단추 많은 걸 달면서 왜 굳이 L4(?)와 R4(응??) 넣은 걸까? 그거 없으면 안 되는 게임 따위 만들어서 억지로 구매하게 하다가 욕먹고 뭐 그러는 거 아닌지 몰라... -_-+

이상. 12월 22일 업데이트.



 

신고
Creative Commons License
Posted by Stan1ey
예전에 Sony CSL에서 bendable computer 라는 Gummi 프로토타입을 보인 적이 있었다. 그때는 모니터 양쪽에 휨 센서를 하나씩 넣어서, 제품을 양손으로 잡고 안쪽으로 휘거나 바깥쪽으로 휘는 동작으로 zoom in, zoom out 등의 동작을 하게 되어 있었는데, 이번에 Microsoft Research에서 나온 프로토타입은 한쪽에만 4개의 압력 센서를 넣어서 안팎으로 휘는 동작 외에도 비트는 동작도 지원하고 있다. 말하자면 twistable computer라고 할 수 있을 듯.

Twistable computer from Microsoft

이 프로토타입은 특히, 나도 애용하는 Phidget Kit을 이용해서 만들어져 있어서 흥미롭다. 내부용인 technical report를 봐도 flexible PCB와 기본 부품이 아닌 센서를 연동시켰을 뿐 phidget의 기본 interface kit을 바탕으로 만들어졌음을 알 수 있다. (저 수상쩍은 검은 테이프 아래 있는 것은, 아마 센서 값을 interface kit의 측정 범위 안으로 조정하기 위한 저항들일 거다.)

사용자 삽입 이미지

같은 technical report에서는 아래 그림과 같이 안팎으로 휘고 비트는 동작 외에 위아래로 벌리는 동작이 가능한 듯이 제안하고 있지만, 실제로 구현된 것은 Sony Gummi에서 비트는 동작이 추가된 정도이다. 즉 아래 그림 중 위의 두 동작은 단지 제안일 뿐 구현되지 않았다는 거지.

사용자 삽입 이미지

뭐 어쨋든 또 뭔가 하나 나왔네... 싶은 정도이고 그다지 새로운 걸 보여주는 것 같지 않지만, 이것도 또 Microsoft에서 나왔네 하면서 한동안 시끌벅적할 것 같아서 적어둔다. 특히 force sensor라는 말에 낚인(?) BBC 웹사이트가 벌써부터 <May the Force be with you>라는 멋진 제목을 뽑아주고 있는 걸 보면... 쩝.


※ 참고: Technical Report

신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.