오늘, 미국에서는 <Designing Gestural Interfaces>라는 책이 발매된다. 이 출판사(O'Reilly)에서 출간된 책이 전산업계는 물론이고 UI 업계(특히 Web 관련)의 표준에 미친 영향을 생각하면, 이 책이 출판됨으로써 Gesture UI에 대한 개념이 많이 정리가 되고, 무엇보다도 Nintendo Wii로 인해서 크게 확산된 동작인식이 mainstream으로서 상용화되었다는 증거가 될 듯 하다.

Designing Gestural Interfaces

실제로 게임이든 virtual world든, 3D 공간 상에서 최대의 몰입감을 제공하는 인터페이스로는 동장인식만한 게 없다. 문제는 이 동작 UI가 단지 놀잇감이 아니라 제대로 생산성을 내는 분야에 적용되어서, 맨날 입이 닳도록 인용되는 영화 <Minority Report>에서와 같이 사용될 수 있느냐는 게 되겠다. 이 책을 쓴 Dan Saffer라는 사람은 사실 동작보다는 UI에 관심이 있던 사람이라서, 과연 동작인식에 대한 HTI 적인 고려가 들어가 있기는 할런지 조금 걱정이 되긴 하고...

어쨋든 지난 번 Sony의 동작인식 게임 컨트롤러 소식과 Oblong의 G-Speak 동작인식 시스템에 이어서 이런 소식을 접하게 되니, 이거 동작인식이 결국 "차세대 UI"로 자리잡아 버리는 건 아닌가라는 생각이 든다. 동작인식에는 이런저런 문제가 많아서 주사용 UI로 자리잡지는 못할 꺼라고 생각했던 입장에선 좀 의아하다.



개인적으로 또 하나 궁금한 게 있다면, 이 책에서 터치스크린에서의 제스처... 혹은 소위 스트로크 stroke 방식의 UI를 다뤘을까 하는 점이다. 흠... 사실은 터치스크린을 다뤘다면 O'Reilly에서 'Designing Voice Interfaces' 같은 책이 나오기 전에 이 책이 먼저 나온 게 조금은 위안이 될 것 같아서... ( '-')y~oO
신고
Posted by Stan1ey
엊그제 아는 분이 재미있는 동영상이라면서 URL을 하나 보내줬다. 바로 G-Speak. 모르긴 몰라도 꽤나 주목받을 것 같은 완성도의 제스처 입력 장치다. 일단은 받은 동영상부터 연결하고 시작하자.




Gestural Interface in Minority Report
영화 <마이너리티 리포트>가 개봉된 게 벌써 6년 전이다. 그 동안 수많은 Gesture UI와 Tangible UI, 그리고 가장 자격미달인 Touch UI까지 이 영화를 인용하며 자기 UI의 '혁신성'을 강조하곤 해왔다. (사실 영화야 2054년을 배경으로 했다고 해도 그것과 비교될 만한 걸 만든 건 왠지 혁신과는 거리가 있지 않나... -_-a ) 그런데, 이번엔 아예 영화 속의 동작기반 UI를 온갖 기술을 동원해서 똑같이 재현한 게 나온 거다. 이건 차라리 좀 혁신적이다.

G-Speak by Oblong Industries

이 프로토타입 시스템은 Oblong Industries이라는 작은 기술벤처 회사에서 개발한 것으로, 미국 방위산업체인 Raytheon Systems에서 자본을 댔다는 것 같다. 이 시스템에 대한 소개는 벌써 2006년 미국에서 방송을 탄 모양으로, CNN과 CBS에서 방송된 내용이 이미 유투브에 올라와 있다.

다음 날 아침에 추가:
뒤늦게 팀원이 지적해줘서 확인해 보니, 이 방송내용은 2006년 12월자 포스팅이다. =_=;; 결국 이때의 시스템을 개선(카메라 위치라든가 사용자 앞의 작업테이블로 이동하는 방식이라든가)해서 며칠 전에 맨 앞의 동영상을 올렸다고 보는 게 맞을 듯. 추가로 홍보비를 확보한 걸까. -_- 어쨋든 아래 뉴스 동영상에 기반한 내용들과 위 동영상 내용은 시기적으로 구분해서 참고하시길.



하나 더. (위의 것이 CNN, 아래 것이 CBS)


이제까지의 "마이너리티 리포트 방식" UI 들이 감히 하지 못한 게 데모 전에 실제로 영화의 장면을 보여주는 거 였는데, 저 화려한 실행장면에 비해서 그 일부만 구현했거나 온갖 보조장치가 덕지덕지 붙어 등장하는 기술데모는 초라하기 그지 없었기 때문이다. 그런데 이번엔 아예 보란듯이 나란히 보여주기까지... 아주 자신만만하다.

조금 감상적으로 씌여진 회사의 연혁 혹은 기술적 배경역사를 보면 알 수 있듯이, 이 회사의 대표는 바로 MIT Media Lab의 Tangible Media Group에서 Hiroshi Ishii 교수에게 수학했던 John Underkoffler이다. 말하자면 Tangible UI의 1세대라고 할 수 있겠는데, 그동안 그저 TUI의 태고적 흑백동영상 정도로 치부되던 1997년의 'Luminous Room' 동영상까지 덩달아 띄우고 있다. (이 기회에 개인적으로 좋아라 하는 I/O Bulb 개념에 대한 업계의 관심도 좀 살아나줬으면 좋겠는데 어쩌려나.)





이 사람의 배경을 생각하면서 뉴스에 나온 영상들을 들여다보면, 대충 이 시스템은 AR 태그를 이용한 인식방법과 모션캡춰를 결합해서 돈을 아끼지 않고 만든 시스템으로 보인다. 최소한 3대의 프로젝터와 최소한 6대의 적외선 카메라, 그것도 카메라는 상당히 고해상도임이 틀림 없다. 그렇다고 시스템이 고정된 건 아니고, 그때그때 공간에 맞게 설치해서 calibration해서 사용할 수 있는 모양이다. 맨 앞의 동영상을 자세히 들여다보면 사용자 앞의 벽면에서 사용자를 노려보는 카메라만 5개다.

G-Speak System ConfigurationG-Speak System ConfigurationG-Speak System Configuration

인식은 일반 모션캡춰에서 쓰이는 것보다 훨씬 작은 적외선 반사체를 양손의 장갑위의 손등과 엄지/검지/중지에 붙이되, 각각의 위치에 5x7의 격자를 놓고 35칸 중에서 5~6군데에만 반사체를 붙여 각각의 점을 구분하는 방법을 사용하고 있다. 널리 사용되는 AR Toolkit에서 흑백으로 인쇄된 종이를 사용하는 걸 응용한 듯.

G-Speak IR Tag for RecognitionG-Speak IR Tag for RecognitionG-Speak IR Tag for Recognition

IR LED Array in Ordinary Camera
문제는 정황 상으로는 비싼 군사용 고해상도 적외선 카메라와 엄청나게 빠른 컴퓨터를 사용했을 것 같은데, 카메라에 비친 저 카메라들과 광원의 모습은 전혀 적외선 카메라가 아니라는 거다. 일반적으로 적외선등(IR-LED Array)은 눈으로는 안 보이지만 보통 카메라로 찍으면 왼쪽 사진(2005년 용산 CGV의 영상인식 홍보설치물에서 촬영)처럼 보라색 광원으로 보이기 마련인데, 촬영된 동영상 어디에도 그런 건 없고 오히려 연두색 점광원만 보이고 있다. 흐음. 설마하니 자외선등 같은 건 아닐테고, 보안을 이유로 카메라에 적외선 필터라도 달게 한 걸까. 그렇다고 카메라의 빨강 LED가 녹색으로 보일 정도로 심한 필터링이 가능한지 모르겠다. ㅡ_ㅡa;;; 그 외에도 저 손가락 태그에 노란색/보라색 색이 칸칸이 다른 모양으로 칠해져 있는 이유가 딱이 설명되지 않는다. 뭔가 단순히 적외선 반사체의 배열로 AR tag를 대신해서 모션캡춰 장비에 연결시킨 것만은 아닌 모양.

그래서... 혹시나 해서 특허를 찾아보니 뭐 줄줄이 나온다. 저 앞의 뉴스에서는 원리가 비밀이라고 하더만, 딱히 비밀일 것도 없네 뭐. ㅡ_ㅡa;;; 대충 앞에서 설명한 것과 맞아 떨어진다. 2006년 2월에 출원했는데 여태 등록이 안 된 상태라서 그렇게 말한 걸지도 모르겠다. 어쨋든 특허만으로는 그냥 적외선 카메라 외에 특별한 걸 못 찾았다. 결국 이번 시스템의 기술적 비밀은 그저 막대한 (눈 먼) 군사자본이었던 거냐... OTL...

G-Speak Patent DrawingG-Speak Patent DrawingG-Speak Patent Drawing




바로 전의 소니의 동장인식 게임 컨트롤러의 뉴스도 그렇고, 며칠 후에 올리려고 하는 뉴스도 있고... 요 며칠 참 동작기반 UI 관련 소식이 많다. 이번의 G-Speak가 많은 동작 UI 팬들의 마음을 설레게 할 만큼 영화 속의 환상을 잘 재현하고, 상상으로만 생각하던 동작인식 시스템을 그대로 구현한 건 사실이지만... 여전히 UI의 근원적인 질문을 안 할 수는 없을 것이다. "이게 쓰기 편할까?"

솔직히 동작인식.. 그것도 저렇게 양팔을 열심히 돌리고 움직여야 하는 UI가 사용자에게 편할 리가 없잖아. =_=;;; 테러리스트 잡으려는 일념으로 뭐 하나 검색하고 나면 완전 땀으로 범벅 되겠다. ㅋㅋ 게다가 동작 UI 해 본 사람은 안다. 동작명령 외우는 게 "가리키기"와 "잡기"를 제외하고는 (그런데 이것도 결국 마우스의 point and click이라 ;ㅁ; ) 얼마나 어려운지.

테러리스트 잡으려면 사실 데이터가 확보되는 게 우선이고, 데이터가 확보된 후에는 3D 마우스나 터치스크린 정도면 충분한 속도로 검색할 수 있을 것 같다. 굳이 저렇게 '달밤에 체조'를 하지 않아도 볼 수 있는 건 충분히 볼 수 있으텐데 말이지... 굳이 사용자의 손을 영상인식으로 추적하는 것보다, 수집된 영상데이터에서 수상쩍은 상황을 영상인식으로 골라내서 보통 PC 앞에 앉은 사람에게 최종확인을 맡기는 게 나을 것 같은 생각이 든다. ㅡ_ㅡa;; (아 물론 쫌 과장이다. 적외선 광점을 찾아내는 건 수상한 상황을 인식하는 것보다 몇천배 쉽다 ^^: )
신고
Posted by Stan1ey
소니에서 초음파를 이용해서 컨트롤러의 위치를 파악하는 특허를 출원했다고 한다. 얼마전부터는 전통적인 컨트롤러를 반쪽으로 나눠서 양손에 들고 조작할 수 있도록 하는... 즉 완전히 Wii Remote와 같은 방식의 컨트롤러를 만들고 있다는 소문이 돌더니만, 초음파니 뭐니 해서 '그렇다면 관심이 있지...'하고 좀 찾아보니 결국은 같은 특허(US App#2008/0261693: "Determination of Controller Three-Dimensional Location Using Image Analysis and Ultrasonic Communication")다. 이 내용이 원래 특허를 분석했던 사람의 글에서 블로거 편한대로 이리저리 인용되다보니 지면관계상 -_- 쿨해 보이는 부분만 전달된 것 같다. 그냥 양손으로 조작하거나 초음파 센서만 이용하는 게 아니라, 영상까지 사용한다니 더 관심이 가서 좀 읽어봤다.

Motion Tracking Game Controller from SonyMotion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony
Motion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony

결국 양손으로 하나씩 잡고 조작할 수 있는 컨트롤러가 있고, 그걸 양손용으로 바꿀 수 있도록 하는 수십년전의 변신로봇 프라모델같은 아이디어가 있다는 게 한 부분이고, 그 각각의 위치를 추적하는 부분이 두번째 부분인 것 같다. 그런데 정작 내가 관심을 가진 이 두번째 부분이 왠지 복잡하다. -_-a;;; 제목에서 나와있는 영상분석이라는 건 기존의 EyeToy를 이용한 영상인식을 염두에 둔 것 같고, 영상인식을 이용해서 얻어진 X, Y축 데이터에 초음파 펄스를 이용한 거리측정 - 전자칠판 같은 데에 자주 쓰이는 방식이다 - 으로 Z축 데이터를 추가해서 정확한 3차원 상의 위치를 잡아낸다는 내용이다.

Motion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony

영상인식에 대한 청구항을 보면 "RGB값이나 적외선을 이용해서 영상 중의 둥근 모양을 위치를 인식"한다고 되어 있는데, 울긋불긋한 옷을 입은 플레이어나 크리스마스 트리를 흔드는 광경이 걱정된다면 역시 적외선을 사용하게 되리라 생각한다. 보통은 카메라 주변에 적외선을 넉넉히 뿌려주면서 구형의 반사체(은박을 뭉친 것 같이 생긴 구슬로, 모션캡춰 할 때 붙이는 것)에서 반사되는 빛을 이용하는데, 이 경우엔 광원 자체를 구슬 안에 넣어버린 거다.

초음파를 이용한 화면~컨트롤러 간의 거리인식도 조금은 다른 방식을 사용하고 있다. 그냥 한쪽에 발신기(스피커)를 한쪽에 수신기(마이크)를 달아서 발신기가 초음파를 쏴대면 수신기에서 그 펄스를 받아서 거리를 잡는 게 아니라, 양쪽에 수발신기를 모두 달아서 본체(아이토이 카메라에 붙어있는 모습으로 표현되어 있다)가 먼저 펄스를 보내고, 컨트롤러에서 그에 대한 응답으로 다시 펄스를 보내는 복잡한 방식을 취하고 있다. 이렇게 함으로써 양손에 따로 들려있는 컨트롤러의 위치를 동시에 타이밍을 맞춰 갱신할 수 있다는 것이다. 영상인식보다는 이 부분이 이 특허의 골자가 아닐까 싶다. 이 시차를 이용한 거리인식을 이용해서 여러 명의 플레이어는 물론이고 좌우 컨트롤러를 따로 구분해서 인식할 수도 있을 것이다.
Motion Tracking Game Controller from Sony

한가지 좀 이상한 것은, 굳이 영상인식과 거리인식을 둘 다 하지 않아도 3차원 상의 위치정도는 알아낼 수 있다는 거다. 영상인식에서는 구슬의 크기를 이용해서 다소간의 오차를 감안하면 거리를 알 수가 있고, 초음파 인식 장치를 3군데에서 하면 상당히 정확하게 공간상의 위치를 삼각측량 triangulation 해낼 수 있을 것이다. 하지만 그렇게 하지 않은 이유는, EyeToy라는 조그마한 장치 하나를 덧붙여서 모든 것을 해결하고자 했거나, 뭔가 남들이 사용하지 않아 특허로 보호받을 수 있는 독특한 기술을 사용함으로써 조금 일이 복잡해지더라도 그 조작체계를 보호하고자 하는 목적인 것 같다. 그냥 초음파만 발산하는 장치라면 소니의 라이센스를 받지 않고도 만들 수 있을테니까. (뭐 최근 Immersion 사에 거액의 특허료를 지불하고는 정신이 번쩍 들기도 했을꺼다. ㅎㅎㅎ )

뭐 하지만 소니가 과연 이걸 제품화할지는 잘 모르겠다. Wii가 처음 소개되고 나서도 부랴부랴 Wii와 비슷한 방식 - 단, 소니의 특허는 컨트롤러에서 LED가 적외선 패턴을 표시하고 화면 쪽의 카메라에서 그 패턴을 분석하는 방식이었다 - 으로 컨트롤러의 위치를 파악하는 특허를 출원하기도 했지만, 결국 너무 서둘러 '뭔가 출원'해서 였는지 (그림 그린 걸 봐라 -_- ), 영상인식 분야에서 워낙에 많이 쓰여왔던 방식이어선지 특허로도 연결되지 못했고, 상품화도 되지 못했다. 이번 특허는 기술적인 진보의 측면에서는 조금 더 나아보이니까 가능성은 좀 높겠지만.

Old Motion Tracking Game Controller from Sony, 2006Old Motion Tracking Game Controller from Sony, 2006

어느 쪽이든 게임 분야에서만큼은 동작, 혹은 공간 상의 위치와 방향를 이용해서 뭔가 하는 것이 대세가 되어가고 있는 것 같다. 그보다는 컨트롤러에 버튼 갯수를 늘리는 것보다 다른 센서가 포함된 소위 "게임기 주변장치"가 대세라고 하는 게 맞을까. 옛날 "PC 주변장치"라는 말이 있었던 것이 이렇게 쓰이는 걸 보면 참 어색하긴 하지만. 뭐 덕택에 HTI 입장에서는 재미있는 이야기꺼리가 거의 매일 쏟아지고 있는 요즘이다.
신고
Posted by Stan1ey
일전에 소개했던 Fraunhofer 연구소의 iPointer Presenter (iPP)라는 동작기반 UI가, NextFest 2008에서 실체를 좀더 드러낸 모양이다. 연구소 홈페이지를 보면 제법 자세한 이야기와 함께 동작원리를 설명하는 동영상을 볼 수 있다.



iPoint Presenter in box
흠, 결국 전송거리가 짧은 적외선의 특성을 이용해서, 하얗게 반사된 손 영상을 영상처리를 통해 인식하고 그 동작이나 포인팅을 인식한다는 건데... 사실 이건 그동안 국내외 대학은 물론 영상처리 한다는 곳에서는 모두 다 하고 있던 방식인지라, 그걸 굳이 하나의 상자 안에 넣었다는 것 외에는 (embedded인지 그냥 안에 PC가 들어있는 건지조차도 모르겠다) 차이가 전혀 없어 보인다.

뭔가 새로운 방식을 기대했던 입장으로는 조금 맥이 빠질 정도이고, 저 방식이라면 어차피 해상도 문제, 초기조정 calibration 문제, 햇빛이 들어오면 어쩔건데 등등 쉽게 해결되지 않을 문제가 여전히 산재해 있으므로 관심도 싹 사라질 지경이다. 비록 동영상은 그럴 듯 하게 만들어져 있지만, Y축 방향의 포인팅 측정과 실제 초기화는 어떻게 하고 있을까 걱정이 다 된다. 알아서 "잘" 하겠지만서도.

어쨌든, 더이상 뭔가 나오지 않는다면 이 연구과제에 대한 이야기는 여기까지.
신고
Posted by Stan1ey

Motion War Begins?

2008.08.22 23:08

지난 20일, Hillcrest Labs에서 자사의 특허를 침해했다며 Nintendo를 고소했다고 한다. 보통은 잘 알려져 있지 않은 이 작은 회사는, 홈네트워크를 조작하기 위한 - 결국은 TV에 나타난 복잡한 메뉴들을 조작하기 위한 - 방편으로 다양한 "The Loop"라는 이름의 장치를 사용하고 있다. 이 리모컨 장치는 결국 공간 마우스인데, 아래 사진과 같이 잡기 편한 형태를 가지고 있다. (그 이름이 어떻게 지어졌는지를 쉽게 알 수 있다. ㅎㅎ )

The Loop from Hillcrest Labs
이렇게 공간에서 마우스질 -_- 을 시키려면 기술적으로 불편한 점이, 사용자가 마우스를 똑바로, 즉 지표면과 평행하게, 화면에 수직으로, 손목은 일직선으로;;; 잡지 않으면 이후의 센서신호 처리가 좀 복잡해진다는 것이다. (예전의 글에서 인용한 동작인식 휴대폰의 그림을 참조) Hillcrest Labs의 특허기술은 바로 여기에서 빛을 발한다. 이번에 Nintendo를 상대로 제소한 4건의 특허Hillcrest Labs의 최대 밥줄이라고 볼 수 있는 미국특허 7,158,118 문건을 좀 열심히 들여다 보자.

Images from Hillcrest Labs' core patentImages from Hillcrest Labs' core patentImages from Hillcrest Labs' core patent

이 특허는 위 첫 그림과 같이 가속도 센서(506) 외에 2개의 '회전 센서'(502, 504)라는 걸 장착함으로써, 사용자가 리모컨 혹은 마우스를 어떻게 '기울여' 잡고 있느냐를 인식해서 가속도 센서로부터의 움직임을 보정한다. 즉 위 두번째 그림과 같은 경우에는 회전 센서가 필요없겠지만, 세번째 그림과 같이 '기울여' 잡고 있으면  (손모양의 차이에 주목!) 리모컨/마우스를 똑바로 움직여도 커서는 위로 날아가 버리는데, 이 '보정기술'을 적용하면 커서를 사용자가 원한대로 움직일 수 있다는 것이다.
Logitech MX Air - 3D spatial mouse

이 기술은 FreeSpace 라고 이름붙여져 있으며, 로지텍의 공간 마우스인 MX Air 라는 기종에도 적용되어 있다.



문제는 Hillcrest Labs가 Nintendo를 상대로 지금 특허소송을 한 이유가 뭘까 하는 거다. Hillcrest Labs의 기술에서는 '회전 센서'라고 다소 애매하게 말하고 있지만, 사실 특허본문에서 인용하고 있는 센서모델은 자이로 센서이다. 어쩌면 내가 지난번에 성급하게 예측했던 것과 달리, MotionPlus는 단지 회전만을 감지하는 자이로 센서 모듈일지도 모르겠다. 가속도 센서를 덧붙이는 것과 자이로 센서를 덧붙이는 것에는 각각 장단점이 있지만, 이제 와서 생각해 보면 자이로 센서를 넣는 편이 계산도 간편하고 비용도 쌀지 모른다. 좀더 복잡한 동작인식을 가능하게 해주지는 않으니 응용할 수 있는 방법은 적겠지만, 그래도 "하나 더 넣어봤어요" 보다는 "새로운 센싱을 추가했어요"가 낫지 않겠는가. ㅎㅎㅎ

어쨌든, 닌텐도가 실제로 자이로 센서를 넣은 MotionPlus를 발매한다고 해도, Hillcrest Labs가 이번 소송으로 얼마나 얻을 수 있을지는 모르겠다. 일단 이름은 좀 알리고 주가는 좀 오를지 모르겠으나, 닌텐도의 주된 pointing 방식은 적외선 영상을 이용한 vision processing에 기대고 있기 때문에 위에서 검토한 Hillcrest Labs 특허의 제목이 "3D pointing devices with orientation compensation and improved usability", 즉 화면 상의 포인팅을 목적으로 하고 있는 이상 단지 같은 센서를 썼으니 돈 내놓으라고는 할 수 없는 것이다.

뭐 어느쪽이든, 최근 몇 년간 굵직한 특허소송의 주인공이 되고 있는 닌텐도는 미국시장을 잠식해 들어가는 대가를 혹독하게 치루는 중이다.

신고
Posted by Stan1ey

Motion Plus for Wii Remote

요새 한창 열리고 있는 E3 행사에서 Nintendo가 Wii Remote에 끼우는 방식의 "MotionPlus"라는 부속을 발표한 모양이다. 이전에 발표되었던 부속인 Nunchuck이나 Zapper 같은 경우엔 그 목적이 매우 분명 - 양손조작을 위한 눈척과, FPS 게임을 위한 "총틀" - 했지만, 이번에는 같이 발표된 게임(아래 사진)이 언뜻 보면 기존의 게임들과 별다를 게 없는 모습이라서 MotionPlus의 정체와 역할이 의아하다는 분위기다.

Game play with Motion Plus

하지만, 기존의 Wii Remote에서 빠진 것 - 인식할 수 없는 동작 - 을 생각해보면, MotionPlus의 역할과 심지어 구조에 대해서도 (조금은 위험하지만 ㅎㅎ ) 쉽게 예상할 수 있지 않을까.


우선, 기존의 Wii Remote를 뜯어보면 아래와 같은 구조를 가지고 있다. (내가 뜯어본 게 아니라, CNN의 관련 기사에서 고맙게 갖다 썼다. ^^; )

Inside Wii Remote - Anatomy from CNN
빨간 동그라미로 표시한 부분이 Wii의 트레이드 마크가 된 동작인식을 가능하게 해주는, "3축 가속도 센서"다. 이런 종류의 센서는 상하좌우 위아래 방향으로의 급격한 움직임의 변화(가속도)를 인지하는 센서로, 단순히 모션센서로 이해하면 되겠다. (물론, 이외에도 지구 상에는 어디든 있는 '중력가속도'를 인지할 수 있어서 iPhone이 세로로 놓여있는지 가로로 놓여있는지를 인지하는 용도로 쓰이기도 하고, 중력가속도가 느껴지지 않는 상황, 즉 자유낙하 상황을 인식해서 하드 디스크의 데이터를 보호하기 위한 기능을 수행하기도 한다.) 이 작은 모션센서는 잘 알려져 있다시피 Wii Remote를 쥐고 있는 사람이 Wii Remote를 어떻게 휘두르고 있는지를 인식하는 데, 하나의 3축 가속도 센서로 인식할 수 있는 것은 그것이 어느 방향으로 움직이고 (=휘둘리고) 있는지 뿐으로, 그 움직임이 손목의 움직임인지 팔목의 움직임인지는 알 수가 없다.

그런데, 이번에 MotionPlus를 발표한 Nintendo 사의 홍보자료의 '행간'을 보자.

Nintendo's upcoming Wii MotionPlus accessory for the revolutionary Wii Remote controller again redefines game control, by more quickly and accurately reflecting motions in a 3-D space. The Wii MotionPlus accessory attaches to the end of the Wii Remote and, combined with the accelerometer and the sensor bar, allows for more comprehensive tracking of a player’s arm position and orientation, providing players with an unmatched level of precision and immersion. Every slight movement players make with their wrist or arm is rendered identically in real time on the screen, providing a true 1:1 response in their game play. The Wii MotionPlus accessory reconfirms Nintendo’s commitment to making games intuitive and accessible for everyone. Nintendo will reveal more details about the Wii MotionPlus accessory and other topics Tuesday morning at its E3 media briefing.

"이거 되게 끝내주는 거다"라는 요지의 모호한 표현들을 제거하고 나면, 왠지 필요가 없는 내용인 것 같은데 들어있는 단어가 - 보통 기술적인 발표에서는 이 대목이 치명적인 단점이거나, 끝내주는 장점이 된다 - 보인다. 손목 또는 팔 wrist or arm. 다른 모든 묘사는 기존의 Wii Remote에서도 동일하게 적용될 수 있는 부분인데, 딱 요 부분이 MotionPlus의 정체를 드러내고 있다. (내가 맞다면;;)

내 예상으로는, MotionPlus의 정체는 '또 하나의 3축 가속도 센서' 모듈이다. 물론 센서 외에도 그 입력값을 추가로 처리해서 통합된 신호로 Wii 본체에 보내주기 위한 프로세서도 포함되어 있겠으나, 그 주된 역할은 Wii Remote의 다른 쪽 끝에 가속도 센서를 설치해 넣기 위한 것일 거다.

기존 Wii Remote의 경우에는 손목을 까딱거리든 팔을 크게 휘두르든 하나의 가속도 센서에서 들어오는 입력값으로는 구분할 수 없지만, Wii Remote의 양쪽 끝에 가속도 센서가 하나씩 들어가게 되면 손목을 까딱거리는 것과 팔을 휘두르는 것은 명확한 차이를 갖게 된다. 이를테면, 왼쪽으로(◀) 움직이는 다양한 동작을 각 센서가 인식한다면 다음과 같다.

Gesture WithOUT MotionPlus With MotionPlus
Sensor in
Wii Remote
Sensor in
Wii Remote
Sensor in
Motion Plus
손목 까딱이기  
손목 회전
팔 휘두르기

Advanced Gesture Recognition of Wii Remote with MotionPlus

위 몇가지 경우와 같이 Wii Remote에 장착된 센서만으로는 모두 똑같이 (비슷하게..라고 하는 편이 맞기는 하겠으나, 구분하기 어렵다는 측면에서 똑같다고 할 수도 있겠다) 보이는 센서 입력값이, MotionPlus에 장착된 센서 입력값을 참조하면 서로 다른 움직임이라는 것을 알 수 있게 되는 것이다.

이제 처음에 봤던 게임의 의미를 알 수 있을지 모르겠다.

Game play with Motion Plus

이 수상스키 게임에는 두가지 주된 제스처 조작 - 핸들의 스로틀을 돌려 (=손목 회전) 속도를 조절하는 것과 핸들을 돌려 (=팔 동작) 방향을 잡는 게 필요한데, 기존 Wii Remote로는 이 두가지 동작을 구분하기가 무척 어렵고, 오류가 많은 동작인식을 각오해야 한다. MotionPlus를 부착해서 부가적인 정보를 받음으로써, 이러한 게임 플레이가 가능하게 된 것이다!

이 정도 정세한 조작이 가능하다면, 사실 할 수 있는 건 더 많다. 다양한 초식을 구사할 수 있는 검술 게임도 가능하고, 스파이더맨이 되어 주먹 휘두르기와 거미줄 쏘기(손목꺾기)를 동작으로 구분할 수도 있겠다. 수상스키처럼 오토바이도 조작할 수 있을테고, 손바닥을 펴서 비행기 흉내를 내듯이 비행기의 다양한 자세제어도 단지 Wii Remote를 조작해서 할 수 있겠다.

Wii Fit도 처음 나왔을 때 그 단순한 입력(딸랑 압력센서 4개의 조합이다)으로 뭘 할 수 있나 했다가 그 다양한 응용에 놀라버렸는데(특히 훌라후프 돌리는 게임은 정말... ㅎㄷㄷ ), 이번 MotionPlus는 또 어떤 기발한 응용을 보여줄지 무척이나 기대가 된다.

Sony의 PlayStation, PSP와 Nintendo의 Wii, NDS를 비교하던 어떤 글에서, "소니는 게임기를 만들고, 닌텐도는 게임을 만든다"는 인용문을 읽은 기억이 난다. 이 엄청난 글자 한 자의 차이는 도대체 어디서 오는 걸까.

거참.

신고
Posted by Stan1ey
예전에 Sony CSL에서 bendable computer 라는 Gummi 프로토타입을 보인 적이 있었다. 그때는 모니터 양쪽에 휨 센서를 하나씩 넣어서, 제품을 양손으로 잡고 안쪽으로 휘거나 바깥쪽으로 휘는 동작으로 zoom in, zoom out 등의 동작을 하게 되어 있었는데, 이번에 Microsoft Research에서 나온 프로토타입은 한쪽에만 4개의 압력 센서를 넣어서 안팎으로 휘는 동작 외에도 비트는 동작도 지원하고 있다. 말하자면 twistable computer라고 할 수 있을 듯.

Twistable computer from Microsoft

이 프로토타입은 특히, 나도 애용하는 Phidget Kit을 이용해서 만들어져 있어서 흥미롭다. 내부용인 technical report를 봐도 flexible PCB와 기본 부품이 아닌 센서를 연동시켰을 뿐 phidget의 기본 interface kit을 바탕으로 만들어졌음을 알 수 있다. (저 수상쩍은 검은 테이프 아래 있는 것은, 아마 센서 값을 interface kit의 측정 범위 안으로 조정하기 위한 저항들일 거다.)

사용자 삽입 이미지

같은 technical report에서는 아래 그림과 같이 안팎으로 휘고 비트는 동작 외에 위아래로 벌리는 동작이 가능한 듯이 제안하고 있지만, 실제로 구현된 것은 Sony Gummi에서 비트는 동작이 추가된 정도이다. 즉 아래 그림 중 위의 두 동작은 단지 제안일 뿐 구현되지 않았다는 거지.

사용자 삽입 이미지

뭐 어쨋든 또 뭔가 하나 나왔네... 싶은 정도이고 그다지 새로운 걸 보여주는 것 같지 않지만, 이것도 또 Microsoft에서 나왔네 하면서 한동안 시끌벅적할 것 같아서 적어둔다. 특히 force sensor라는 말에 낚인(?) BBC 웹사이트가 벌써부터 <May the Force be with you>라는 멋진 제목을 뽑아주고 있는 걸 보면... 쩝.


※ 참고: Technical Report

신고
Posted by Stan1ey

여러 대의 카메라를 통한 영상인식을 가지고 만든, 제목 그대로 "그냥 또 하나의 제스쳐 UI 사례"가 하나 추가되었다. 내용 상은 특이한 점도 없고, 누차 이야기한 동작인식 기반의 UI 문제점을 해결하기 위한 노력도 크게 보이지 않는다. 게다가 발표된 사진 중 적어도 하나는 아무래도 -_-+ 연출된 이미지같기까지... 뭐 그렇다고 해도 이해하지 못하는 건 아니지만. (눈물난다. 흑 ^^' )

iPointer Presenter (from Fraunhofer)

Gesture-Driven Computer (from Fraunhofer)

단지 상당한 인재들이 모였다고 하는... 그리고 비교적 장기적인 연구가 오랫동안 (말라죽지 않고) 진행되는 프라운호퍼 연구소의 홍보자료인만큼, 앞으로도 꾸준한 연구와 성과를 기대해 본다.

P.S. iPoint Presenter라... 영어로 이름 짓는 센스만큼은 비슷한 수준인 듯. ㅋ

신고
Posted by Stan1ey

Touch UI는 2D 입력을 하고... Gesture UI는 3D 입력을 한다. 비록 조작해야 하는 시스템의 대부분이 2D 화면 상에 구현되어 있음에도 불구하고, 이 구분만큼은 각각의 UI 기술을 연구개발하는 사람들의 배경 만큼이나 확실히 구분되는 듯 하다.

확실히 기존의 Gesture UI는 휴대폰이나 리모컨, 아니면 손을 흔드는 것처럼 3D 공간에서의 움직임을 인식해서 이를 어떤 명령으로 전달하고자 했지만, 최근 눈에 밟힌 2개의 기사에서는 조금 다른 방식의 gesture를 다루고 있다.

첫번째 기사는 Nokia에서 낸 특허에 대한 것으로, 2개의 적외선 카메라(광학센서)를 이용해 인식한 손가락들의 움직임을 인식하여 pointing이나 다른 명령을 위해 사용하는 발명이다. 한때 열심히 고심했던 연구 과제와 구성이 똑같다는 건 뭐 아쉬운 일이지만, 어쨋든 유행하는 multi-touch와 별도로 독특한 HTI 솔루션을 냈다는 것은 훌륭하다고 생각한다. 단지 모바일 기기를 저렇게 양손 둘째 손가락으로 쓰고 있는 모습이 영화에서처럼 쿨할지는 모르겠지만. ㅡ_ㅡ;;;

Nokia: Multi-Finger Gesture Patent
Nokia: Multi-Finger Gesture Patent
Nokia: Multi-Finger Gesture Patent


두번째 기사는 이번 CES에 나왔던 거리인식 웹캠 업체에 대한 것이다. 특정지점으로부터의 거리를 구하는 것은 레이저를 이용한 방법 등이 많이 쓰였지만, 레이저의 방향을 이리저리 돌려가며 특정 영역의 각 지점까지의 거리를 구하기 위해서는 레이저를 모든 영역으로 한번씩 scan해 줄 수 있도록, 모터와 프리즘이 동원되는 복잡하고 정밀한 시스템이 필요하다. 하지만 이 업체에서는 현명하게도, 특정 펄스를 피사체에 뿌리고 그 반사시간(빛의!)을 측정해서 반 입체를 인식하는... 어렵지만 가장 정답에 근접한 방법을 쓰고 있다. 비교적 가까운 거리이기에 반사체의 특성(색상, 소재, 정반사율 등)에 많이 영향을 받을 것 같기는 하지만, 그래도 별도의 센서를 다는 것보다는 저렴하고 좋아 보인다.
3DV Systems: Technology

이 두가지 인식 장치는 전혀 달라보일지 몰라도, 내가 보기엔 모두 2.5D Gesture를 추구하고 있는 점에서 닮아있다. Gesture UI를 말하면 언제나 공간 상의 자유로운 동작이 뭔가 큰 일을 할 것 같지만, 사실 3D Virtual Reality 환경 속에서 조차도 진정한 3D 동작으로 뭘 조작할 일은 없다시피 하다. 기껏해다 물건을 "돌려본다" 정도일까? 그 외에 물건을 한쪽으로 치우거나, 무엇 위에 무엇을 놓거나 하는 동작들은 사실 2D 화면 상의 WIMP 개념에서도 충분히 구현되었던 기능이다.

2D 화면에서 구현된 이런 3D적인 개념을 표현하기 위해서 그림자라든가 볼록한 느낌 등을 이용한 그래픽이 많이 사용되었고, 그런 표현들은 한동안 2.5D 라고 부르기도 했다. 그렇다면 3D 공간에서 이루어지지만 2D에 보다 가까운 동작들도 역시 2.5D라고 해야 하지 않을까?

2.5D Gesture는 기본적으로 기존에 사용하는 mouse와 cursor의 gap을 그대로 유지하면서도, 2.5D GUI에서 2% 아쉬웠던 약간의 입체적 조작 - 즉, 살짝 들어올린다든가 하는 동작이라든가 - 을 부가하고, 여러 깊이 layer를 가진 2D 조작의 조합으로서 몇가지 quasi-mode를 지원하게 될 수도 있을 것이다. 무엇보다 일반적인 Gesture UI들이 허공에서 체조하는 듯한 어색하고 촌스러운 느낌이었던 것에 비해, 위와 같은 장치를 이용한 2.5D UI는 화면에서 약간 떨어진 정도의 공간에서 조작하기 때문에, 촌스럽거나 하기보다 오히려 수정구 주위로 신비롭게 움직이는 마법사의 손가락을 연상시킬지 모르는 일이다.

신고
Posted by Stan1ey

온갖 뜬소문이 어제까지도 창궐하더니, 드디어 오늘 새벽에 애플 빠돌이들(나도 그 중에 하나다 -_- )에게 MacBook Air가 강림하셨다.



  • 13.3 인치 와이드 LCD (1280x900)
  • 가장 얇은 곳 0.5cm ~ 두꺼운 곳 1.95cm
  • Light-sensitive Illuminating Keyboard
  • Multi-Touch Trackpad
  • Wireless Migration Assistant
  • Remote Disc

와우... 이건 뭐 예상을 뛰어 넘어도 유분수지. 소문으로 떠돌던 미래에서 온 듯한 기능들을 모두 넣었을 뿐 아니라, 새로운 기능들까지 소개하고 있다.

특히 multi-touch trackpad에서는 새로운 "multi-finger gesture"를 몇가지 포함하고 있는데, 수년전 합병한 FingerWorks사의 UI(이전 글 6번 참조)가 드디어 적용된 것으로 보인다. iPhone의 멀티터치가 비교적 제한된 제품과 기능을 위한 것이었다면, 이번에는 범용적인 플랫폼인 PC에 멀티터치 입력장치와 (아마도 애플이니까) SDK가 공개된 셈이니, 이제 PC S/W가 아닌 Mac용 S/W에는 멀티터치 명령들이 당연한 듯 들어가게 되지 않을까. 개인적으로는 앞으로 이 멀티터치 기능을 어떻게 이용한 어떤 S/W들이 나올지.. 그리고 그 다음으로 기존의 productivity application 들이 이 새로운 입력을 어떻게 받아들이게 될지가 아주 기대된다. ㅎㅎ

Wireless migration assistant도 사용자를 크게 배려한 기능이고, 특히 remote disc를 지원한다는 것은 - 비록 별도의 S/W를 상대 컴퓨터에 설치해야 한다는 사실이 좀 걸리지만 - ODD를 내장하지 않은 것에 대한 이제까지 나온 중에서 가장 멋진 대안이라고 생각한다.

무엇보다도, (또) 광고...



... 아 진짜. ㅡ_ㅡ+=3=3==33

신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.