UX Design on KINECT

2011.01.16 15:48
지난 몇 개월간 키넥트 플랫폼을 이용한 게임개발 프로젝트에 참여하면서 UI 설계를 담당했다. 인터넷 상의 리뷰를 보면 사용자들은 비교적 긍정적인 인상을 많이 받고 있는 것 같지만, 새로운 UI를 설계하려는 입장에서 마이크로소프트의 담당자들과 이메일을 주고받다보면 역시 새로 상용화된 기술답게 나름의 제약점이 많다.

홍보되는 것처럼 "사용자의 동작을 입체적으로 인식"한다고 하기에는 조금 기술적인 어폐가 있고, 일반적인 동작 UI 디자인 가이드라인 외에도 적외선 거리인식 센서의 입력값과 카메라를 통한 영상처리 결과가 키넥트 시스템을 통해서 어떻게 조합되는지를 이해하고 그에 맞춰 동작입력을 선택하는 게 중요하다고 하겠다. ... 쓰고보니 당연한 소리를. ;ㅁ; Kinect 센서의 구성이나 특성에 대해서는 예전의 블로그 글이나 인터넷 검색, 혹은 의외로 잘 퍼지지 않은 동영상 자료지만 유용한 정보가 상당히 많은 <Inside Xbox> 인터뷰들을 참고하시면 좋을 듯.

가장 중요한 점은, 사실 이 시스템에서 거리센서는 사용자의 몸 "영역"을 배경과 바닥으로부터 분리시키는 데에만 사용되고, 정작 팔다리를 인식하는 건 주로 카메라로부터의 영상처리에 의존하는 것 같더라는 것이다. 그러니 팔을 앞으로 뻗어 몸통을 시각적으로 가린다든가 하면 바로 자세인식에 문제가 생기고, 그러니 별도의 신호처리 없이 시스템에서 입력받을 수 있는 자세정보(각 부위의 위치와 각도)라는 것은, 카메라에서 봤을 때 큰대(大)자 자세에서 팔다리를 위아래로 휘젓는 정도다. (이보다 복잡한 동작이 아예 인식되지 않는 건 아니지만, UI는 고사하고 게임용으로 쓰기에도 오인식률이 높다.) 결국 제대로 3차원 인식이 아닌 2.5차원 인식방식이다보니 생기는 이상과 현실의 괴리랄까.

그렇다보니 그 멋져보이는 자세인식은 직접적으로 UI에 쓰이지 않고, 실제로는 인식된 특정부위(예: 손)의 위치를 커서위치에 대응시킨다든가, 특정부위까지의 거리변화를 입력으로 삼는다든가(예: 팔 휘둘러 내밀기) 하는 식으로만 매핑이 되고 있다. 사실 그것만으로도 기존에 없던 제법 재미있는 UI를 만들 수는 있지만, 실제로 브레인스토밍 중에 나왔던 수많은 멋진 동작 UI 아이디어들을 추려내다 보면 아쉬움이 이만저만이 아니다.

Gesture Command by SwipeGesture Command by Hand-Cursor

참여했던 프로젝트에서는 이런저런 제약점들을 피해서 나름대로 Wii Remote로 프로토타입도 만들어가며 최선의 UX 설계를 하려고 애썼는데, 실제로 제품이 출시되는 올 하반기가 되어야 이런저런 이야기를 풀어놓을 수 있을 듯. 그때쯤 되면 죄다 당연한 소리가 될지도 모르지만.

얼마 전 Jacob Nielsen도 <Kinect Gestural UI: First Impressions>라는 컬럼을 게재했는데, 키넥트 플랫폼에서 사용성을 고민하고 있다면 대체로 유용한 관점이라고 생각한다. 보아하니 나중에 유료 컨텐츠/세미나로 팔아먹기 위해서 말을 아낀 것 같기는 한데, 그렇다고 해도 게임 UX의 큰 목적(개인적으로, 재미와 탐사는 게임 뿐만 아니라 그 UI를 사용하면서도 느낄 수 있어야 한다고 생각하기에)이라든가 동작입력의 특성(중력장 안에서 상하움로 움직인다는 건 평면 상에서 마우스를 굴리는 것과는 또 다르다)을 고려하지 않은 지나치게 전통적인 (그리고 '웹'스러운) 발언들은 좀 아쉽다. 또한 현재 출시되어 있는 키넥트 기반 게임들 중에서 가장 나은 사용성을 보이고 있는 <Dance Central>의 경우는 상당한 시행착오와 고민 끝에 나온 나름의 최적안이라고 볼 수 있는데, 그 부분이 약간 평가절하되어 있는 부분은 너무 평가자의 시점에서만 이야기하고 있다고 느껴졌다. 그런 건 UI에 관심만 있고 실제로 책임지고 디자인하지는 않는 사람이 쉽게 취하는 입장인데.



어쨌든 사람들이 이 KINECT 플랫폼에 대해서 갖고있는 질문은 "키넥트 게임이 재미있나?" 라는 것과 "키넥트 기반의 동작 UI는 쓸만한가?"로 정리된다.

(1) 게임은 재미있나: 재미있다. 그런데 '어떤' 게임이 재미있는가에 대해서는 아직 장르를 많이 타고, 그 장르에서 어떤 방식으로 KINECT 플랫폼을 활용하는지는 현재 시행착오가 진행 중이다. 관련 리뷰들을 보면 알겠지만 마이크로소프트에서 번들로 주는 게임들보다 오히려 <Dance Central>의 리뷰점수가 높고, 더 재미있다. 하지만 그 게임은 아직 KINECT를 100% 활용하지 않고 있다. KINECT 센서를 보면 이런저런 가능성은 높은데, 단가를 낮추기 위해서 프로세서를 빼는 바람에 쓸 수 있는 입력값은 정말 단순한 내용 밖에 없다. 그런 입력값을 처리하는 엔진이 탑재된 게임이 나오면 (혹은 MS에서 API를 업데이트해주면) 그 잠재력이 최대한 발휘되리라 생각한다.

(2) UI로 쓸만한가: 한계가 뚜렷하다. 기술 자체라기보다는 플랫폼에 의한 한계가 많은데, 이를테면 320x240의 해상도로 전신을 잡으면 손/발/머리의 움직임은 사실 거의 잡지 못하고, 중첩이나 회전을 감지하는 건 상상도 못한다. 결국 앞에서 말했듯이 UI에 사용되는 동작명령도 팔다리를 허우적거리는 수준으로 큼직큼직하게 만들어야 하고, 팔다리가 신체의 다른 부위를 가리지 않아야 하기 때문에 흔히 비교되곤 하는 영화 <Minority Report>의 동작 UI와는 상당한 거리가 있다. MS에서도 이 문제를 해결하려고 해상도를 두 배(640x480)로 늘리겠다고 했지만, 그래도 손동작을 UI에서 쓸 수 있는 수준으로 인식하는 건 어렵다고 본다.

Body Tracking on KINECT
(한 가지 첨언하자면, 위의 해상도는 소프트웨어적으로 조정이 가능한 각해상도 angular resolution 이다. 따라서 이론적으로는 일시적으로 특정부위 - 얼굴이나 손 - 에 해상도를 집중해서 더 자세한 자세정보를 얻는 것도 가능하지만, 현재 API에서는 지원하지 않는다.)

결국 이런 방식의 동작인식 시스템이 주요 UI 장치로 쓰일 수 있는 경우는 무척 좁을테고, 여기에 관심을 보이는 실무 디자이너들에게 돌아올 궁극의 질문은 이번에도 꽤나 신랄할 것이다: 그 센서로 인한 단가상승만큼 중요하고 필요한 조작인가? ... 여기에 확실히 그렇다고 할만한 물건은 아니다. 단지 과거 터치스크린이 그랬고 전자나침반도 그랬듯이, 제한된 용도일지라도 그 유용함이 확실하다면 남들보다 앞서서 고려해야 하는 세상이라는 점을 강조하는 수 밖에.

개인적으로 흥미롭게 보고있는 것은 키넥트 출시 이후에 줄줄이 등장하고 있는 해킹 사례들이다. 특히 기존에 동작/영상인식을 하던 사람들이 가장 신나하는 것같고, 그외에 컴퓨터 그래픽에서도 3차원 영상으로만 가능한 재미있는 사례가 속속 나오고 있다. 하지만 진짜 기대되는 것은 이 Kinect와 Wii Remote를 동시에 사용하는 (해킹) 어플리케이션이다.

키넥트는 전신의 움직임을 잡아내는 데에는 유용하지만 메뉴를 선택한다든가 총을 겨냥해서 쏜다든가 하는 세밀한 움직임이 불가능하다. 거기에 그걸 제대로 해줄 수 있는 장치(게다가 가상의 물체에 매핑될 수 있는 물리적 장치)를 더한다면 그야말로 동작인식에 날개를 단 형국이 아닐까. 이미 둘 다 해킹이 되어 PC에서 연동이 되고, 특히 Flash 등 인기있는 시각화 도구와도 바로 연결이 된다. 바로 며칠 전에 변형된 게임에 이를 적용한 사례가 올라오긴 했지만, 단순히 입력값을 조작에 연결시킨 수준일 뿐 각 장치의 잠재력과 시너지를 충분히 발휘했는지는 모르겠다.



아마 기존의 컨트롤러와 Kinect를 동시에 (아마도 Kinect는 보조적/선택적인 입력으로) 사용하는 Xbox용 게임이 올해 중으로는 발표되리라는 생각이 들지만, 우선은 그 전에 오는 5월의 CHI 2011 학회에서 그런 조합이 몇 건 나와주지 않을까 하는 기대를 하는 중이다.

Wii Remote, Kinect, 3D TV, ... 판이 점점 재미있게 돌아가고 있다.




... 뭐가 "짧게 짧게"냐. ㅡ_ㅡa
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey
Project NATAL - Sensor Module
미국에서는 E3가 한창이다. 그거 준비한다고 우리 회사에서도 몇명 고생한 것 같고 (UX팀은 그런 신나는 일에서는 아무래도 거리가 있다). E3의 press conference에서 Microsoft가 일전에 인수한 3DV Systems의 2.5D 동작인식 카메라를 넣은 시스템을 "Project NATAL"이라는 이름으로 발표했다. 그런데, 이게 단지 동작인식 뿐만 아니라, 얼굴을 통한 사용자 인증과 음성인식까지 넣어서 "컨트롤러가 필요없음"을 강조하고 있다.



... 이게 이렇게 잘 될 것 같으면 그동안 수많은 영상인식 연구원들이 왜 그 고생을 했게. ㅡ_ㅡ;;;;; 기가 막히게 잘 되는 음성인식은 오히려 그렇다 치고, 장애물이 있어서 카메라에서 보이지 않는데도 동작인식이 되는 모습 같은 건 모델이 된 꼬마가 불쌍할 지경이다.

아니나 다를까, 실제 구동되는 동영상은 이거다.



이런이런. 망신도 이런 망신이 없지 말입니다. *-_-*

뭐, 기술은 분명히 개선의 여지가 있는 것 같고, HTI를 어떻게 설계하느냐에 따라 게임에 훌륭하게 적용될 가능성도 높은 기술인 건 사실이다. 그렇지만 그 수많은 화려한 영상인식 기술데모에도 불구하고 Sony EyeToy가 "특정영역에서 손을 흔들고 있으면 선택됩니다" 라든가 "미친듯이 움직이면 그 움직이는 정도가 플레이에 반영됩니다" 따위의 유치한 방식 밖에 쓰지 못한 데에는 다 이유가 있다는 거다.

Sony EyeToy Gestural Interaction: SelectionSony EyeToy Gestural Interaction: Activity

2.5D 동작인식은 분명 여기에 깊이 정보를 더한다는 장점이 있지만, 여전히 영상인식이 가지고 있는 단점 - 시야각이라든가, 시야각 내의 장애물이라든가, 신호처리에 걸리는 속도라든가, 물체인지의 오류 가능성 등등 - 은 그대로 지니고 있다. 오히려 이론적으로는, 처리해야 할 정보가 늘어나면서 인식 오류의 가능성은 기하급수적으로 높아지게 된다. 위 두번째 동영상에서 보여주는 모습이 바로 그런 현상에 대한 증거가 아닐까.

그리고 무엇보다도 아무 것도 쥐지 않은 빈 손으로 저렇게 손짓발짓하는 것이 플레이어에게 얼마나 허망할지도 큰 문제가 될 것이다. 이미 손에 쥘 컨트롤러를 가지고 있는 Nintendo Wii의 경우에도 그 즉물성(?)을 더하기 위해서 단순한 플라스틱 껍데기에 지나지 않지만 골프채, 테니스채, 운전대, 거기에 총 모양의 모형까지 더하고 있는 걸 봐도 알 수 있지 않을까? 나중에 추가적인 물건을 더할 수도 있겠지만, 그렇다면 "YOU are the controller"라고 장담했던 게 우스워질게다.

말은 이렇게 하지만... 그래도 마이크로소프트의 자본력과 연구원들, 그리고 꿈만 같은 동작인식과 음성인식의 조합인 multimodal interaction이다. 첫번째 동영상에서 게임 캐릭터와의 대화가 그만큼 자연스럽게 가능하리라 생각하진 않지만, 투자가 없던 이 분야에 저만한 회사가 공공연하게 뛰어든다니 그래도 조금은 기대해 보는 것도 나쁘지 않을 것 같다.

--- 이하 다음 날 추가 ---

Lionhead에서도 이 기술을 이용해서 Project Milo라는 것을 발표했다. ... 이건 한 술 더 떠서 인공지능 에이전트까지 추가. 비슷한 데모를 만들어봤던 2001년과 현재 사이에 UFO를 주운 게 아니라면, 이것도 솔직히 조금 실눈을 뜨고 보게 된다. =_= 저만큼 자유도를 주고 나면, 그 다음에 그 뒷감당을 어떻게 하려고...



뭐 일단 캐릭터는 완성된 모양이고(화면은 줄창 3D 모델링 소프트웨어 -_-;; ), 대부분의 시간은 데모 시나리오의 애니메이션에 시간을 썼을 듯. 이제는 인공지능 부분을 개발해야 할텐데, 대화 설계를 무지 잘 해야 할 거다...
신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.