Wii도 그렇고 Kinect도 그렇고, 요새 재미있는 UI가 죄다 게임 쪽에서 나온다는 데에는 이견이 없을 것같다. 심지어 iPad에 적용된 (멀티)터치도 뭔가 심각한 어플리케이션에 적용되는 경우보다 게임에서 제대로 활용되는 경우가 훨씬 많아 보인다. 그러니 게임쪽의 소식에서 눈을 뗄 수가 없는데(절대로 업무적인 관심이다!), 엊그제 도착한 메일에 재미있는 물건이 소개되어 있었다.

Razor Blade - Gaming LaptopRazor Blade - Gaming Laptop - Close up

"세계 최초의 진정한 게임용 노트북"이라는 홍보문구를 달고 나온 이 Razor Blade라는 놈은, 게이밍 하드웨어로 잔뼈가 굵은 Razor사의 제품이다. 그동안은 그저 반응이 빠르고 정확한 마우스/키보드를 만들어서 인기 좋은 게임 브랜드를 입혀 팔아왔는데, 얼마 전에 뭔가 게임콘솔 같은 요상한 물건을 컨셉 디자인이라고 내놓더니 결국 노트북을 만드는 쪽으로 선회한 모양이다. (아 물론 이 회사 웹사이트를 보면 멋진 게임전용 키패드 - 내가 쓰고 있기도 하다 - 를 팔고 있고 PC에 연결해서 쓸 수 있는 동작인식 컨트롤러도 만들고 있지만, 전자는 사실 Belkin의 OEM이고 후자는 범용을 고집하느라 별 재미를 못 보고 있다.)

그래서, 이 노트북은 뭐가 그렇게 특별할까?



Razor Blade - Gaming Laptop - Close up
결국 이전에 발표했던 Switchblade의 개념을 조금 완곡하게 다듬고 멀티터치 화면을 노트북의 기본 조작을 위한 터치패드와 합쳐서 심었다는 건데, 뭐 일단 기본적으로는 이전 개념보다 훨씬 가능성이 있어 보인다. 뭔가 처음보는 기술을 주렁주렁 달고있기 때문이 아니라, 이미 안정된 용도를 가지고 있는 기존의 물건에 그걸 차별화시킬 수 있는 부가적인 기능를 넣고, 거기에 맞는 적당한 수준의 UI 기술을 적절히 짝지어 놓았기 때문이다.

터치스크린 위에 올려놓은 10개의 버튼은 결국 각각 화면이 달려있는 버튼인데, 이런 아이디어 자체는 이미 이 블로그에서만도 몇번이나 소개한 적이 있다. 이 "화면 달린 버튼"의 응용사례가 그동안 꽤 여러가지 나오기는 했지만 (프로그램 단축키, Ctrl-Alt-Del, 휴대폰 가로세로 모드 버튼 등), 그래도 하드웨어 드라이버 설정 프로그램을 만들어 본 경험으로는 둘째 가라면 서러울 Razor에서 만든다니까 단순한 기술의 조합 이상을 기대하게 되는 건 어쩔 수 없다. 물론 그 컨텐츠라고 할 수 있는 프로파일들은 제조사보다 사용자들로부터 나오겠지만, 그게 또 재미있는 점이 되지 않을까. 사람들은 이 아이콘 달린 버튼들을 게임이 아닌 일상적인 컴퓨팅 작업에서 어떻게 활용하려나?



이렇게 이미 알려진 UI 기술을 기존의 기기에 덧붙여서 제품을 차별화시키고, 심지어 새로운 용도로 확장시킬 수 있는 건 노트북 뿐만이 아닐 것이다. 언제나 가장 어려운 대목은 소비자들이 맘속으로 원하는 기능이 무엇이고, 그걸 만족시키기 위한 목적으로"만" UI 기술을 적용하는 것이다. 그 이하는 물론 안 되고, 그 이상은 위험하다. 물론 실제로 프로젝트를 하다보면 그 선이라는 걸 알아채는 것도 지키는 것도 참 힘든 일이었지만.

많은 회사가 갖가지 UI 기술을 가지고 여러 시도를 했고 또 실패했지만, 결국 앞서의 실패에 맘을 접지 않고 끝까지 "고민해서" 해답을 찾아내는 자가 최후의 승자가 되리라 생각한다. 애플이 Newton MessagePad초고속으로 실패해 놓고도 절치부심해서 iPhone과 iPad를 내놓은 것처럼...

야단났네... 노트북 바꿀 때가 됐는데. ㅡ_ㅡa;;;
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
Wii도 그렇고 Kinect도 그렇고, 요새 재미있는 UI가 죄다 게임 쪽에서 나온다는 데에는 이견이 없을 것같다. 심지어 iPad에 적용된 (멀티)터치도 뭔가 심각한 어플리케이션에 적용되는 경우보다 게임에서 제대로 활용되는 경우가 훨씬 많아 보인다. 그러니 게임쪽의 소식에서 눈을 뗄 수가 없는데(절대로 업무적인 관심이다!), 엊그제 도착한 메일에 재미있는 물건이 소개되어 있었다.

Razor Blade - Gaming LaptopRazor Blade - Gaming Laptop - Close up

"세계 최초의 진정한 게임용 노트북"이라는 홍보문구를 달고 나온 이 Razor Blade라는 놈은, 게이밍 하드웨어로 잔뼈가 굵은 Razor사의 제품이다. 그동안은 그저 반응이 빠르고 정확한 마우스/키보드를 만들어서 인기 좋은 게임 브랜드를 입혀 팔아왔는데, 얼마 전에 뭔가 게임콘솔 같은 요상한 물건을 컨셉 디자인이라고 내놓더니 결국 노트북을 만드는 쪽으로 선회한 모양이다. (아 물론 이 회사 웹사이트를 보면 멋진 게임전용 키패드 - 내가 쓰고 있기도 하다 - 를 팔고 있고 PC에 연결해서 쓸 수 있는 동작인식 컨트롤러도 만들고 있지만, 전자는 사실 Belkin의 OEM이고 후자는 범용을 고집하느라 별 재미를 못 보고 있다.)

그래서, 이 노트북은 뭐가 그렇게 특별할까?



Razor Blade - Gaming Laptop - Close up
결국 이전에 발표했던 Switchblade의 개념을 조금 완곡하게 다듬고 멀티터치 화면을 노트북의 기본 조작을 위한 터치패드와 합쳐서 심었다는 건데, 뭐 일단 기본적으로는 이전 개념보다 훨씬 가능성이 있어 보인다. 뭔가 처음보는 기술을 주렁주렁 달고있기 때문이 아니라, 이미 안정된 용도를 가지고 있는 기존의 물건에 그걸 차별화시킬 수 있는 부가적인 기능를 넣고, 거기에 맞는 적당한 수준의 UI 기술을 적절히 짝지어 놓았기 때문이다.

터치스크린 위에 올려놓은 10개의 버튼은 결국 각각 화면이 달려있는 버튼인데, 이런 아이디어 자체는 이미 이 블로그에서만도 몇번이나 소개한 적이 있다. 이 "화면 달린 버튼"의 응용사례가 그동안 꽤 여러가지 나오기는 했지만 (프로그램 단축키, Ctrl-Alt-Del, 휴대폰 가로세로 모드 버튼 등), 그래도 하드웨어 드라이버 설정 프로그램을 만들어 본 경험으로는 둘째 가라면 서러울 Razor에서 만든다니까 단순한 기술의 조합 이상을 기대하게 되는 건 어쩔 수 없다. 물론 그 컨텐츠라고 할 수 있는 프로파일들은 제조사보다 사용자들로부터 나오겠지만, 그게 또 재미있는 점이 되지 않을까. 사람들은 이 아이콘 달린 버튼들을 게임이 아닌 일상적인 컴퓨팅 작업에서 어떻게 활용하려나?



이렇게 이미 알려진 UI 기술을 기존의 기기에 덧붙여서 제품을 차별화시키고, 심지어 새로운 용도로 확장시킬 수 있는 건 노트북 뿐만이 아닐 것이다. 언제나 가장 어려운 대목은 소비자들이 맘속으로 원하는 기능이 무엇이고, 그걸 만족시키기 위한 목적으로"만" UI 기술을 적용하는 것이다. 그 이하는 물론 안 되고, 그 이상은 위험하다. 물론 실제로 프로젝트를 하다보면 그 선이라는 걸 알아채는 것도 지키는 것도 참 힘든 일이었지만.

많은 회사가 갖가지 UI 기술을 가지고 여러 시도를 했고 또 실패했지만, 결국 앞서의 실패에 맘을 접지 않고 끝까지 "고민해서" 해답을 찾아내는 자가 최후의 승자가 되리라 생각한다. 애플이 Newton MessagePad초고속으로 실패해 놓고도 절치부심해서 iPhone과 iPad를 내놓은 것처럼...

야단났네... 노트북 바꿀 때가 됐는데. ㅡ_ㅡa;;;
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
오픈소스 소프트웨어 운동의 사고방식을 이어받은, 오픈소스 하드웨어라는 움직임이 있다. 내가 처음 접한 것은 작년 TED 강연을 통해서인데, 주로 어떤 물건의 입체 CAD 도면을 인터넷을 통해서 공유하고, 다운로드 받은 도면을 저렴한 3D 프린터를 이용해서 제작하는 것에 대한 것이다. 강의 자체는 길고 지루하지만, 이 운동을 주도하고 있는 Reprap.org 프로젝트 홈페이지에서 찾아볼 수 있는 아래 동영상은 훨씬 흥미로운 내용을 담고 있다.



결국 이런저런 물건들이 공장에서 만들어져서 집앞 가게까지 오기를 기다렸다가 제조원가보다 비싼 유통마진을 주고 구입하는 대신, 인터넷에서 다운로드 받아서 직접 만들어 쓸 수 있다는 거다. 옷걸이 같은 물건이야 그 정성이면 직접 손으로 깎아 만드는 게 더 낫겠다 싶지만, 전문적인 지식과 정밀성을 요구하는 기계장치의 부속을 깎아야 한다면 어떨까. 그런 생각의 연결을 하게 해준 것도 올초에 본 또 다른 TED 강연이다.



동영상에서 언급된 Open-source ecology라는 단체의 홈페이지를 보면 쉽게 만들 수 없다고 생각되는 온갖 장비와 기계들을 디지털 형태로 공유된 도면을 이용해서 손으로 제작한 사례를 많이 볼 수 있다. (참고로 이 운동에는 장비의 제작뿐 아니라 진흙으로 집 짓기 노우하우 등도 포함되어 있어서, 인터넷 즐겨찾기에 등록해두면 문명의 혜택이 없는 곳에서 살게 됐을 때에 무척 유용하게... 응? -_-;; )

OSE 운동의 도면과 제작방법이라는 것을 잘 들여다보면 마치 '자취 요리' 프로그램에서 "냉장고에 쓰다남은 토마토 소스랑 브로콜리 같은 거 있죠?" 라고 하는 식으로 오토바이 엔진이라든가 기어박스 같은 핵심 부품들은 따로 구해야 한다. 하지만 정밀한 하드웨어 부속은 위의 RepRap 3D Printer를 이용해서 제작하고, 전자회로는 역시 open-source electronics를 내세우고 있는 Arduino를 이용해서 구성한다면 그렇게 따로 구해야 하는 공산품을 극소화할 수도 있지 않을까?

실제로, 위 세 회사/단체들의 홈페이지를 각각 방문해보면 서로 링크도 되어 있고,각기 다른 분야의 장단점을 잘 조합/활용해서 그 시너지 효과를 극대화하는 모습도 볼 수 있다.





... 뭐 이렇게 오픈소스 삼인방(하드웨어/에콜로지/전자회로)에 대한 이야기를 끄적거려 놓고 블로그를 닫아놓은 게 몇개월 전 이야기다. 요새 다시 블로깅 좀 해볼까...하고 밍기적 거리던 참에, 오늘 페북친구를 통해서 아래 동영상을 보게 됐다. 내가 짝사랑하고 있는 키넥트를 이용해서, 3차원 물체를 3D 컴퓨터 그래픽 데이터로 바꾸는 것은 보여주고 있는 SIGCHI 2011 데모 동영상이다.



이 동영상에서 소개하고 있는 KinectFusion이라는 Microsoft Research 프로젝트는 거리센서로부터의 입력을 동적으로 조합해서 (어쩌면 가속도 센서를 써야 했을지도 모르겠다) 공간을 3차원 정보로 입력하고, 이를 확장해서 물체와 배경을 입체적으로 구분한다든가, 손가락 끝을 인식해서 가상입력 도구로 쓰는 모습을 보여주고 있다. 말하자면 기존 물체인식 기술의 3D... 혹은 2.5D 버전이라는 건데, 나올 기술이 나왔다는 생각은 들지만 여러가지로 무척이나 재미있는 가능성을 열어주는 기반기술이라고 생각한다.

KinectFusion as Interaction Technology

그런데, 내가 이렇게나 재미있고 잠재적인 UI 기술을 보면서 든 생각은, 오히려 앞서 말한 오픈소스 하드웨어 개념과의 연계 가능성이다.

RepRap.org 3D PrinterArduino Uno
Bulldozer from Open-source EcologyKinectFusion Dynamic Object Recognition

그렇다면, 이제 Kinect 센서를 이용한 3D 물체의 "copy-and-paste" 가 가능해지는 걸까? 물론 실제적으로는 해상도/정밀도 문제라든가, 재질의 한계 같은 문제가 있기는 하겠지만, 그래도 위 키넥트퓨전 동영상을 보면서 위에 나열한 기술들과 더불어 오픈소스가 하드웨어의 해킹/크래킹으로 연결되는 고리가 채워지는 소리를 들은 것같다.

어쩌면 멀지 않은 미래에 "해킹된 하드웨어"를 단속하기 위한 각 제조업체의 노력이 있을 수도 있겠고, 반대로 사람들이 "커스텀 하드웨어 롬"을 구해서 자신에 맞게 변형시킨 물건을 들고다니게 될 지도 모르겠다. 제조사가 자기 제품의 소프트웨어를 통제할 수 있는 시대는 이미 떠나갔고, 조만간 그 껍데기마저도 제멋대로 변경해서 쓰는 사람들이 나올꺼라는 거다.


뭐 어쨌든 이제 OSE 홈페이지에는 심지어 증기기관을 자체 제작하는 방법을 찾는 프로젝트가 한창이고, RepRap 3D printer 웹사이트도 꾸준히 운영되고 있고, Arduino는 뭐 이젠 학계에서 꾸준히 사용해주는 덕택에 (개인적으로는 Phidget을 애용했지만, 이미 대세는 넘어가 버린 듯...) 안정적으로 회사를 꾸려나가고 있는 듯하다. 여기에 위의 KinectFusion 기술이 fusion되기만 한다면 꽤나 재미있는 그림이 그려지지 않을까 싶은 때다.

... 역시 링크나 줄줄이 걸고 끝냈어야 했어.
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
Nintendo 3DS
닌텐도에서 NDS, NDSi의 후속으로 parallex barrier를 덧씌워서 맨눈으로도 입체영상을 볼 수 있게 해주는 게임기 Nintendo 3DS를 곧 출시한다고 한다. 기술의 잠재력을 십분 발휘하는 능력이 있는 닌텐도지만, 이번의 입체영상 적용에 대해서는 조금 무리라는 생각이 들었는지 깊이감을 사용자 임의로 조절할 수 있는 슬라이더(3D Depth Slider)를 장착하고 6세 이하 어린이의 입체영상 관람에 대해서 경고문구를 삽입하는 등 소심한 행보를 보이고 있다.

모바일 기기에서 이 방식의 3D 화면을 구현한 게 이번이 처음은 아니지만, 그래도 풍부한 컨텐츠를 보유하고 있는 닌텐도의 움직임이니만큼 주목하게 되는 건 어쩔 수 없다. 그래서 관련된 뉴스가 나오면 뒤적이게 된다. 입체영상을 적용한 게임, 가속도 센서와 전면 카메라로 사용자의 움직임에도 반응하고, 평면영상으로는 불가능했던 퍼즐도 가능하다. 음성에도 반응할 수 있는 것 같고, 당연히 터치스크린을 이용한 Tangible UI도 구현되겠지. 흠... 만들기 재미있겠다. 부럽.

그런데, 개인적으로는 이 입체화면을 통한 게임이라는 것보다도, 이 N3DS 화면 뒷면에 떡하니 붙어있는 한 쌍의 카메라에 더 관심이 간다.

Binocular Camera on Nintendo 3DS

최근에는 소니에서 하나의 렌즈로 입체영상을 찍을 수 있는 방식도 나왔지만, 많은 3D 카메라들은 두 개의 렌즈를 갖고 있다. 3DS에 붙어있는 저 카메라도 보아하니 딱 입체영상을 찍기위한 거라는 건 당연한 일. 근데 의외로 여기에 대한 코멘트는 자주 보이지 않는다. ... 입체화면이 있는 장치에 입체영상을 기록할 수 있는 장치. 너무 당연해서 그런가? 그래도 이 조합이면 뭔가 재미있는 일이 있을 것도 같은데...


(1) 증강현실
이젠 모바일 기기에 AR이 들어가는 건 당연한 이야기가 된 듯. 신기해하는 사람조차 없다. 언제 이렇게 됐는지... 신기술에 대한 사회의 반발과 적응의 과정은 정말이지 종잡을 수가 없다. 어쨋든 입체화면 모바일 장치라면 AR도 당연히 입체여야 할 터. 여기에 대해서는 이미 최근의 Nintendo World 행사를 통해 동영상이 올라오기도 했다. (아래 동영상은 앞부분에 일본어로만 진행되는 부분이 쫌 길다. 재미없으면 앞의 10분은 넘어가도 좋고, 실제 AR에 대한 부분은 21분쯤 나온다.)



위 동영상에서 눈치챌 수 있듯이, 아직은 그냥 '이런 것도 됩니다'라는 느낌에 Wii에서 구축해 놓은 Mii 시스템을 모바일 세상으로, 그리고 실제 세상으로 끌고 나오겠다는 욕심을 보이는 데 그치고 있다.

한가지 궁금한 것은, 저렇게 AR "렌즈" 역할을 하는 기계를 들고 쓰다보면 카메라가 AR 카드 위치를 보는 시야각/거리감하고 사람이 그 가상의 렌즈를 통해서 기대하는 시야각/거리감이 완전히 다를텐데 어지럽지 않으려나? 하는 부분이다.
eyeMagic Book Project from HIT Lab NZ
이를테면 이전의 비슷한 사례 중 하나인 HIT Lab NZ의 <eyeMagic Book>은 눈앞에 화면과 카메라를 갖다붙이는 방식이니까 카메라의 시야각이나 사용자의 시야각이나 별 차이가 없었지만, 만일 닌텐도 3DS를 들고 AR Tag 주변을 맴돌면서 역동적인 AR 게임을 하라고 하면 조금 괴로울지도 모르겠다.

게다가 사실은, 저렇게 기기를 들고 가상의 "물체" 주위로 돌려가면서 봐야하는 상황에서는 parallex barrier 방식(혹은, 모든 맨눈으로 보는 입체화면)의 치명적인 결점 - 화면을 정면+특정거리+똑바로 보지 않으면 깊이감이 뒤섞이거나, 심지어 뒤집히거나, 급기야 화면이 안 보인다는 - 이 그대로 드러나게 된다. 이제까지 나온 그나마 성공적인 AR 앱들도 그렇고, 채용한 입체화면 방식의 장단점을 고려해서도 그렇고, 결국은 위치정보를 바탕으로 주변의 "환경"에 정보를 입히고 그걸 기기를 휘둘러가며 탐색하는 방향으로 가게 되리라 생각한다. 이미 휴대폰에서 나온 "재미있지만 쓸모가 빈약한" 어플리케이션들과 차별점이 없어 보일런지 몰라도, 게임 컨텐츠 개발에 탁원한 닌텐도라면 이런 제약들 속에서도 뭔가 재미있는 뜻밖의 사례 하나쯤 들고나와 주리라 믿어보자.
 

(2) 거리측정
카메라가 인간의 눈보다 잘할 수 있는 일이 있다면, 그건 시야 내의 모든 점들을 동시에 지속적으로 볼 수 있다는 거다. 카메라가 두 개 있을 때 인간의 두 눈보다 요긴한 점이 있다면, 양쪽 카메라에서 본 점들을 맞춰보면서 각 지점까지의 거리를 알 수 있다는 거다. 물론 그 정확도야 입력영상의 해상도나 복잡도, 영상정보의 처리속도 등에 의해서 좌우되겠지만, 영상의 각 지점까지 거리를 안다는 것은 세상을 입체적으로 이해하는 데에 큰 도움이 될 수 있다.

실제로 구현된 사례가 없으니 섣부른 추측이겠지만, 아마도 닌텐도 3DS에 달린 두 개의 카메라로 영상 내에 등장한 물체까지의 거리를 분석할 수 있다면, 그 결과는 마이크로소프트의 키넥스(Kinect) 시스템에서 나온 데이터와 크게 다르지 않을꺼다. 아래 왼쪽의 그림은 기존 stereo vision 분야의 결과 중 하나고, 오른쪽은 해킹된 Kinect 시스템으로부터의 신호다. 일단 거리 데이터로 변환된 후에는, 장점도 약점도 비슷하리라는 걸 알 수 있다. (적외선을 이용한 active sensing의 장단점과 별도의 영상처리를 해야하는 passive sensing의 장단점은 비교해봄직 하겠지만, 걍 다음으로 넘기고 건너뛰자.)

Distance Measurement from Stereo VisionDistance Measurement from Kinect

물론 닌텐도 3DS의 경우는 모바일 기기이고, 카메라와 화면의 방향이 반대니까 Kinect와는 응용방법이 완전히 달라야 한다. 그리고 오히려 그런 의미에서 기대가 된다. 이를테면, 기존의 AR이 현실의 영상 위에 가상의 물체를 단순히 덮어 씌우는 방식이었다면, 물체인식이 되는 AR은 가까이 있는 실제 물체 "뒤에" 가상의 물체를 놓을 수도 있을 거다. 거기에 가속도 센서를 이용해서 Kinect처럼 "바닥"을 인식하는 기본 알고리듬이 추가된다면 단지 카드에 인쇄된 AR Tag를 기준으로 불안불안하게 이루어지던 상호작용이 훨씬 자연스러워 질 수 있다.

잠깐, 입체인식이 된다면 굳이 인쇄된 카드를 쓸 필요가 있나? 스테레오 비전을 이용한 물체인식 연구라면 로봇 분야에서 꽤 오랫동안 이루어진 분야다. 물체를 인식해서 그 물체에 맞는 증강현실 효과를 덧붙여줄 수 있다면 최근의 AR 유행을 한 수준 뛰어넘는 응용사례가 될 지도 모르겠다. 예를 들면 손가락 모양(手印)에 따라 특정 기술을 구사할 수 있는 동양적 판타지 게임이라든가. (지가 만들 꺼 아니라고 막 말하고 있다... -_-;;; )


(3) 3D 컨텐츠
하지만 역시 세상에 가장 큰 파급효과가 되라라고 생각하는 것은 3D 입체사진과 입체동영상의 양산이다. 입체사진을 찍는다며 눈이 두개 달린 카메라를 사는 건 웬만한 얼리어답터가 아니면 엄두를 못낼 일이지만, 이미 검증된 게임 컨텐츠가 딸려오는 게임기는 그런 구매장벽이 없다. 일단 사서 이것저것 찍고 인터넷에 올리고 하다보면, 여러가지 3D 컨텐츠가 퍼지게 될꺼다. 일단은 3DS을 갖고 있거나 3D TV에서 보려고 굳이 애쓰는 사람들 중심으로 퍼지겠지만, 일단 데이터가 많으면 일반 사용자들을 위한 3D Viewer를 만드는 사람도 있을테고... (단순히 좌우영상을 교대로 보여주기만 해도 상당한 입체감이 느껴진다) 결국 3D 컨텐츠가 일반시장에 퍼지는 데에 꽤 큰 역할을 하게 될 것같다.

물론 이미 3D 동영상에 대해서는 나름의 데이터 표준이 합의되어 있고, 일반 사용자들이 모르는 사이에 고민도 많았던 모양이다. 하지만 이렇게 한가지 기기에서 대량으로 입체사진/영상이 퍼진다면 그것 자체가 하나의 경쟁력 있는 시장표준이 되어버리지 않을까? 일단 니코니코동화YouTube 3D에서부터 시작해서, 세상의 잉여력이 또다시 뭉쳐져 새로운 3D 시각문화의 장이 열리리라고 기대하고 있다.



... 뭐 이렇게 기대야 내멋대로 할 수 있지만, 사실 모바일 기기에서 게임이든 어플이든 개발하는 게 말처럼 녹녹치는 않다. 제약조건도 많고 따로 영상처리를 할 여유도 없고. 하지만 곧 Nintendo 3DS가 출시되고 나면 조만간 해킹 소식이 날라올테고, 그걸 기반으로 또 이런저런 장난을 치는 사람이 나오게 될꺼다. 그 다음에는 카메라 두 개로 입체 AR을 구현한다거나 영상의 깊이감을 측정한다거나 입체 동영상을 공유한다거나 하는 게 금방 또 당연해질테고.

지금 키넥트의 적외선 거리센서 보면서 아쉬워하고 있을 때가 아니라는 거다.





그나저나, 3DS라고 하면 Autodesk 3D Studio가 생각나는 사람, 손!!! ^0^/
... 우린 이제 공식적으로 한물간 겁니다. ㅠ_ㅠ
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey

UX Design on KINECT

2011.01.16 15:48
지난 몇 개월간 키넥트 플랫폼을 이용한 게임개발 프로젝트에 참여하면서 UI 설계를 담당했다. 인터넷 상의 리뷰를 보면 사용자들은 비교적 긍정적인 인상을 많이 받고 있는 것 같지만, 새로운 UI를 설계하려는 입장에서 마이크로소프트의 담당자들과 이메일을 주고받다보면 역시 새로 상용화된 기술답게 나름의 제약점이 많다.

홍보되는 것처럼 "사용자의 동작을 입체적으로 인식"한다고 하기에는 조금 기술적인 어폐가 있고, 일반적인 동작 UI 디자인 가이드라인 외에도 적외선 거리인식 센서의 입력값과 카메라를 통한 영상처리 결과가 키넥트 시스템을 통해서 어떻게 조합되는지를 이해하고 그에 맞춰 동작입력을 선택하는 게 중요하다고 하겠다. ... 쓰고보니 당연한 소리를. ;ㅁ; Kinect 센서의 구성이나 특성에 대해서는 예전의 블로그 글이나 인터넷 검색, 혹은 의외로 잘 퍼지지 않은 동영상 자료지만 유용한 정보가 상당히 많은 <Inside Xbox> 인터뷰들을 참고하시면 좋을 듯.

가장 중요한 점은, 사실 이 시스템에서 거리센서는 사용자의 몸 "영역"을 배경과 바닥으로부터 분리시키는 데에만 사용되고, 정작 팔다리를 인식하는 건 주로 카메라로부터의 영상처리에 의존하는 것 같더라는 것이다. 그러니 팔을 앞으로 뻗어 몸통을 시각적으로 가린다든가 하면 바로 자세인식에 문제가 생기고, 그러니 별도의 신호처리 없이 시스템에서 입력받을 수 있는 자세정보(각 부위의 위치와 각도)라는 것은, 카메라에서 봤을 때 큰대(大)자 자세에서 팔다리를 위아래로 휘젓는 정도다. (이보다 복잡한 동작이 아예 인식되지 않는 건 아니지만, UI는 고사하고 게임용으로 쓰기에도 오인식률이 높다.) 결국 제대로 3차원 인식이 아닌 2.5차원 인식방식이다보니 생기는 이상과 현실의 괴리랄까.

그렇다보니 그 멋져보이는 자세인식은 직접적으로 UI에 쓰이지 않고, 실제로는 인식된 특정부위(예: 손)의 위치를 커서위치에 대응시킨다든가, 특정부위까지의 거리변화를 입력으로 삼는다든가(예: 팔 휘둘러 내밀기) 하는 식으로만 매핑이 되고 있다. 사실 그것만으로도 기존에 없던 제법 재미있는 UI를 만들 수는 있지만, 실제로 브레인스토밍 중에 나왔던 수많은 멋진 동작 UI 아이디어들을 추려내다 보면 아쉬움이 이만저만이 아니다.

Gesture Command by SwipeGesture Command by Hand-Cursor

참여했던 프로젝트에서는 이런저런 제약점들을 피해서 나름대로 Wii Remote로 프로토타입도 만들어가며 최선의 UX 설계를 하려고 애썼는데, 실제로 제품이 출시되는 올 하반기가 되어야 이런저런 이야기를 풀어놓을 수 있을 듯. 그때쯤 되면 죄다 당연한 소리가 될지도 모르지만.

얼마 전 Jacob Nielsen도 <Kinect Gestural UI: First Impressions>라는 컬럼을 게재했는데, 키넥트 플랫폼에서 사용성을 고민하고 있다면 대체로 유용한 관점이라고 생각한다. 보아하니 나중에 유료 컨텐츠/세미나로 팔아먹기 위해서 말을 아낀 것 같기는 한데, 그렇다고 해도 게임 UX의 큰 목적(개인적으로, 재미와 탐사는 게임 뿐만 아니라 그 UI를 사용하면서도 느낄 수 있어야 한다고 생각하기에)이라든가 동작입력의 특성(중력장 안에서 상하움로 움직인다는 건 평면 상에서 마우스를 굴리는 것과는 또 다르다)을 고려하지 않은 지나치게 전통적인 (그리고 '웹'스러운) 발언들은 좀 아쉽다. 또한 현재 출시되어 있는 키넥트 기반 게임들 중에서 가장 나은 사용성을 보이고 있는 <Dance Central>의 경우는 상당한 시행착오와 고민 끝에 나온 나름의 최적안이라고 볼 수 있는데, 그 부분이 약간 평가절하되어 있는 부분은 너무 평가자의 시점에서만 이야기하고 있다고 느껴졌다. 그런 건 UI에 관심만 있고 실제로 책임지고 디자인하지는 않는 사람이 쉽게 취하는 입장인데.



어쨌든 사람들이 이 KINECT 플랫폼에 대해서 갖고있는 질문은 "키넥트 게임이 재미있나?" 라는 것과 "키넥트 기반의 동작 UI는 쓸만한가?"로 정리된다.

(1) 게임은 재미있나: 재미있다. 그런데 '어떤' 게임이 재미있는가에 대해서는 아직 장르를 많이 타고, 그 장르에서 어떤 방식으로 KINECT 플랫폼을 활용하는지는 현재 시행착오가 진행 중이다. 관련 리뷰들을 보면 알겠지만 마이크로소프트에서 번들로 주는 게임들보다 오히려 <Dance Central>의 리뷰점수가 높고, 더 재미있다. 하지만 그 게임은 아직 KINECT를 100% 활용하지 않고 있다. KINECT 센서를 보면 이런저런 가능성은 높은데, 단가를 낮추기 위해서 프로세서를 빼는 바람에 쓸 수 있는 입력값은 정말 단순한 내용 밖에 없다. 그런 입력값을 처리하는 엔진이 탑재된 게임이 나오면 (혹은 MS에서 API를 업데이트해주면) 그 잠재력이 최대한 발휘되리라 생각한다.

(2) UI로 쓸만한가: 한계가 뚜렷하다. 기술 자체라기보다는 플랫폼에 의한 한계가 많은데, 이를테면 320x240의 해상도로 전신을 잡으면 손/발/머리의 움직임은 사실 거의 잡지 못하고, 중첩이나 회전을 감지하는 건 상상도 못한다. 결국 앞에서 말했듯이 UI에 사용되는 동작명령도 팔다리를 허우적거리는 수준으로 큼직큼직하게 만들어야 하고, 팔다리가 신체의 다른 부위를 가리지 않아야 하기 때문에 흔히 비교되곤 하는 영화 <Minority Report>의 동작 UI와는 상당한 거리가 있다. MS에서도 이 문제를 해결하려고 해상도를 두 배(640x480)로 늘리겠다고 했지만, 그래도 손동작을 UI에서 쓸 수 있는 수준으로 인식하는 건 어렵다고 본다.

Body Tracking on KINECT
(한 가지 첨언하자면, 위의 해상도는 소프트웨어적으로 조정이 가능한 각해상도 angular resolution 이다. 따라서 이론적으로는 일시적으로 특정부위 - 얼굴이나 손 - 에 해상도를 집중해서 더 자세한 자세정보를 얻는 것도 가능하지만, 현재 API에서는 지원하지 않는다.)

결국 이런 방식의 동작인식 시스템이 주요 UI 장치로 쓰일 수 있는 경우는 무척 좁을테고, 여기에 관심을 보이는 실무 디자이너들에게 돌아올 궁극의 질문은 이번에도 꽤나 신랄할 것이다: 그 센서로 인한 단가상승만큼 중요하고 필요한 조작인가? ... 여기에 확실히 그렇다고 할만한 물건은 아니다. 단지 과거 터치스크린이 그랬고 전자나침반도 그랬듯이, 제한된 용도일지라도 그 유용함이 확실하다면 남들보다 앞서서 고려해야 하는 세상이라는 점을 강조하는 수 밖에.

개인적으로 흥미롭게 보고있는 것은 키넥트 출시 이후에 줄줄이 등장하고 있는 해킹 사례들이다. 특히 기존에 동작/영상인식을 하던 사람들이 가장 신나하는 것같고, 그외에 컴퓨터 그래픽에서도 3차원 영상으로만 가능한 재미있는 사례가 속속 나오고 있다. 하지만 진짜 기대되는 것은 이 Kinect와 Wii Remote를 동시에 사용하는 (해킹) 어플리케이션이다.

키넥트는 전신의 움직임을 잡아내는 데에는 유용하지만 메뉴를 선택한다든가 총을 겨냥해서 쏜다든가 하는 세밀한 움직임이 불가능하다. 거기에 그걸 제대로 해줄 수 있는 장치(게다가 가상의 물체에 매핑될 수 있는 물리적 장치)를 더한다면 그야말로 동작인식에 날개를 단 형국이 아닐까. 이미 둘 다 해킹이 되어 PC에서 연동이 되고, 특히 Flash 등 인기있는 시각화 도구와도 바로 연결이 된다. 바로 며칠 전에 변형된 게임에 이를 적용한 사례가 올라오긴 했지만, 단순히 입력값을 조작에 연결시킨 수준일 뿐 각 장치의 잠재력과 시너지를 충분히 발휘했는지는 모르겠다.



아마 기존의 컨트롤러와 Kinect를 동시에 (아마도 Kinect는 보조적/선택적인 입력으로) 사용하는 Xbox용 게임이 올해 중으로는 발표되리라는 생각이 들지만, 우선은 그 전에 오는 5월의 CHI 2011 학회에서 그런 조합이 몇 건 나와주지 않을까 하는 기대를 하는 중이다.

Wii Remote, Kinect, 3D TV, ... 판이 점점 재미있게 돌아가고 있다.




... 뭐가 "짧게 짧게"냐. ㅡ_ㅡa
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.