Wii도 그렇고 Kinect도 그렇고, 요새 재미있는 UI가 죄다 게임 쪽에서 나온다는 데에는 이견이 없을 것같다. 심지어 iPad에 적용된 (멀티)터치도 뭔가 심각한 어플리케이션에 적용되는 경우보다 게임에서 제대로 활용되는 경우가 훨씬 많아 보인다. 그러니 게임쪽의 소식에서 눈을 뗄 수가 없는데(절대로 업무적인 관심이다!), 엊그제 도착한 메일에 재미있는 물건이 소개되어 있었다.

Razor Blade - Gaming LaptopRazor Blade - Gaming Laptop - Close up

"세계 최초의 진정한 게임용 노트북"이라는 홍보문구를 달고 나온 이 Razor Blade라는 놈은, 게이밍 하드웨어로 잔뼈가 굵은 Razor사의 제품이다. 그동안은 그저 반응이 빠르고 정확한 마우스/키보드를 만들어서 인기 좋은 게임 브랜드를 입혀 팔아왔는데, 얼마 전에 뭔가 게임콘솔 같은 요상한 물건을 컨셉 디자인이라고 내놓더니 결국 노트북을 만드는 쪽으로 선회한 모양이다. (아 물론 이 회사 웹사이트를 보면 멋진 게임전용 키패드 - 내가 쓰고 있기도 하다 - 를 팔고 있고 PC에 연결해서 쓸 수 있는 동작인식 컨트롤러도 만들고 있지만, 전자는 사실 Belkin의 OEM이고 후자는 범용을 고집하느라 별 재미를 못 보고 있다.)

그래서, 이 노트북은 뭐가 그렇게 특별할까?



Razor Blade - Gaming Laptop - Close up
결국 이전에 발표했던 Switchblade의 개념을 조금 완곡하게 다듬고 멀티터치 화면을 노트북의 기본 조작을 위한 터치패드와 합쳐서 심었다는 건데, 뭐 일단 기본적으로는 이전 개념보다 훨씬 가능성이 있어 보인다. 뭔가 처음보는 기술을 주렁주렁 달고있기 때문이 아니라, 이미 안정된 용도를 가지고 있는 기존의 물건에 그걸 차별화시킬 수 있는 부가적인 기능를 넣고, 거기에 맞는 적당한 수준의 UI 기술을 적절히 짝지어 놓았기 때문이다.

터치스크린 위에 올려놓은 10개의 버튼은 결국 각각 화면이 달려있는 버튼인데, 이런 아이디어 자체는 이미 이 블로그에서만도 몇번이나 소개한 적이 있다. 이 "화면 달린 버튼"의 응용사례가 그동안 꽤 여러가지 나오기는 했지만 (프로그램 단축키, Ctrl-Alt-Del, 휴대폰 가로세로 모드 버튼 등), 그래도 하드웨어 드라이버 설정 프로그램을 만들어 본 경험으로는 둘째 가라면 서러울 Razor에서 만든다니까 단순한 기술의 조합 이상을 기대하게 되는 건 어쩔 수 없다. 물론 그 컨텐츠라고 할 수 있는 프로파일들은 제조사보다 사용자들로부터 나오겠지만, 그게 또 재미있는 점이 되지 않을까. 사람들은 이 아이콘 달린 버튼들을 게임이 아닌 일상적인 컴퓨팅 작업에서 어떻게 활용하려나?



이렇게 이미 알려진 UI 기술을 기존의 기기에 덧붙여서 제품을 차별화시키고, 심지어 새로운 용도로 확장시킬 수 있는 건 노트북 뿐만이 아닐 것이다. 언제나 가장 어려운 대목은 소비자들이 맘속으로 원하는 기능이 무엇이고, 그걸 만족시키기 위한 목적으로"만" UI 기술을 적용하는 것이다. 그 이하는 물론 안 되고, 그 이상은 위험하다. 물론 실제로 프로젝트를 하다보면 그 선이라는 걸 알아채는 것도 지키는 것도 참 힘든 일이었지만.

많은 회사가 갖가지 UI 기술을 가지고 여러 시도를 했고 또 실패했지만, 결국 앞서의 실패에 맘을 접지 않고 끝까지 "고민해서" 해답을 찾아내는 자가 최후의 승자가 되리라 생각한다. 애플이 Newton MessagePad초고속으로 실패해 놓고도 절치부심해서 iPhone과 iPad를 내놓은 것처럼...

야단났네... 노트북 바꿀 때가 됐는데. ㅡ_ㅡa;;;
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey

UX Design on KINECT

2011.01.16 15:48
지난 몇 개월간 키넥트 플랫폼을 이용한 게임개발 프로젝트에 참여하면서 UI 설계를 담당했다. 인터넷 상의 리뷰를 보면 사용자들은 비교적 긍정적인 인상을 많이 받고 있는 것 같지만, 새로운 UI를 설계하려는 입장에서 마이크로소프트의 담당자들과 이메일을 주고받다보면 역시 새로 상용화된 기술답게 나름의 제약점이 많다.

홍보되는 것처럼 "사용자의 동작을 입체적으로 인식"한다고 하기에는 조금 기술적인 어폐가 있고, 일반적인 동작 UI 디자인 가이드라인 외에도 적외선 거리인식 센서의 입력값과 카메라를 통한 영상처리 결과가 키넥트 시스템을 통해서 어떻게 조합되는지를 이해하고 그에 맞춰 동작입력을 선택하는 게 중요하다고 하겠다. ... 쓰고보니 당연한 소리를. ;ㅁ; Kinect 센서의 구성이나 특성에 대해서는 예전의 블로그 글이나 인터넷 검색, 혹은 의외로 잘 퍼지지 않은 동영상 자료지만 유용한 정보가 상당히 많은 <Inside Xbox> 인터뷰들을 참고하시면 좋을 듯.

가장 중요한 점은, 사실 이 시스템에서 거리센서는 사용자의 몸 "영역"을 배경과 바닥으로부터 분리시키는 데에만 사용되고, 정작 팔다리를 인식하는 건 주로 카메라로부터의 영상처리에 의존하는 것 같더라는 것이다. 그러니 팔을 앞으로 뻗어 몸통을 시각적으로 가린다든가 하면 바로 자세인식에 문제가 생기고, 그러니 별도의 신호처리 없이 시스템에서 입력받을 수 있는 자세정보(각 부위의 위치와 각도)라는 것은, 카메라에서 봤을 때 큰대(大)자 자세에서 팔다리를 위아래로 휘젓는 정도다. (이보다 복잡한 동작이 아예 인식되지 않는 건 아니지만, UI는 고사하고 게임용으로 쓰기에도 오인식률이 높다.) 결국 제대로 3차원 인식이 아닌 2.5차원 인식방식이다보니 생기는 이상과 현실의 괴리랄까.

그렇다보니 그 멋져보이는 자세인식은 직접적으로 UI에 쓰이지 않고, 실제로는 인식된 특정부위(예: 손)의 위치를 커서위치에 대응시킨다든가, 특정부위까지의 거리변화를 입력으로 삼는다든가(예: 팔 휘둘러 내밀기) 하는 식으로만 매핑이 되고 있다. 사실 그것만으로도 기존에 없던 제법 재미있는 UI를 만들 수는 있지만, 실제로 브레인스토밍 중에 나왔던 수많은 멋진 동작 UI 아이디어들을 추려내다 보면 아쉬움이 이만저만이 아니다.

Gesture Command by SwipeGesture Command by Hand-Cursor

참여했던 프로젝트에서는 이런저런 제약점들을 피해서 나름대로 Wii Remote로 프로토타입도 만들어가며 최선의 UX 설계를 하려고 애썼는데, 실제로 제품이 출시되는 올 하반기가 되어야 이런저런 이야기를 풀어놓을 수 있을 듯. 그때쯤 되면 죄다 당연한 소리가 될지도 모르지만.

얼마 전 Jacob Nielsen도 <Kinect Gestural UI: First Impressions>라는 컬럼을 게재했는데, 키넥트 플랫폼에서 사용성을 고민하고 있다면 대체로 유용한 관점이라고 생각한다. 보아하니 나중에 유료 컨텐츠/세미나로 팔아먹기 위해서 말을 아낀 것 같기는 한데, 그렇다고 해도 게임 UX의 큰 목적(개인적으로, 재미와 탐사는 게임 뿐만 아니라 그 UI를 사용하면서도 느낄 수 있어야 한다고 생각하기에)이라든가 동작입력의 특성(중력장 안에서 상하움로 움직인다는 건 평면 상에서 마우스를 굴리는 것과는 또 다르다)을 고려하지 않은 지나치게 전통적인 (그리고 '웹'스러운) 발언들은 좀 아쉽다. 또한 현재 출시되어 있는 키넥트 기반 게임들 중에서 가장 나은 사용성을 보이고 있는 <Dance Central>의 경우는 상당한 시행착오와 고민 끝에 나온 나름의 최적안이라고 볼 수 있는데, 그 부분이 약간 평가절하되어 있는 부분은 너무 평가자의 시점에서만 이야기하고 있다고 느껴졌다. 그런 건 UI에 관심만 있고 실제로 책임지고 디자인하지는 않는 사람이 쉽게 취하는 입장인데.



어쨌든 사람들이 이 KINECT 플랫폼에 대해서 갖고있는 질문은 "키넥트 게임이 재미있나?" 라는 것과 "키넥트 기반의 동작 UI는 쓸만한가?"로 정리된다.

(1) 게임은 재미있나: 재미있다. 그런데 '어떤' 게임이 재미있는가에 대해서는 아직 장르를 많이 타고, 그 장르에서 어떤 방식으로 KINECT 플랫폼을 활용하는지는 현재 시행착오가 진행 중이다. 관련 리뷰들을 보면 알겠지만 마이크로소프트에서 번들로 주는 게임들보다 오히려 <Dance Central>의 리뷰점수가 높고, 더 재미있다. 하지만 그 게임은 아직 KINECT를 100% 활용하지 않고 있다. KINECT 센서를 보면 이런저런 가능성은 높은데, 단가를 낮추기 위해서 프로세서를 빼는 바람에 쓸 수 있는 입력값은 정말 단순한 내용 밖에 없다. 그런 입력값을 처리하는 엔진이 탑재된 게임이 나오면 (혹은 MS에서 API를 업데이트해주면) 그 잠재력이 최대한 발휘되리라 생각한다.

(2) UI로 쓸만한가: 한계가 뚜렷하다. 기술 자체라기보다는 플랫폼에 의한 한계가 많은데, 이를테면 320x240의 해상도로 전신을 잡으면 손/발/머리의 움직임은 사실 거의 잡지 못하고, 중첩이나 회전을 감지하는 건 상상도 못한다. 결국 앞에서 말했듯이 UI에 사용되는 동작명령도 팔다리를 허우적거리는 수준으로 큼직큼직하게 만들어야 하고, 팔다리가 신체의 다른 부위를 가리지 않아야 하기 때문에 흔히 비교되곤 하는 영화 <Minority Report>의 동작 UI와는 상당한 거리가 있다. MS에서도 이 문제를 해결하려고 해상도를 두 배(640x480)로 늘리겠다고 했지만, 그래도 손동작을 UI에서 쓸 수 있는 수준으로 인식하는 건 어렵다고 본다.

Body Tracking on KINECT
(한 가지 첨언하자면, 위의 해상도는 소프트웨어적으로 조정이 가능한 각해상도 angular resolution 이다. 따라서 이론적으로는 일시적으로 특정부위 - 얼굴이나 손 - 에 해상도를 집중해서 더 자세한 자세정보를 얻는 것도 가능하지만, 현재 API에서는 지원하지 않는다.)

결국 이런 방식의 동작인식 시스템이 주요 UI 장치로 쓰일 수 있는 경우는 무척 좁을테고, 여기에 관심을 보이는 실무 디자이너들에게 돌아올 궁극의 질문은 이번에도 꽤나 신랄할 것이다: 그 센서로 인한 단가상승만큼 중요하고 필요한 조작인가? ... 여기에 확실히 그렇다고 할만한 물건은 아니다. 단지 과거 터치스크린이 그랬고 전자나침반도 그랬듯이, 제한된 용도일지라도 그 유용함이 확실하다면 남들보다 앞서서 고려해야 하는 세상이라는 점을 강조하는 수 밖에.

개인적으로 흥미롭게 보고있는 것은 키넥트 출시 이후에 줄줄이 등장하고 있는 해킹 사례들이다. 특히 기존에 동작/영상인식을 하던 사람들이 가장 신나하는 것같고, 그외에 컴퓨터 그래픽에서도 3차원 영상으로만 가능한 재미있는 사례가 속속 나오고 있다. 하지만 진짜 기대되는 것은 이 Kinect와 Wii Remote를 동시에 사용하는 (해킹) 어플리케이션이다.

키넥트는 전신의 움직임을 잡아내는 데에는 유용하지만 메뉴를 선택한다든가 총을 겨냥해서 쏜다든가 하는 세밀한 움직임이 불가능하다. 거기에 그걸 제대로 해줄 수 있는 장치(게다가 가상의 물체에 매핑될 수 있는 물리적 장치)를 더한다면 그야말로 동작인식에 날개를 단 형국이 아닐까. 이미 둘 다 해킹이 되어 PC에서 연동이 되고, 특히 Flash 등 인기있는 시각화 도구와도 바로 연결이 된다. 바로 며칠 전에 변형된 게임에 이를 적용한 사례가 올라오긴 했지만, 단순히 입력값을 조작에 연결시킨 수준일 뿐 각 장치의 잠재력과 시너지를 충분히 발휘했는지는 모르겠다.



아마 기존의 컨트롤러와 Kinect를 동시에 (아마도 Kinect는 보조적/선택적인 입력으로) 사용하는 Xbox용 게임이 올해 중으로는 발표되리라는 생각이 들지만, 우선은 그 전에 오는 5월의 CHI 2011 학회에서 그런 조합이 몇 건 나와주지 않을까 하는 기대를 하는 중이다.

Wii Remote, Kinect, 3D TV, ... 판이 점점 재미있게 돌아가고 있다.




... 뭐가 "짧게 짧게"냐. ㅡ_ㅡa
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
이미 제품의 외형이며 어떤 부품이 들어가는지까지 속속들이 드러나 버린 상태에서 이만한 관심을 끄는 제품도 없을 거다. 새로운 아이폰이 드디어 공식발표되고 웹사이트에 관련 내용이 올라왔길래, 한번 훑어보니 역시 짧은 키노트에 모두 포함되지 못한 내용이 좀 있다. 사실 키노트의 내용 중 많은 부분(이를테면 HD영상 녹화, 화상통화)은 오히려 하드웨어를 보고 예상할 수 있는 부분이었기 때문에 조금은 김이 빠져 있었는데, 발표에서 빠진 내용을 보면서 "역시 애플은 대단해..."이라는 덕심이 다시 한번 치솟는 기분을 느꼈다.

iPhone 4의 발표 소식(?)에 대해서는 이미 여기저기서 많이들 올라와 있을테니, 난 HTI 관점에서 직접적인 발표내용 외에 주목할만한 내용들, 그리고 누군가 열심히 UX 개선을 위해서 애쓴 흔적이 눈물겹도록 보이지만, 솔직히 물건을 파는 데 크게 도움이 되지 않아서 발표에서 제외된... 그런 내용이나 좀 정리해 보려고 한다. 서로 돕고 살아야지. (무슨 도움이 되겠다는 건지는 모르겠다만 -_- )

(1) Gyro Sensor
Gyro Sensor in iPhone 4

아 물론 자이로 센서가 포함된다는 사실 자체는 발표 내용에 대대적으로 포함됐다. 근데 이게 무슨 의미를 가질까? 잡스가 보여준 데모는 젠가라는 보드게임이었는데, 사실 휴대폰을 돌리면 화면이 돌아가는 정도는 기존의 가속도 센서로도 거의 불편함을 느끼지 못한 것이기 때문에 조금은 고개를 갸우뚱하게 한다. 이미 관련 블로그에도 그 의미에 대해서 의구심을 표시하고 있기도 하고. 사실 젠가 게임은 순수하게 자이로 센서의 특성을 보여주기에는 좋은 사례일지 모르지만, 실상 가장 강조되어야 할... 위 사진의 맨 아래에 등장하는 6축 동작인식이라는 부분이 잘 드러난 것 같진 않다. 자이로 센서가 들어감으로써, 기존 가속도 센서를 이용했던 회전 감지에 비해서 나아지게 되는 건 뭘까? 

기존에 들어있던 가속도계는 원래 상하좌우로의 직선운동을 잡아내는 물건이다. 마침 지구에는 중력가속도라는 게 있는 덕택에, 아래로 떨어지려는 움직임(정확히는 그 반작용)의 방향을 상하좌우 센서의 입력값을 비교함으로써 알아내고, 그걸 바탕으로 기기의 자세(가로/세로)를 알아내거나 매시각 비교함으로써 상대적인 회전을 찾아내는 것이다. 이렇게 직선운동을 잡아내는 물건으로 회전운동을 찾아내려다 보니, 직선운동과 회전운동을 둘 다, 실시간으로 구분해서, 함께 인식하기가 어렵다는 문제가 있다.

이제 순수하게 회전을 담당할 자이로 센서가 들어감으로써 아이폰은 회전과 직선운동을 동시에 알아낼 수 있게 된 것이다. 이건 단지 잡스의 데모에서처럼 사용자가 폰을 들고 제자리에서 돈다는 정도가 아니라 3차원 공간에서의 자유로운 위치와 자세 변화를 (상대적으로) 인식할 수 있다는 거다. 한동안 유행했던 증강현실(AR)을 예로 들자면, 이제 기준이 되어 줄 AR-Tag가 없이도 임의의 공간을 상정하고 그 주변으로 아이폰을 움직이면서 그 공간에 떠 있는 가상의 물체를 관찰할 수 있을 것이다. 아니 심지어 공중에 직접 3차원 그림을 그리는 건 어떨까. 3차원 그림을 그리고 감상하는 어플도 충분히 가능하리라 생각한다. (가속도 센서와 자이로 센서의 악명높은 오류 누적 문제는 일단 덮어두자. -_- )

사실 이제까지 회전인식을 도와주던 게 3GS부터 들어가 있던 전자나침반인데, 이건 주변 자기장의 변화에 따라 초기화를 시켜주지 않으면 제멋대로 돌아가 버리는 아주 심각한 문제를 가지고 있다. 그렇다고 지도 서비스에서 동서남북을 알아낼 수 있는 기능을 버릴 순 없으니, 결국 다소 중복되는 것 같더라도 자이로 센서를 다시 추가했음을 짐작할 수 있다.

이로서 아이폰에는 자세를 알아내는 센서만 3개다. 이 센서값들을 개발자에게 어떻게 활용하기 쉽게 제공할지가 관건이 되겠지만, 이제 사실 더이상 넣을 센서도 없게 된 만큼 iPhone 4는 뭔가 궁극의 입력장치가 되지 않을까 기대하고 있다. 특히 닌텐도 Wii의 MotionPlus 리모트가 가속도 센서와 자이로 센서, 그리고 적외선 마커를 이용한 기준위치(화면)를 알아내서 정밀한 움직임을 측정하고 있다는 걸 생각해 보자. 아이폰은 이제 시각적 마커를 카메라로 알아낼 수도 있고, 심지어 나침반과 GPS 정보로 마커를 대신할 수 있게 됐다. 이상적으로 말하자면, 아이폰은 지구상 어디서 어떤 위치/높이에 어떤 자세로 어떤 움직임으로 사용되고 있는지를 완벽하게 계산할 수 있게 된 것이다. ... 어떻게 보면 좀 무섭다. ㄷㄷㄷ


(2) FaceTime using Rear Camera
FaceTime on iPhone 4
뒷면 카메라를 이용한 화상통화. 이것 역시 키노트에서 발표된 주요 내용 중 하나이긴 하지만, UX 관점에서는 꽤 신선한 느낌이다. 사실 화상통화(WiFi를 이용해서만 된다니 화상채팅?)는 거는 사람이나 받는 사람이나 다소 부담스러울 수 있는 상황이고, 사실 얼굴이야 서로 잘 알고 있을테니 얼굴만 봐도 좋은 연인 사이가 아니라면야 그보다 내가 지금 보고 있는 장면을 공유하면서 화제로 삼는 게 좀더 유용한 화상통화의 활용방법일 수 있겠다.

사실 이런 식의 활용에 대해서는 예전에 좀 들여다 본 적이 있는데, 이 특허 - 화상통화를 하면서 전면 카메라와 후면 카메라를 전환할 수 있는 - 는 국내 L모사가 6년전 쯤에 출원했던 것으로 기억한다. 결국 그게 특허로 등록이 되었는지, 그리고 그 특허가 혹시나 이번에 FaceTime을 굳이 WiFi 버전으로만 내는 데에 어떤 영향을 미쳤는지는 모를 일이다. (사실 애플이 언제 특허 신경 썼나... 아마 전송되는 화상의 품질 때문에 내린 결정이라고 보는 게 더 타당할꺼다.)

이 기술은 기존에 3G 망을 통해서 할 수 있었던 화상통화와 전혀 다르지 않아 보이기 때문에 처음 발표를 접한 사람들도 "남들은 이미 다 하고 있었다"면서 시큰둥한 반응이 있기는 했지만, 전화통화 상대방과 전화망 외의 ad-hoc IP 네트워크 연결을 순간적으로 해준다는 건 꽤 혁신적인 발상이다. 다른 네트워크(3G 등)으로 확장하는 것도 어렵지 않은 방식이긴 하지만, 사실 굳이 화상통화를 WiFi로 제한한 것은 아이폰 덕택에 기하급수적으로 늘어나는 통신사의 데이터 통신망의 부하를 어떻게든 줄여주고자 하는 제스처 아니었을까. 이런 식이라면 화상통화를 하면서도 통신사의 데이터망은 건드리지 않을 수 있을테니까.

이게 만일 MSN 메신저와 같은 방식으로 어딘가에서 각 통화자들의 IP를 연계해주는 화상채팅 중계 서버가 있는 거라면 여러가지로 문제가 되겠지만... 굳이 "zero set up"을 강조하고 "open standard"로 추진하는 걸로 봐서는 그냥 폰과 폰이 직접 P2P로 IP를 주고받고 화상망을 구축하는 방식인 듯 하다. (만일 따로 중계서버가 있어서 아이폰 사용자의 화상통화 상황을 알 수 있다면... ㄷㄷㄷ )


(3) The Second Camera
Front Camera on iPhone 4
화상통화와 함께, 드디어 결국 전면카메라가 들어갔다. 이미 지난 수년간 디지털 카메라에 들어간 얼굴인식/미소인식 등의 영상인식 기술이 특허침해 같은 거 검토하지 않고 무작위로 App으로 등장하고 있는 와중에, 전면카메라가 갖는 의미는 각별하다. 이를테면, 아래와 같은 걸 아이폰에서 볼 수 있게 된 것이다!



혹은 이전에 소개했던, 전면카메라를 활용한 NDSi의 (조금은 우스꽝스러운) 게임들은 어떨까. 앞의 자세 인식 센서들과 함께 전면카메라의 사용자 얼굴인식 기능이 합쳐진다면, 이건 뭐 어떤 괴물 앱이 나와도 이상하지 않겠다. 키노트 내용에 따르면 전면 카메라에 대한 API도 개방될 것 같으니, 개발자들이 어떤 사고를 쳐줄지 두근두근 기다려 보자.


(4) Dual Mic

마이크가 위아래로 2개 들어간다는 소리가 나오는 순간 눈이 번쩍 떠졌다. 전화를 표방하는 기기에서 마이크가 2개 들어간다면, 이유는 뻔하다. 발표 내용에도 나왔듯이, 배경의 잡음을 없애 깨끗한 음성을 보내기 위함이다. 양쪽 마이크에 입력되는 음의 파형을 시간축으로 미리 설정한만큼 평행이동 하면, 아래쪽 마이크 가까이 있고 위쪽 마이크에는 어느 정도 떨어져 있는 (즉, 음성이 전달되기까지 시간이 좀 걸리는) 사용자의 음성이 겹쳐지게 된다. 나머지 음향정보는 사용자 음성이 아닌 주변 잡음이기 때문에 신호를 줄여버리면, 깨끗한 음성만 보낼 수 있는 거다.

사실 이 기술은 2년전쯤 "알리바이폰"이라는 명칭으로 국내에도 상품화된 적이 있으니, 새롭다고 하긴 어렵다. 기술에 붙인 이름이 좀 위험스러워서인지 마이크 하나 더 붙이는 단가가 부담스러웠는지, 어쨋든 "깨끗한 통화"라는 본래의 취지가 무색하게 이후의 휴대폰에서 이 기술이 적용된 사례는 찾아보기 어렵다. :(

어쨋든 dual mic의 채용에 반색하는 개인적인 이유는, 물론 음성인식률의 향상을 기대하기 때문이다. 여러 개의 마이크(mic array)를 이용해서 음성명령의 공간 상의 위치(방향/거리)를 파악하고 나머지 음향을 소음으로 여길 수 있다거나, 심지어 여러 명이 동시에 말하는 내용을 따로따로 구분할 수 있다는 기술만큼은 아니겠지만... 그래도 이 마이크 입력을 이용하면 통화나 음성인식 뿐만 아니라 박수소리의 방향/거리를 알아낸다든가 동영상 녹화 시에 배경음을 녹음할지 녹화자의 음성을 녹음할지 선택할 수 있다든가 하는 기능도 구현할 수 있을 것이다. 단지 이 마이크들에 대한 API에 대해서는 따로 언급이 없었고, 무엇보다 이런 신호처리를 하려면 그냥 주어진 조건(귀옆에 대고 통화하는)에 맞춰서 하드웨어에 프로그램을 박아 버리는 게 편하기 때문에 과연 그 정도의 자유도가 개발자에게 주어질지는 모르겠다. 그냥 위 조건에 맞춰진 잡음제거 기능의 강도를 조정하는 정도가 아닐까?


(5) N-Best Type Correction
Type Correction on iPhone 4
터치스크린의 잦은 오입력을 보완하기 위해서 아이폰을 필두로 많은 스마트폰은 어절 수준에서 오류를 인식하고 자동으로 수정해 주는 방식을 채택하고 있다. 어절을 기준으로 한 수정방식이 한글이나 조사/어미를 갖는 다른 언어들에 맞지 않는다는 점은 차치하더라도, 기존의 방식은 띄어쓰기나 마침표 등을 입력할 때 무작정 오류(라고 생각한) 입력을 지우고 대안으로 바꿔버리기 때문에 자주 쓰지 않는 단어를 입력할 때마다 사용자가 아차하는 순간에 의도하지 않은 내용이 입력되는 경우가 많다. 사실 이건 모든 인공지능 입력 기술이 가지고 있는 공통적인 인식률의 문제이기도 하고.

그런데 이번에 공개된 내용 중 한 페이지에는 다른 부분과 달리 오타로 추측되는 어절을 분홍색으로 표시한 후 사용자가 터치하면 몇가지 대안(인식기술 쪽에서는 N-Best라는 표현을 쓰는, 사실은 가장 흔한 방식이다.) 중 하나를 선택할 수 있게 해 주는 내용이 나와 있다. 문자 메시지의 경우에는 안 되고 이메일에만 되는 기능이라면 사용자의 혼란이 있을 것도 같은데, 어쨋든 이렇게 사후수정 방식이라면 터치스크린과 잘 어울리기도 하고, 의도하지 않은 수정을 없애거나 다시 복구하기 쉽게 만들 수 있을 듯 하니 반가운 일이다. 터치스크린의 오터치 보완 방식이 조금은 인간을 위해 겸손해진 느낌이랄까.


(6) Faces and Places
Faces - Face Recognition on iPhone Photo Album on iPhone 4Places - Location-based Photo Album on iPhone 4

이미 iPhone OS 4 (이젠 iOS 4가 됐다)의 개발자 버전을 통해서 많이 누설됐지만, 데스크탑용의 Mac OS에서 구동되는 iPhoto를 통해서 가능했던 Faces와 Places 사진정리 기능이 아이폰으로 들어왔다. 어찌나 반갑던지. :)

설명을 보면 Faces 기능은 iPhoto와 함께 사용할 수 있다고 되어 있는데, 이거 iPhoto에서 얼굴인식한 내용을 가지고 모바일에서 보여주기만 한다는 건지, 아니면 그냥 얼굴인식은 각자 하고 그 meta-tag를 공유한다는 얘긴지 모르겠다. 작년에 보여준 iPhoto의 얼굴인식 및 등록 기능은 아이폰에서 똑같이 만들기에 사용자 입장에서도 기술적으로도 어려워 보이지 않았으니 전자는 아니라고 생각하지만, 그렇다면 왜 굳이 iPhoto를 언급했을까... 이 부분은 조만간 개발자 버전을 깐 사람들이 규명해 주리라 생각한다.



그리고...

ASL Users using FaceTime on iPhone 4
아래의 나머지는 늘 굳이 내세워 발표하지 않는, 장애인을 고려한 확장된 접근성에 대한 부분이다. 애플은 위 FaceTime을 홍보하는 동영상에도 수화로 대화하는 연인을 넣을 정도로 장애인에 대해서 고려하고 있으면서, 절대로 그걸 크게 부각시키는 법이 없다. 어쩌면 "특정 사용자 전용이 아닌, 더 많은 사용자에게 편리한" universal design의 철학에 가장 걸맞는 모범을 보이고 있다고나 할까.


(7) Gesture-based Voice Browsing
Gesture-based Voice Browsing on Safari, iPhone 4
우선 첫번째는 웹 브라우저. 이미 들어가 있던, 웹페이지 내용을 음성으로 읽어주는 기능에 더해서, 웹페이지의 특정부분에 손가락을 대면 바로 그 부분의 텍스트를 읽어주는 기능을 추가했다. (왼쪽 그림에서는 오른쪽 아래 광고(?) 영역을 선택해서 듣고있는 상태)

기존의 screen reader 프로그램들은 HTML 코드를 내용 부분만을 잘라내어 처음부터 줄줄이 읽어주는 게 고작이었고, 일부러 시각장애인을 고려해서 코딩하지 않는다면 어디까지가 메뉴고 어디부터가 본문인지도 알기 힘들었다. 그런데 이렇게 모바일 기기의 터치스크린의 장점을 살려서 손에 들고 있는 페이지의 특정 위치를 항행할 수 있게 한다는 것은 정말 혁신적인 장점이 되리라 생각한다.


(8) Rotor Gesture

이 기능은 3GS부터 있던 기능이라는 것 같은데, 왜 이제서야 눈에 띄었는지 모르겠다. 화면 상에 실제로 뭔가를 표시하는 건 이번이 처음인 것 같기도 하고... 어쨋든 이 기능은 두 손가락을 이용해서 회전식 다이얼(로터)를 돌리는 듯한 동작을 하면, 아마도 그 각도변화에 따라서 몇가지 음성항행 모드 중 하나를 선택해 준다. 이를테면 목록을 읽을 때 제목만 읽기라든가, 바로 기사 본문으로 가기라든가, 링크된 영역만 읽기라든가... 기존의 음성 웹 브라우징은 키보드 단축키를 통해서 이런 모드를 지원했는데, 이 로터 제스처는 터치스크린에 맞춘 나름의 좋은 해법인 것 같다.


(9) Braille Keyboard Support
iPhone 4 Supports Braille Keyboards via Blutooth
말 그대로, 블루투쓰를 통한 25개 언어의 점자 키보드를 지원한단다. 휴... 이건 정말 쉬운 결정이 아니었을 듯. 점자 키보드라는 게 얼마나 표준화가 잘 되어 있는지 모르겠지만, 경쟁사의 다른 무선 키보드와도 연동하기 까다롭게 만들어 놓기로 유명한 애플사다. 이렇게 점자 키보드를 위한 입력을 열어놓으면 분명히 제한없이 공개되어 있을 그 방식을 적용한 비장애인용 키보드 제품이 쏟아질 건 자본주의의 이치. 비록 악세사리라고는 해도 독점이 가능한 키보드도 팔고 있으면서 이런 결정을 내린 사람들은 도대체 어떤 경영진, 어떤 책임자, 어떤 월급쟁이일까. 어쨋든 훌륭한, 심지어 존경스럽기까지 한 결정이다.



이상. 사실 별다른 관심이 없던 발표여서 신나는 내용이 많기는 했지만, 왠지 개인적으로 다음 달에 판매한다는 iPhone 4를 바로 구매할 만한 큰 계기는 찾지 못했다. 무엇보다 루머의 RFiD도 안 들어갔고... 지금 쓰고 있는 아이폰을 1년반 넘게 썼으니, 2년을 채우고 고민해 봐야 할 듯 하다.
저작자 표시 비영리 변경 금지
신고
Posted by Stan1ey
일전에 회사가 영국의 100대 기술 미디어 기업에 뽑혔다고 하길래, 그 홈페이지를 보다가 오히려 재미있는 회사를 찾았다. New Concept Gaming이라는 매력적인 이름의 이 회사에서는 JOG라는 게임 보조기기를 파는데, 그 아이디어가 기발하다.

JOG from New Concept Gaming

마치 만보계처럼 생긴 이 물건은... 사실은 진짜 만보계다. ㅡ_ㅡa;;; 다른 만보계와 다른 점이라면 걸음수를 화면에 표시하는 것 외에, Nintendo Wii의 컨트롤러 중에서 Nunchuck과 Main controller 사이에 끼어들어서, 눈척에 달린 조이스틱의 신호를 가로채서 조작한다는 점이다. 즉 눈척에서 조이스틱을 어떤 방향으로 움직이는 것은 그 방향만을 입력받고, 조이스틱의 각도값(많은 게임에서 '얼마나 빨리 움직일지'를 정하는 기준이 된다)은 이 "만보계"의 걸음빈도로 대체하는 것이다. 요컨대 빨리 움직이려면 제자리걸음을 더욱 빨리 종종 거려야 한다는 이야기.

설치도 (비교적) 간편하다.
How to install JOG

보통 '온몸으로' 조작하는 환경 - 특히 VR의 CAVE 환경 같은 걸 이야기할 때 - 에서 몰입이 어려운 점 중의 하나로 실제 몸의 움직임과 가상공간에서의 움직임이 일치하지 않고, 그렇다고 커다란 공간을 만들자니 비용은 물론이고 동적으로 시야각이 변해야 하는 경우도 있는 등 여러가지 문제가 있다는 점이 꼽히곤 하는데, 이 JOG라는 물건은 그냥 게임이라는 범주에서 적당히 먹힐만한 해법을 내 놓은 것 같다.



사실 앞으로 뛸 때도 뒤로 뛸 때도 (물론 조이스틱은 그 방향으로 향하겠지만) 제자리걸음을 해야 한다든가 하는 게 얼마나 자연스럽게 느껴질지는 잘 모르겠다. 잠깐 상상하면서 뛰어봤는데, 무엇보다 앞으로 뛸 때의 몰입감("나도 뛰고 캐릭터도 뛴다!")이, 뒷쪽으로 뛸 때 깨지는("나는 앞으로 뛰는데 캐릭터는 내 쪽을 향해서 뛴다!") 문제가 있어 보였다. 조이스틱은 진행방향과 속도를 한꺼번에 조절하는데, 그걸 분리하는 게 특히 기존의 조작에 익숙한 사용자일수록 쉽지는 않을게다.

그래도 내 생각에는, Wii Remote의 조작방식에 대한 아주 적절한 (간편한) 얹혀가기의 사례라고 생각한다. 닌텐도 안에서도 이 아이디어만큼은 무릎을 치면서 아쉬워 하거나, 혹은 이미 생각하고 있었던 아이디어에 타이밍을 못 맞춘 것을 아쉬워하고 있지 않을까.

참고로 유투브를 검색하다보니, 이미 Gadget Show에서 #1 digital toy로 꼽힌 적도 있는 모양이다.

뭐 걍, 내용은 없다. ㅡ_ㅡa;;
신고
Posted by Stan1ey

센서 기반 UI 라는... 그런 제목을 한동안 달고 다닌 적이 있었다. 그때는 그게 기술 중심의 연구소에서 사용자 - 연구원과 경영진 - 에게 쉽게 이해될 수 있는 호칭이었기 때문인데, 그게 결국 HTI로 이어진 셈이다.

CACM, Feb 2009 issue
<Communications of ACM>의 지난 2월호 한켠에 실려있는 기사 - "Making Sense of Sensors" - 는, 제목만 보고도 무슨 이야기를 하려는지 분명하게 알 수 있었다. 이제 이런 얘기가 나올 때가 됐지.

센서를 통한 암시적 입력이, 당연히 명시적 명령입력과 기대했던 결과출력으로 이루어졌던 사용자 인터페이스에 사용된 건 그다지 오랜 일도 아니고, 이런 종류의 UI에 대한 사용자의 반응이 항상 좋았던 것도 아니다. 무엇보다 분명한 알고리듬이 존재한다고 하더라도 제멋대로 판단해서 움직이는 듯한 물건에 대해서 호감을 가지려면 서로 친숙해질 시간이 필요한 것이다.

이제 슬슬 그런 타이밍인 걸까. 이번 기사의 제목은 그런 의미에서 개인적으로 의미가 크다. 그래서 이런저런 회포나 풀면서 머릿속을 정리해 보려고 끼고 있었는데, 점점 블로깅에 투자할 시간이 없어진다. 이러다가 곰팡이 피기 전에 그냥 스크랩이나 하고 말기로 했다.


아래는 이 기사의 마지막 문단이다. 맘에 들어서 퍼넣어야지 했다가 깜박해서 다음날 추가. 감기약 때문에 정신이 혼미한듯. ㅎㅎㅎ

... When sensors start to do more than just transmit sensory data to a traditional two-dimensional computer screen, the way we interact with computers will fundamentally shift, as physical objects become "smarter" about themselves and the world around them. When that starts to happen - when computers start taking shape in three dimensions - sensors may just start making sense.

저자는 Alex Wright라는 사람인데, 말 장난을 좋아하는 사람이다. 같은 과라 호감이 간달까.


아, 참고로 이 기사의 내용은 별 게 없다. 유투브에서 많이 유명해져서 여기저기 강연을 다녔던 Johnny Lee의 연구내용을 필두로 저자가 아는 범위에서 여기저기 연결점을 찾으려는 노력이랄까. 딸랑 2쪽 분량으로는 단지 몇가지 사례를 나열한 느낌이지만, 좋은 제목에 걸맞게 좀더 잘 정리할 수 있었던 좋은 주제였기에 좀 아쉽긴 하다.

신고
Posted by Stan1ey
일전에 관심을 가지고 있었던 2.5D 위치인식 카메라의 실제 어플리케이션이, 한 캐나다 업체에 의해서 만들어져 MIGS 2008이라는 데에서 발표된 모양이다. (MIGS는 Montreal International Game Summit 이란다) 에딘버러 오가는 기차 안에서 밀린 Podcast를 보다가 이 독특한 이름 - Mgestyk (= majestic) - 을 어떻게든 외워서 회사 웹사이트에 들어가 볼 수 있었다.

Mgestyk - 2.5D Gesture RecognitionMgestyk - 2.5D Gesture Recognition

(사족: 이 이미지 만든 사람 칭찬해 주고 싶다. PNG인 것도 그렇고, 단순히 배경 덮지 않고 투명으로 뺀 것도 그렇고. 디자인 감각은 잘 모르겠지만 웹 그래픽을 잘 이해해 주고 있는 듯. 이런 사람도 흔치 않은 게 현실이다.)

일단 이 회사는 하드웨어나 센서를 만드는 회사는 아니고, 전의 포스팅에서 소개했던 3DV Systems사의 3D 카메라를 가져다 어플리케이션을 만든 회사이다. 웹사이트에서 동영상을 보면, 일단 그네들이 만든 내용을 전반적으로 볼 수 있다.





센서야 전에 들여다 본 내용이니 뭐 딱이 말할 거 없고, 이 회사는 인식된 그 공간정보를 이용해서 손모양을 인식하는 소프트웨어를 만든 모양이다. 위 오른쪽 사진을 보면 인식된 바에 따라서 손모양이 바뀌는 정말 누가봐도 기술데모용의 소프트웨어가 화면 한켠에 보인다. :)

이 3D 카메라, 혹은 뭐 내맘대로 부르고 있는 2.5D 센서-카메라는 적외선을 이용하고 있다는 게 아래 사진에서 잘 나타나고 있다. 그러니까 사실 위 동영상에서 Wii Remote의 센서바 - 사실은 적외선 LED 여러개 - 를 사용하지 않고 있다는 것은 사실 간섭 때문에 사용할 수가 없는 이유도 있을 꺼다. :P 
 
Mgestyk - 2.5D Gesture Recognition using InfraRed Distance Measuring

그래도 이 센서-카메라에 주목해야 한다고 생각하는 이유는, 무엇보다 그다지 비쌀 이유가 없는 구성 때문이다. 해상도(거리해상도)는 좀 떨어질지 모르고, 저 정도 광원으로는 대충 2m 정도 떨어지면 반사수신율 턱없이 떨어질테고, 햇빛이나 조명에 의한 간섭이 걱정될지 모르지만, 그래도 이 정도 간단한 구성으로 뭐가 됐든 공간 상의 동작을 인식할 수 있다는 건 굉장히 매력적인 거다.

원래의 데모에서처럼 PC 모니터나 TV 같은 영상기기에 직접 붙여도 좋겠지만, 리모컨을 대신할만한 물건 같은 것도 좋겠다. 소파 옆이나 커피테이블 위에 놓고 그 위에서 손짓하면 조작되는. (아 그런데 갑자기 눈에 먼지가... ;ㅁ; ) 배터리 귀신일 듯한 적외선 LED array는 터치/근접/움직임 센서에 의해서 켜도록 하면 배터리로 동작하는 것도 가능할지도 모르겠다. 적어도 Wii Remote는 카메라와 통신장치를 갖추고도 배터리로 잘 쓰이고 있으니까, LED만 잘 조정하면 뭐.

... 사실 생각해 보면 굳이 테이블 위에 놓을 필요도 없는데. 리모컨 마냥 잃어버리기도 쉽고. (아 그런데 자꾸 눈에 먼지가 ;ㅁ; )

저 카메라의 '시야'는 단지 광각으로 결정되는 게 아니라 거리까지 포함된 공간으로 정의될텐데, 개인적으로는 그 안에 얼굴이나 발이나 인형을 들이밀면 어떻게 반응할지 어떨지가 궁금하다. ㅋㅎㅎ 뭐 결국에는 거리와 크기의 상관관계라든가 반사율에 의한 표면재질을 판단한다든가 등등 적당히 걸러낼 수는 있겠지만 말이지.



... 결국, 본의 아니게 또 동작기반 UI에 대해서 쓰고 말았다. 이뭥미... 난 Voice UI를 정리하고 싶단 말이다... -_ㅜ 아무리 봐도 동작 입력의 한계는 분명해서 저 데모에서도 "데모하는 사람 팔 아프겠다..."라든가 "저 동작 실수없이 다 하려면 몇번이나 다시 찍었을까..." 싶은 생각이 드는데, 그럼에도 불구하고 "대세는 동작"이라는 분위기의 요즘이다.
신고
Posted by Stan1ey
오늘, 미국에서는 <Designing Gestural Interfaces>라는 책이 발매된다. 이 출판사(O'Reilly)에서 출간된 책이 전산업계는 물론이고 UI 업계(특히 Web 관련)의 표준에 미친 영향을 생각하면, 이 책이 출판됨으로써 Gesture UI에 대한 개념이 많이 정리가 되고, 무엇보다도 Nintendo Wii로 인해서 크게 확산된 동작인식이 mainstream으로서 상용화되었다는 증거가 될 듯 하다.

Designing Gestural Interfaces

실제로 게임이든 virtual world든, 3D 공간 상에서 최대의 몰입감을 제공하는 인터페이스로는 동장인식만한 게 없다. 문제는 이 동작 UI가 단지 놀잇감이 아니라 제대로 생산성을 내는 분야에 적용되어서, 맨날 입이 닳도록 인용되는 영화 <Minority Report>에서와 같이 사용될 수 있느냐는 게 되겠다. 이 책을 쓴 Dan Saffer라는 사람은 사실 동작보다는 UI에 관심이 있던 사람이라서, 과연 동작인식에 대한 HTI 적인 고려가 들어가 있기는 할런지 조금 걱정이 되긴 하고...

어쨋든 지난 번 Sony의 동작인식 게임 컨트롤러 소식과 Oblong의 G-Speak 동작인식 시스템에 이어서 이런 소식을 접하게 되니, 이거 동작인식이 결국 "차세대 UI"로 자리잡아 버리는 건 아닌가라는 생각이 든다. 동작인식에는 이런저런 문제가 많아서 주사용 UI로 자리잡지는 못할 꺼라고 생각했던 입장에선 좀 의아하다.



개인적으로 또 하나 궁금한 게 있다면, 이 책에서 터치스크린에서의 제스처... 혹은 소위 스트로크 stroke 방식의 UI를 다뤘을까 하는 점이다. 흠... 사실은 터치스크린을 다뤘다면 O'Reilly에서 'Designing Voice Interfaces' 같은 책이 나오기 전에 이 책이 먼저 나온 게 조금은 위안이 될 것 같아서... ( '-')y~oO
신고
Posted by Stan1ey
소니에서 초음파를 이용해서 컨트롤러의 위치를 파악하는 특허를 출원했다고 한다. 얼마전부터는 전통적인 컨트롤러를 반쪽으로 나눠서 양손에 들고 조작할 수 있도록 하는... 즉 완전히 Wii Remote와 같은 방식의 컨트롤러를 만들고 있다는 소문이 돌더니만, 초음파니 뭐니 해서 '그렇다면 관심이 있지...'하고 좀 찾아보니 결국은 같은 특허(US App#2008/0261693: "Determination of Controller Three-Dimensional Location Using Image Analysis and Ultrasonic Communication")다. 이 내용이 원래 특허를 분석했던 사람의 글에서 블로거 편한대로 이리저리 인용되다보니 지면관계상 -_- 쿨해 보이는 부분만 전달된 것 같다. 그냥 양손으로 조작하거나 초음파 센서만 이용하는 게 아니라, 영상까지 사용한다니 더 관심이 가서 좀 읽어봤다.

Motion Tracking Game Controller from SonyMotion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony
Motion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony

결국 양손으로 하나씩 잡고 조작할 수 있는 컨트롤러가 있고, 그걸 양손용으로 바꿀 수 있도록 하는 수십년전의 변신로봇 프라모델같은 아이디어가 있다는 게 한 부분이고, 그 각각의 위치를 추적하는 부분이 두번째 부분인 것 같다. 그런데 정작 내가 관심을 가진 이 두번째 부분이 왠지 복잡하다. -_-a;;; 제목에서 나와있는 영상분석이라는 건 기존의 EyeToy를 이용한 영상인식을 염두에 둔 것 같고, 영상인식을 이용해서 얻어진 X, Y축 데이터에 초음파 펄스를 이용한 거리측정 - 전자칠판 같은 데에 자주 쓰이는 방식이다 - 으로 Z축 데이터를 추가해서 정확한 3차원 상의 위치를 잡아낸다는 내용이다.

Motion Tracking Game Controller from SonyMotion Tracking Game Controller from Sony

영상인식에 대한 청구항을 보면 "RGB값이나 적외선을 이용해서 영상 중의 둥근 모양을 위치를 인식"한다고 되어 있는데, 울긋불긋한 옷을 입은 플레이어나 크리스마스 트리를 흔드는 광경이 걱정된다면 역시 적외선을 사용하게 되리라 생각한다. 보통은 카메라 주변에 적외선을 넉넉히 뿌려주면서 구형의 반사체(은박을 뭉친 것 같이 생긴 구슬로, 모션캡춰 할 때 붙이는 것)에서 반사되는 빛을 이용하는데, 이 경우엔 광원 자체를 구슬 안에 넣어버린 거다.

초음파를 이용한 화면~컨트롤러 간의 거리인식도 조금은 다른 방식을 사용하고 있다. 그냥 한쪽에 발신기(스피커)를 한쪽에 수신기(마이크)를 달아서 발신기가 초음파를 쏴대면 수신기에서 그 펄스를 받아서 거리를 잡는 게 아니라, 양쪽에 수발신기를 모두 달아서 본체(아이토이 카메라에 붙어있는 모습으로 표현되어 있다)가 먼저 펄스를 보내고, 컨트롤러에서 그에 대한 응답으로 다시 펄스를 보내는 복잡한 방식을 취하고 있다. 이렇게 함으로써 양손에 따로 들려있는 컨트롤러의 위치를 동시에 타이밍을 맞춰 갱신할 수 있다는 것이다. 영상인식보다는 이 부분이 이 특허의 골자가 아닐까 싶다. 이 시차를 이용한 거리인식을 이용해서 여러 명의 플레이어는 물론이고 좌우 컨트롤러를 따로 구분해서 인식할 수도 있을 것이다.
Motion Tracking Game Controller from Sony

한가지 좀 이상한 것은, 굳이 영상인식과 거리인식을 둘 다 하지 않아도 3차원 상의 위치정도는 알아낼 수 있다는 거다. 영상인식에서는 구슬의 크기를 이용해서 다소간의 오차를 감안하면 거리를 알 수가 있고, 초음파 인식 장치를 3군데에서 하면 상당히 정확하게 공간상의 위치를 삼각측량 triangulation 해낼 수 있을 것이다. 하지만 그렇게 하지 않은 이유는, EyeToy라는 조그마한 장치 하나를 덧붙여서 모든 것을 해결하고자 했거나, 뭔가 남들이 사용하지 않아 특허로 보호받을 수 있는 독특한 기술을 사용함으로써 조금 일이 복잡해지더라도 그 조작체계를 보호하고자 하는 목적인 것 같다. 그냥 초음파만 발산하는 장치라면 소니의 라이센스를 받지 않고도 만들 수 있을테니까. (뭐 최근 Immersion 사에 거액의 특허료를 지불하고는 정신이 번쩍 들기도 했을꺼다. ㅎㅎㅎ )

뭐 하지만 소니가 과연 이걸 제품화할지는 잘 모르겠다. Wii가 처음 소개되고 나서도 부랴부랴 Wii와 비슷한 방식 - 단, 소니의 특허는 컨트롤러에서 LED가 적외선 패턴을 표시하고 화면 쪽의 카메라에서 그 패턴을 분석하는 방식이었다 - 으로 컨트롤러의 위치를 파악하는 특허를 출원하기도 했지만, 결국 너무 서둘러 '뭔가 출원'해서 였는지 (그림 그린 걸 봐라 -_- ), 영상인식 분야에서 워낙에 많이 쓰여왔던 방식이어선지 특허로도 연결되지 못했고, 상품화도 되지 못했다. 이번 특허는 기술적인 진보의 측면에서는 조금 더 나아보이니까 가능성은 좀 높겠지만.

Old Motion Tracking Game Controller from Sony, 2006Old Motion Tracking Game Controller from Sony, 2006

어느 쪽이든 게임 분야에서만큼은 동작, 혹은 공간 상의 위치와 방향를 이용해서 뭔가 하는 것이 대세가 되어가고 있는 것 같다. 그보다는 컨트롤러에 버튼 갯수를 늘리는 것보다 다른 센서가 포함된 소위 "게임기 주변장치"가 대세라고 하는 게 맞을까. 옛날 "PC 주변장치"라는 말이 있었던 것이 이렇게 쓰이는 걸 보면 참 어색하긴 하지만. 뭐 덕택에 HTI 입장에서는 재미있는 이야기꺼리가 거의 매일 쏟아지고 있는 요즘이다.
신고
Posted by Stan1ey

Motion War Begins?

2008.08.22 23:08

지난 20일, Hillcrest Labs에서 자사의 특허를 침해했다며 Nintendo를 고소했다고 한다. 보통은 잘 알려져 있지 않은 이 작은 회사는, 홈네트워크를 조작하기 위한 - 결국은 TV에 나타난 복잡한 메뉴들을 조작하기 위한 - 방편으로 다양한 "The Loop"라는 이름의 장치를 사용하고 있다. 이 리모컨 장치는 결국 공간 마우스인데, 아래 사진과 같이 잡기 편한 형태를 가지고 있다. (그 이름이 어떻게 지어졌는지를 쉽게 알 수 있다. ㅎㅎ )

The Loop from Hillcrest Labs
이렇게 공간에서 마우스질 -_- 을 시키려면 기술적으로 불편한 점이, 사용자가 마우스를 똑바로, 즉 지표면과 평행하게, 화면에 수직으로, 손목은 일직선으로;;; 잡지 않으면 이후의 센서신호 처리가 좀 복잡해진다는 것이다. (예전의 글에서 인용한 동작인식 휴대폰의 그림을 참조) Hillcrest Labs의 특허기술은 바로 여기에서 빛을 발한다. 이번에 Nintendo를 상대로 제소한 4건의 특허Hillcrest Labs의 최대 밥줄이라고 볼 수 있는 미국특허 7,158,118 문건을 좀 열심히 들여다 보자.

Images from Hillcrest Labs' core patentImages from Hillcrest Labs' core patentImages from Hillcrest Labs' core patent

이 특허는 위 첫 그림과 같이 가속도 센서(506) 외에 2개의 '회전 센서'(502, 504)라는 걸 장착함으로써, 사용자가 리모컨 혹은 마우스를 어떻게 '기울여' 잡고 있느냐를 인식해서 가속도 센서로부터의 움직임을 보정한다. 즉 위 두번째 그림과 같은 경우에는 회전 센서가 필요없겠지만, 세번째 그림과 같이 '기울여' 잡고 있으면  (손모양의 차이에 주목!) 리모컨/마우스를 똑바로 움직여도 커서는 위로 날아가 버리는데, 이 '보정기술'을 적용하면 커서를 사용자가 원한대로 움직일 수 있다는 것이다.
Logitech MX Air - 3D spatial mouse

이 기술은 FreeSpace 라고 이름붙여져 있으며, 로지텍의 공간 마우스인 MX Air 라는 기종에도 적용되어 있다.



문제는 Hillcrest Labs가 Nintendo를 상대로 지금 특허소송을 한 이유가 뭘까 하는 거다. Hillcrest Labs의 기술에서는 '회전 센서'라고 다소 애매하게 말하고 있지만, 사실 특허본문에서 인용하고 있는 센서모델은 자이로 센서이다. 어쩌면 내가 지난번에 성급하게 예측했던 것과 달리, MotionPlus는 단지 회전만을 감지하는 자이로 센서 모듈일지도 모르겠다. 가속도 센서를 덧붙이는 것과 자이로 센서를 덧붙이는 것에는 각각 장단점이 있지만, 이제 와서 생각해 보면 자이로 센서를 넣는 편이 계산도 간편하고 비용도 쌀지 모른다. 좀더 복잡한 동작인식을 가능하게 해주지는 않으니 응용할 수 있는 방법은 적겠지만, 그래도 "하나 더 넣어봤어요" 보다는 "새로운 센싱을 추가했어요"가 낫지 않겠는가. ㅎㅎㅎ

어쨌든, 닌텐도가 실제로 자이로 센서를 넣은 MotionPlus를 발매한다고 해도, Hillcrest Labs가 이번 소송으로 얼마나 얻을 수 있을지는 모르겠다. 일단 이름은 좀 알리고 주가는 좀 오를지 모르겠으나, 닌텐도의 주된 pointing 방식은 적외선 영상을 이용한 vision processing에 기대고 있기 때문에 위에서 검토한 Hillcrest Labs 특허의 제목이 "3D pointing devices with orientation compensation and improved usability", 즉 화면 상의 포인팅을 목적으로 하고 있는 이상 단지 같은 센서를 썼으니 돈 내놓으라고는 할 수 없는 것이다.

뭐 어느쪽이든, 최근 몇 년간 굵직한 특허소송의 주인공이 되고 있는 닌텐도는 미국시장을 잠식해 들어가는 대가를 혹독하게 치루는 중이다.

신고
Posted by Stan1ey

요즘의 '터치' 유행은 GUI의 작은 변용이라고 생각한다. GUI의 역사와 함께 시작했던 digitizer가 처음에 화면 위에서 직접 위치를 입력하는 것 - light pen은 1957년부터 쓰였다고 한다 - 에서 시작했다가, 마우스(1963)그래픽 타블렛(1964)의 형태로 발전하면서 공간적으로 매핑되는 다른 표면에서 간접적으로 입력하는 방식으로 변형되었고, 기술의 발전에 힘입어 터치패널을 화면에 직접 장착한 터치스크린(1971)이나 최근의 타블렛 LCD까지 오게 된 것이다. 이런 흐름에서 생각해보면, 최근의 터치 UI는 사실 딱히 새로운 UI의 흐름이 아닌 기존 GUI 입력 방식 중 유난히 주목 받고 있는 한 가지일 뿐이라고 생각되기도 하는 것이다.

Light pen
First computer mouse
Early digitizer tablet, or graphics tablet
Wacom Citiq 21UX, tablet LCD screen


Apple iPhone에 적용되어 있는 "터치 UI"가 훌륭한 이유는, 사실 터치 입력을 사용했다는 것이 아니라 - 심지어 손가락 기반의 터치 UI를 디자인할 때의 기준에 대해서는, 기존의 PDA UI 관련연구에서 도출된 가이드라인을 그대로 답습하고 있기도 하다 - 기존 GUI에 없던 새로운 관점을 제시했다는 데에 있다. 그 중 대표적인 것이 GUI에 물리적인 metaphor와 tangibility를 좀더 제공하고, 그로 인해 몇가지 widget들을 창안하고 상업적으로 증명했다는 데에 있겠다. (이것도 어쩌면 상업적인 목적으로 UI에 이름 붙이기의 일환일지도...)

그래서 이 블로그에서는 터치 UI에 관한 글들이 죄다 "Tangible UI" (이하 TUI)로 분류되어 있고, 여기에 대해서 궁금해하는 사람들에게 위와 같은 이야기를 해주면서도 사실 이게 대세를 거스르기 위해서 조금 과격하게 왜곡된 생각이 아닐까 하는 것이 내내 마음에 걸렸다.


그런데,

터치 다음의 UI가 뭘까?에 대한 이전 글을 쓰고 나서 (정확하게는, 쓰다가 지쳐버려서 내팽개치고 나서) 이 분야에 대한 의견이 종종 눈에 띈다. 내가 앞의 글의 두번째를 쓰면서 가지고 있던 키워드는 소위 'deep touch' 라는 거 였는데, 사람들은 좀더 확실하고 커다란 next step을 지향하고 있는 듯 하다. 연달아 눈에 밟히길래 한번 정리해 봤다.


(1) 현실기반 인터랙션 (RBI: Reality-Based Interaction)
2006년 CHI 학회에서 논의를 시작해서 지난 4월의 CHI 학회에서 정리된 이 개념은, 기본적으로 "현실에서 생활하면서 습득한 주변과의 상호작용 방식을 그대로 확장하여 사용할 수 있는 상호작용"을 뜻한다. 처음 들었을 때에는 직관적으로 tangible interaction과 동일한 것으로 생각이 되었지만, RBI를 'framework'으로 정리하면서 연구자들이 주장하는 범위는 TUI를 포함하면서 그보다 훨씬 넓다.

주로 미국 Tufts University 사람들로 이루어진 RBI 연구자들은, UI는 명령어 방식(1세대; command-line)에서 그래픽 방식(2세대; GUI or WIMP)으로, 그리고 현실기반 방식(3세대;RBI)로 바뀌고 있다고 주장한다. 조금 너무 단순화되는 과정에 중요한 몇가지가 빠진 느낌이 들긴 하지만, 그렇게 GUI 뒤를 이을 RBI는 다음과 같은 체계(framework)로 연구개발될 수 있다고 한다.

Four RBI Themes

위의 RBI 연구주제에서 각각의 의미와 그것이 포괄하고 있는 UI 연구사례는 다음과 같이 제시되고 있다. (위 논문과 학회발표에서 요약함)

① Naive Physics (NP)
사람들이 물리적 세상에 대해서 공통의 지식을 갖고 있음을 전제하는 것으로, TUI 에서 특별한 형태의 슬롯을 사용해서 사용방법을 가이드하는 것이라든가, Apple iPhone에서 적용한 UI (터치를 이용해서 물리적 조작을 모사한 것이라든가 중력방향을 인식하는 것 등)가 해당된다.

② Body Awareness & Skills (BAS)
자신의 신체에 대한 인식을 바탕으로 신체를 움직이고 조정하는 기술을 갖고 있음을 전제하는 것으로, 예를 들어 가상현실(virtual reality)에서 몸을 이동시키기 위해서 실제로 특별한 시설이나 런닝머신(treadmill)을 걷게 하는 것과 같이 전신을 이용한 UI 들이 포함된다.

③ Environment Awareness & Skills (EAS)
주변 환경의 존재를 인지하고 환경 안에서 대안을 찾고, 조작하고, 돌아다닐 수 있는 기술을 갖고 있음을 전제한다. 많은 가상현실(VR), 혼합현실(MR), 증강현실(AR)에서 공간적 조작을 보조하기 위해서 사용되는 widget들이나, 위치기반서비스(LBS?)와 같은 맥락 기반(context-awareness) 연구 등이 이 분류에 포함된다.

④ Social Awareness & Skills (SAS)
공간 안에 있는 다른 사람들을 파악하고, 그 사람들과 상호작용할 수 있는 능력을 갖고 있다는 것을 전제한다. 이를테면 TUI는 다른 사람과 작업맥락을 공유(CSCW?)할 수 있는 좋은 방법이며, Second Life와 같은 가상세계(VW) 혹은 가상환경(VE)에서도 아바타를 통해 이러한 방법을 지원한다.

... 조금 과하게 넓다. -_-;;; 결국 현재 Post-GUI (혹은 논문이 주장하는대로, Post-WIMP)의 대안으로서 연구되고 있는 모든 UI를 실용화가 멀든 가깝든 모두 하나의 지식체계 안에 몰아넣고 이해해 보자는 건데, 조금은 욕심이 아니었나 싶다. 물론 저자들의 주장처럼 이렇게 함으로써 "중구난방으로 연구되는 각각의 주제를 하나의 관점으로 정리할 수 있다"는 건 십분 동의하지만, 연구 자체에 도움을 주는 건 아니지 않을까 라는 생각이 발표를 듣는 내내 들었다.

한가지 재미있었던 점이라면, 이런 다양한 접근 방식을 "현실기반 reality-based"라는 키워드로 묶음으로써 UI 설계의 방향성 같은 게 하나 제시될 수 있다는 거다.

RBI as Artificial Extension of Reality

RBI as Artificial Extension of Reality - Examples

발표에서 말한 "Real + Extension"이라는 것은, RBI를 위한 UI 설계에서는 일상의 행동은 그 원래의 역할에 부합하는 기능과 연동되고, 그보다 좀더 확장된 행동을 통해서 일상행동으로 할 수 없었던 슈퍼-기능을 수행할 수 있게 함으로써 자연스러운 조작이 가능하다는 것이다. 이를테면 위 슬라이드에 예시되었듯이 대상을 좀더 집중해서 주시하는 것으로 투사(X-ray vision) 기능을 구동한다면 별도의 메뉴나 버튼을 이용하는 것보다 더 자연스러운 interaction을 기대할 수 있다.

물론 발표 직후의 질의응답에서 이러한 analogy가 일반적으로 사용될 수 없음을 지적하는 질문들이 꽤 격하게 이어졌지만, 그럼에도 불구하고 RBI 라는 관점에서 볼 수 있는 UI 설계 방향성 중 하나는 되리라고 생각한다.


(2) 유기적 사용자 인터페이스 (OUI: Organic User Interface)
CACM 200806 - Organic User Interfaces
미국 전산학계의 흐름을 잘 보여주는 <Communications of ACM> 잡지의 지난 6월호에서는, OUI라는 개념을 커버 스토리로 다루고 있다. (ACM: Association of Computing Machinary의 약자로, 전산 분야의 가장 큰 학술단체) 이 이슈의 커버스토리는 유명한 여러 연구자들이 한 꼭지씩 맡아서 기사를 올렸는데, 그 면면을 보면 다음과 같다.

Organic User Interfaces (Communications of ACM, June 2008)

- Introduction / Roel Vertegaal and Ivan Poupyrev
- The Tangible User Interface and Its Evolution / Hiroshi Ishii
- Organic Interaction Technologies: From Stone to Skin / Jun Rekimoto
- Emerging Display Technologies for Organic User Interfaces
  / Elise Co and Nikita Pashenkov
- Organic User Interfaces: Designing Computers in Any Way, Shape, or Form / David Holman and Roel Vertegaal
- Sustainability Implications of Organic User Interface Technologies: An Inky Problem / Eli Blevis
- Designing Kinetic Interactions for Organic User Interfaces / Amanda Parkes, Ivan Poupyrev, and Hiroshii Ishii
- What Makes an Interface Feel Organic? / Carsten Schwesig
- Interactions With Proactive Architectural Spaces: The Muscle Projects / Mas Oosterhuis and Nimish Biloria
- Dynamic Ferrofluid Sculpture: Organic Shape-Changing Art Forms / Sachiko Kodama

첫번째 글("Introduction")에 따르면, OUI는 e-Paper나 다른 flexible display를 중심으로 얇고 작고 유연해진 전자소재(배터리, 스피커, SoC, 회로기판 등)에 의해 기대되는 무한한 자유도가 HCI 디자인에 미칠 영향을 예견한 개념이다. (사실 정확한 '정의'는 나와있지 않고, "Such phenominal technological breakthroughs are opening up entirely new design possibilities for HCI, to an extent perhaps not seen since the days of the first GUIs." 라든가 "A future led by disruptive change in the way we will use digital appliances: where the shape of the computing device itself becomes one of the key variables of interactivity." 라는 표현이 그나마 가까운 듯 하다.)

같은 글에서 제시하고 있는 OUI의 연구주제는 다음과 같다. (역시 요약)

① Input Equals Output: Where the display is the input device.
마우스나 조이스틱이 아닌 터치스크린으로 UI를 보다 직접적으로 조작할 수 있게 된 것을 언급하며, 멀티터치나 압력센서 등 터치스크린 입력을 좀더 정밀하게 다룰 수 있는 방법이 해당한다. (위 기사 중 Jun Rekimoto의 글 참조)

② Function Equals Form: Where the display can take on any shape.
기존의 사각평면 형태의 화면이 아니라, 그 용도에 따라 필요한 모양으로 재단할 수 있는 화면으로 e-Paper 외에도 프로젝션, OLED, EPD, 광섬유, 혹은 전기적으로 발광하는 도료 등을 언급하고 있다. (위 기사 중 David Holman 글과 Elice Co의 글 참조)

③ Form Follows Flow: Where displays can change their shape.
사용 순간의 작업내용과 상황에 따라 제품이나 화면의 크기와 형태가 바뀌는 제품의 가능성을 제시하고 있다. (위 기사 중 Amanda Parkes의 글 참조. Kas Oosterhuis의 글에서는 심지어 형태가 바뀌는 건물도 나온다.)

... 사실 글 제목과 각각의 분야에서 상당히 유명한 저자의 이름들을 봐서도 예측할 수 있었지만, 이 일련의 "Organice User Interfaces" 기획기사를 아무리 꼼꼼히 읽어봐도 기존에 자신들이 하던 연구주제 - 이시이 교수님의 TUI, 레키모토의 AR, Poupyrev의 3D UI - 를 한번 더 큰 틀에서 묶고자 했다는 느낌이 든다. 아니 사실은, 묶을까 하고 모였다가 결국 합의점을 찾지 못하고, 각자가 골백번 했던 똑같은 이야기들을 그냥 스크랩해 놓은 느낌이라는 게 더 맞겠다. OUI라는 개념에서 뭔가 새로운 지평이 열린 것도 아닌 것 같고, 아래와 같은 도표가 나오긴 하지만 사실 다른 기사의 내용과는 엄청나게 상충되는 관점이다. -_-;;;

from GUI to OUI - by Display Breakthrough

그나마 이 OUI 기사 중에 맘에 드는 (생각이 일치하는) 대목은, Carsten Schwesig의 "What Makes an Interface Feel Organic?"이라는 글이다. 이 글에서는 사실은 이 기사들 중 거의 유일하게 기존의 natural한 UI와 organic한 UI가 뭐가 다르길래? 라는 문제를 제시하고 있으며, 또 나름의 관점을 제시하고 있다. Carsten에 따르면, "유기적인 인터페이스 디자인은 - 문자 그대로의 의미와는 다소 다르지만 - 물리적 개체나 그 은유에 집중하기보다 물리적 현실과 인간적 경험에 대한 아날로그적이고 지속적이며 변화하는 속성을 강조하는 접근이다."

Organic interface design represents a less literal approach which, rather than focusing on physical objects or metaphors, emphasizes the analog, continuous, and transitional nature of physical reality and human experience. By combining sensitive analog input devices with responsive graphics, we can create user experiences that acknowledge the subtleties of physical interaction.
(from "What Makes an Interface Feel Organic?" by Carsten Schwesig)

위 인용문에서와 같이, Carsten은 이러한 나름의 정의(?)와 함께 Sony CSL의 Gummi Prototype, Nintendo의 Wii, Apple의 iPhone 등을 예로 들면서 아날로그 센서를 통한 미묘한 조작의 중요성을 강조하고 있다.

이런 관점은 사실 내가 HTI를 떠올리면서 가지고 있던 미래 UI의 모습에 상당히 근접한다. 센서와, 물리적인 피드백과, 자유로운 정보표시 방법과... 그러고보면 이 OUI라는 개념도 어느 정도 공감되긴 하지만, 역시 이 글 외에는 전혀 개념을 통일하려는 노력이 보이지도 않는 다는 것이 무.척. 아쉬울 따름이다.



이상과 같이 "GUI 이후 UI"의 주도권을 잡을 두가지 개념이 고작 2개월 간격으로 연달아 제시되는 것을 보면서, 사실 이번만큼은 예외적으로 좀 착잡해지는 기분이다. 왠지 몰라도 내 눈에는, RBI도 OUI도 뭔가 이슈가 필요하다는 니즈에 의해서 준비되지도 않은 것을 억지로 쥐어짜낸 개념으로 보이는 것이다. 게다가 하나같이 지난 몇년간 유행하던 연구주제들을 그냥 엮어서 자기들 나름대로의 framework에 구겨넣은 게 빤히 보이고, 그것마저도 제대로 정리되지 않아 삐져나오고 헐겁고... 조금이라도 이해해 보려고 읽으면 읽을수록 난리도 아니다.

결국, 블로그를 핑계삼아 정리하면서 내려진 나의 결론은:

① 세계 모든 UI 연구자들이 "다음 이슈"를 찾고 머리를 싸매고 있다.
② 이미 나온 것들 - TUI, AR, e-Paper, ... - 외에는 특별한 게 없다.
③ 결국 적합한 기술을 찾아 그 중 하나를 상용화하면, 그게 "다음"이 된다.
④ Multi-Touch를 봐라.
⑤ 따라서, HTI 연구가 중요하다.

이게 바로 "我田引水"라는 거다. 움홧홧! s(^0^)z


P.S. (자수하여 광명찾자) 근데 글의 시작과 결말이 미묘하지 들어맞지 않는다? ㅋㅋㅋ 뭐 맞추려면 맞추겠지만 말 바꾸기 귀찮다. ㅡ_ㅡ 또 다음 기회에.;;;

신고
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.