Flash AR에 대한 글을 쓰다가 문뜩 생각난 아이디어: 휴대폰 화면에 AR tag를 표시하는 거라면, 터치스크린이나 버튼을 이용해서 "조작"이 가능한 interactive AR을 만들 수 있지 않을까? 그냥 재미있을 것 같아서 한번 생각해 봤다.

Interactive AR using Mobile Screen

그러니까 첫번째 화면을 띄운채로 PC 웹캠에 보여주면 뭔가 3D 형상이 나타나거나 휴대폰 케이스 디자인 같은 게 나타나고, 터치스크린에 나타난 버튼을 누름으로써 AR 태그 안에 있는 모양이 바뀌면서 다음 3D 형상/애니메이션/디자인이 드러나는 거다. 어쩌면 사용자가 계속 PC 화면을 보면서 터치스크린 상의 제스처를 통해서 조작하도록 하는 게 안정적일지도 모르겠다.

태그 바깥쪽의 두꺼운 네모는 항상 띄워두고 안쪽의 indentifier만 바꿔준다면, 위치좌표가 흔들리지 않으니 3D 영상이 바뀔 때의 transition 효과도 넣을 수 있을 거다.


근데 이걸 뭐에 쓰나.

이미 세상에는 홍보용으로 만들어진 모바일 앱들이 많다. 그런 앱들은 판촉하고 있는 물건을 멋있게 보여주는 게 중요한 목적인데, 잠재 소비자가 자신의 휴대폰 위에 그 입체모형을 올려놓고 직접 돌려가면서 볼 수 있다면 그냥 평평한 화면에서 표시하는 것보다 훨씬 효과적이지 않을까. 모바일 앱에서는 AR 태그와 함께 PC에 띄울 웹사이트 주소를 알려주고, 그 웹사이트에서는 Flash AR을 통해서 3차원 컨텐츠를 보여주는 방식이 될 거다.

Screenshot from M르노삼성 iPhone AppScreenshot from MINI Time Machine iPhone App

어쩌면 반대로, PC용 웹사이트에서 인터넷 쇼핑몰을 운영할 때도, 어떤 항목의 3차원 형태를 보여주는 게 중요하다면 AR 태그를 방문자 이메일로 보내 휴대폰 화면에 띄우게 할 수 있겠다. 이 경우에 얻을 수 있는 부가적인 장점은, 굳이 각양각색의 화면 상에서 "실제 크기"를 역설할 필요없이 휴대폰 크기와 비교할 수 있도록 함께 띄울 수 있다는 거다. 특히 휴대폰 액세서리같은 경우에는 그 효과가 꽤 클 거다.

Screenshot from LG Website on Mobile Phone Accessories

입체형상이 중요한 상품을 다루고 있다면 이런 식으로 모바일 앱을 통해서, 혹은 그냥 이메일 등을 통해서 Flash AR을 입체적으로 적용해 보는 것도 좋지 않을까?

아니, 사실은 이런 걸 이용해서 온전히 3차원으로 구성된 서비스를 만드는 것도 재미있겠다. AR 태그의 한계를 생각하면 방대한 컨텐츠를 집어넣기는 힘들지 몰라도, 실제로 그 공간을 이리저리 돌려가면서 서비스를 사용할 수 있다면 꽤 재미있을지도. 일전에 소개했던 입체 웹사이트/컨텐츠와 연결해서 생각해보면 정말 흥미로운 사례를 만들 수 있을지도!

이런 아이디어, 어쩌면 진작에 나와있는 걸지도 모르고 누군가 이미 개발 중일 수도 있겠지만... 그래도 생각난 김에 한번 정리해 두고 싶었다. 어차피 금방 썩어날 아이디어고 난 당장 쓸데가 없어서 말이지.



... 뭐 이 정도까지 읽은 사람들은 다들 눈치챘으리라 생각한다: "이 인간 요 며칠 꽤나 심심했군... ㅡ_ㅡ+ "

딩동댕~ 아~ 뭐 재미있는 일 좀 없나. ;ㅁ;
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey
모든 HCI 기술들은 거기에 걸맞는 어플리케이션을 만났을 때 비로서 빛을 발한다. 그렇다면 비교적 최근에 가까스로(ㅎ) 상용화됐다고 할 수 있는 증강현실의 진정한 효용가치는 뭘까. AR의 상용화에 가장 큰 영향을 줬다고 할 수 있는 휴대폰 시장초창기 AR앱들만 보면 대세는 주변지역에 대한 정보를 주는 용도인데, 한편으로 광고계에서는 이와 조금 다른 응용사례들이 여럿 나오고 있다. 바로 플래시 플러그인에서 AR 태그 인식이 가능하게 되면서다.


웹기반 증강현실
개인적으로 처음 접한 웹사이트 상의 AR 실용사례(연구실에서나 개인이 기술시연용으로 만든 게 아니라)는, 2009년 미국 우체국에서 발송할 물건에 따라 소포상자의 크기를 가늠할 수 있게 해주려고 만든 Virtual Box Simulator이다.


(사족이지만, 이 서비스를 기획한 광고 에이전시인 AKQA는 좀 눈여겨 볼 가치가 있는 집단이다. 뭐 여러가지로. ^^; )

사용자 컴퓨터에 웹캠만 달려 있다면, 웹페이지에 포함된 Flash을 통해서 간단한 증강현실을 보여줄 수 있게 된 거다. 이 방식은 별도의 특별한 센서나 모바일 기기나 어플리케이션을 신경써야 할 필요가 없기 때문에, 가히 "범용 AR 플랫폼"이라고 생각하고 있다. 이 조합은 증강현실이 퍼지는 데 상당한 파급력이 있을 거라고 생각하는데, 점점 더 많은 사례들이 온라인에 등장하고 있다.

위 미국 우체국의 사례를 발견한 이후에 재미있는 Flash AR 사례를 짬짬이 모았는데, 대부분의 응용사례들은 광고쪽에서 나오고 있다. 글 쓰는 걸 1년 가까이 차일피일 미루다보니 이젠 모두 나열하기도 벅차게 많아졌고, 그동안 이미 온라인에서 사라져버린 것도 있다. 그러니 그냥 최근의 사례나 몇 가지 소개하고 말기로 하자.


최근의 Flash AR 사례
AR Tag on KitKat
우선 킷캣. -_-; 좋아하는 과자인데, 얼마전 집어들다가 뜻밖에 뒷면에 AR 태그가 인쇄되어 있는 걸 발견했다. 함께 인쇄되어 있는 웹사이트로 들어가서 카메라를 태그를 비추면 뭔가가 나온단다. 결과는 아래 동영상과 같다.



딸랑 저 한 곡뿐이긴 하지만, 손바닥 위에서 돌려가며 볼 수 있는 뮤직비디오라니 나름 신선하다. 이 경우와 같이 가장 단순한 형태인 흑백 도형을 태그로 사용한 경우는 그야말로 우후죽순처럼 많다. 아래는 작년에 발행된 <Desktop>지의 AR 특집의 경우.



찾아본 바로는, 플래시 기반의 AR들은 모두 흑백태그를 사용하고 있는 것같다. 영상처리라든가 하는 데에 제약이 있는 걸까. 반면에 범용성을 포기하고라도 별개의 플러그인을 설치하는 방식을 채택한 경우에는 보다 자유로운 응용이 가능하다.


별도의 AR Plug-in을 사용한 경우
아래의 나이키 LunarGlide 광고 캠페인이라든가 스포츠 수집품 Topps의 경우에는보통의 인쇄물이 태그대신 사용된 경우로, 이 경우엔 별도의 플러그인을 깔고 브라우저를 다시 시작해야 하므로 반칙. 이런 식으로는 과거 연구실 기술시연에 비해서 크게 범용화됐다고 말할 수 없겠다. 하지만 이 플로그인을 개발한 회사 Total Immersion의 경우에는 그동안 여기저기에서 수없이 홍보하고 다닌 효과를 나름대로 거두는 것 같다.





아마 플래시에서 이런 수준의 물체인식이 가능해지면 웹 상에서 구현되는 온라인 AR도 훨씬 더 재미있는 사례가 많겠지만, 현재로선 AR을 적용한 어플리케이션을 최소한의 진입장벽으로 퍼뜨릴 수 있게 해주는 건 Flash AR이고, 그렇다면 결국 크고 단순화된 AR 태그를 사용하는 수 밖에 없어 보인다. 굳이 흑백일 필요는 없을 거라고 생각하지만.


Better Flash AR
그렇다면 Flash AR이라는 그 접근성 좋은 조합은, 그냥 이렇게 그닥 보기도 좋지 않은 흑백 태그를 포장지나 잡지나 광고에 인쇄해 놓고 웹캠을 통해서 홍보용 입체 컨텐츠를 보여주는... 이게 최선입니까? 확실해요?

가장 최근에 눈에 띈, 곧 출범한다는 아이다스의 광고 캠페인을 보면 그렇지도 않은 것같다. 이름하여 무려 "Augmented Reality Shoes" 시리즈라는. ㅡ_ㅡ;;; 우선 동영상.



Adidas Original - Augmented Reality Shoes
위에 링크한 웹페이지에 걸려있는 왼쪽 사진을 잘 보면, 운동화 발등부분에 떡하니 AR태그가 찍혀있다. (솔직히 헉! 내 생전에 AR 태그가 패션 아이템이 되는 모습을 보는 건가!!! ;ㅁ; 싶은 상황이다.) 도대체 무슨 일을 꾸미는 걸까? 위 동영상의 마지막에 나오는 다섯 개 태그를 가지고 뭔가 "AR Game Pack"이라는 개념으로 접근하려나 본데, 위 동영상에서 나온 것처럼 신발의 색이 변하고 구조를 보여주고 거창한 장식이 가상적으로나마 표현되는 거라면 꽤 재미있겠다.

AR Tags for Adidas Originals Augmented Reality Shoes

물론 고정되지 않은 부분에 태그를 달았으니까 화면상에서 실제 신발의 위치/방향과 가상물체를 정확히 일치시킬 수는 없겠지만, 진짜 신발을 들고 움직임으로써 가상신발을 그냥 가상배경 위에서 돌려보고 확대해보고 부분부분의 색상을 바꿔볼 수 있다면 그것만으로도 꽤 재미있지 않을까? 나이키에서 했던 자신만의 신발 디자인하기를 실제 신발을 손에 들고 돌려보면서 해볼 수도 있을 것이다.

이런 사례를 잘 응용한다면 휴대폰 화면에 태그를 띄우고 웹사이트에서 케이스 색상이나 무늬를 선택할 수 있게 한다든가, PC를 연결한/내장한 TV에 웹캠을 달아서 인쇄광고나 태그를 비춤으로써 뭔가 입체적인 홍보영상을 볼 수 있게 하는 등도 가능해질꺼다. 어쨌든 플래시는 여기저기 적용되고 있으니까.

그리고 무엇보다 Adobe에서도 분명히 이 흐름을 보고 있을테니, 앞으로는 영상인식 부분을 강화해서 tag-free AR 수준까지도 가능하도록 해줄지 모르는 일이다.


Accessible AR
휴대기기에 카메라가 들어간 지는 십여년이 지났지만, 그 OS가 표준화되면서 비로서 온갖 증강현실 어플리케이션들이 시장에 쏟아지기 시작했다. 비슷한 시기에 보편화된 웹캠도, 이제 Flash라는 보편적인 플랫폼과 연결이 됐으니 뭔가 재미있는 걸 쏟아내지 않을까하고 상당히 기대하고 있다.




... 해묵은 이슈를 가지고 글을 쓰려니, 이미 김새서 신선한 맛이 없을 뿐이고... 재미도 없고 감동도 없고 딱히 뚜렷한 방향도 주장도 없고... 휴.

앞으론 정말 짧게 써야지. ㅡ_ㅡ

신고
Creative Commons License
Posted by Stan1ey
Nintendo 3DS
닌텐도에서 NDS, NDSi의 후속으로 parallex barrier를 덧씌워서 맨눈으로도 입체영상을 볼 수 있게 해주는 게임기 Nintendo 3DS를 곧 출시한다고 한다. 기술의 잠재력을 십분 발휘하는 능력이 있는 닌텐도지만, 이번의 입체영상 적용에 대해서는 조금 무리라는 생각이 들었는지 깊이감을 사용자 임의로 조절할 수 있는 슬라이더(3D Depth Slider)를 장착하고 6세 이하 어린이의 입체영상 관람에 대해서 경고문구를 삽입하는 등 소심한 행보를 보이고 있다.

모바일 기기에서 이 방식의 3D 화면을 구현한 게 이번이 처음은 아니지만, 그래도 풍부한 컨텐츠를 보유하고 있는 닌텐도의 움직임이니만큼 주목하게 되는 건 어쩔 수 없다. 그래서 관련된 뉴스가 나오면 뒤적이게 된다. 입체영상을 적용한 게임, 가속도 센서와 전면 카메라로 사용자의 움직임에도 반응하고, 평면영상으로는 불가능했던 퍼즐도 가능하다. 음성에도 반응할 수 있는 것 같고, 당연히 터치스크린을 이용한 Tangible UI도 구현되겠지. 흠... 만들기 재미있겠다. 부럽.

그런데, 개인적으로는 이 입체화면을 통한 게임이라는 것보다도, 이 N3DS 화면 뒷면에 떡하니 붙어있는 한 쌍의 카메라에 더 관심이 간다.

Binocular Camera on Nintendo 3DS

최근에는 소니에서 하나의 렌즈로 입체영상을 찍을 수 있는 방식도 나왔지만, 많은 3D 카메라들은 두 개의 렌즈를 갖고 있다. 3DS에 붙어있는 저 카메라도 보아하니 딱 입체영상을 찍기위한 거라는 건 당연한 일. 근데 의외로 여기에 대한 코멘트는 자주 보이지 않는다. ... 입체화면이 있는 장치에 입체영상을 기록할 수 있는 장치. 너무 당연해서 그런가? 그래도 이 조합이면 뭔가 재미있는 일이 있을 것도 같은데...


(1) 증강현실
이젠 모바일 기기에 AR이 들어가는 건 당연한 이야기가 된 듯. 신기해하는 사람조차 없다. 언제 이렇게 됐는지... 신기술에 대한 사회의 반발과 적응의 과정은 정말이지 종잡을 수가 없다. 어쨋든 입체화면 모바일 장치라면 AR도 당연히 입체여야 할 터. 여기에 대해서는 이미 최근의 Nintendo World 행사를 통해 동영상이 올라오기도 했다. (아래 동영상은 앞부분에 일본어로만 진행되는 부분이 쫌 길다. 재미없으면 앞의 10분은 넘어가도 좋고, 실제 AR에 대한 부분은 21분쯤 나온다.)



위 동영상에서 눈치챌 수 있듯이, 아직은 그냥 '이런 것도 됩니다'라는 느낌에 Wii에서 구축해 놓은 Mii 시스템을 모바일 세상으로, 그리고 실제 세상으로 끌고 나오겠다는 욕심을 보이는 데 그치고 있다.

한가지 궁금한 것은, 저렇게 AR "렌즈" 역할을 하는 기계를 들고 쓰다보면 카메라가 AR 카드 위치를 보는 시야각/거리감하고 사람이 그 가상의 렌즈를 통해서 기대하는 시야각/거리감이 완전히 다를텐데 어지럽지 않으려나? 하는 부분이다.
eyeMagic Book Project from HIT Lab NZ
이를테면 이전의 비슷한 사례 중 하나인 HIT Lab NZ의 <eyeMagic Book>은 눈앞에 화면과 카메라를 갖다붙이는 방식이니까 카메라의 시야각이나 사용자의 시야각이나 별 차이가 없었지만, 만일 닌텐도 3DS를 들고 AR Tag 주변을 맴돌면서 역동적인 AR 게임을 하라고 하면 조금 괴로울지도 모르겠다.

게다가 사실은, 저렇게 기기를 들고 가상의 "물체" 주위로 돌려가면서 봐야하는 상황에서는 parallex barrier 방식(혹은, 모든 맨눈으로 보는 입체화면)의 치명적인 결점 - 화면을 정면+특정거리+똑바로 보지 않으면 깊이감이 뒤섞이거나, 심지어 뒤집히거나, 급기야 화면이 안 보인다는 - 이 그대로 드러나게 된다. 이제까지 나온 그나마 성공적인 AR 앱들도 그렇고, 채용한 입체화면 방식의 장단점을 고려해서도 그렇고, 결국은 위치정보를 바탕으로 주변의 "환경"에 정보를 입히고 그걸 기기를 휘둘러가며 탐색하는 방향으로 가게 되리라 생각한다. 이미 휴대폰에서 나온 "재미있지만 쓸모가 빈약한" 어플리케이션들과 차별점이 없어 보일런지 몰라도, 게임 컨텐츠 개발에 탁원한 닌텐도라면 이런 제약들 속에서도 뭔가 재미있는 뜻밖의 사례 하나쯤 들고나와 주리라 믿어보자.
 

(2) 거리측정
카메라가 인간의 눈보다 잘할 수 있는 일이 있다면, 그건 시야 내의 모든 점들을 동시에 지속적으로 볼 수 있다는 거다. 카메라가 두 개 있을 때 인간의 두 눈보다 요긴한 점이 있다면, 양쪽 카메라에서 본 점들을 맞춰보면서 각 지점까지의 거리를 알 수 있다는 거다. 물론 그 정확도야 입력영상의 해상도나 복잡도, 영상정보의 처리속도 등에 의해서 좌우되겠지만, 영상의 각 지점까지 거리를 안다는 것은 세상을 입체적으로 이해하는 데에 큰 도움이 될 수 있다.

실제로 구현된 사례가 없으니 섣부른 추측이겠지만, 아마도 닌텐도 3DS에 달린 두 개의 카메라로 영상 내에 등장한 물체까지의 거리를 분석할 수 있다면, 그 결과는 마이크로소프트의 키넥스(Kinect) 시스템에서 나온 데이터와 크게 다르지 않을꺼다. 아래 왼쪽의 그림은 기존 stereo vision 분야의 결과 중 하나고, 오른쪽은 해킹된 Kinect 시스템으로부터의 신호다. 일단 거리 데이터로 변환된 후에는, 장점도 약점도 비슷하리라는 걸 알 수 있다. (적외선을 이용한 active sensing의 장단점과 별도의 영상처리를 해야하는 passive sensing의 장단점은 비교해봄직 하겠지만, 걍 다음으로 넘기고 건너뛰자.)

Distance Measurement from Stereo VisionDistance Measurement from Kinect

물론 닌텐도 3DS의 경우는 모바일 기기이고, 카메라와 화면의 방향이 반대니까 Kinect와는 응용방법이 완전히 달라야 한다. 그리고 오히려 그런 의미에서 기대가 된다. 이를테면, 기존의 AR이 현실의 영상 위에 가상의 물체를 단순히 덮어 씌우는 방식이었다면, 물체인식이 되는 AR은 가까이 있는 실제 물체 "뒤에" 가상의 물체를 놓을 수도 있을 거다. 거기에 가속도 센서를 이용해서 Kinect처럼 "바닥"을 인식하는 기본 알고리듬이 추가된다면 단지 카드에 인쇄된 AR Tag를 기준으로 불안불안하게 이루어지던 상호작용이 훨씬 자연스러워 질 수 있다.

잠깐, 입체인식이 된다면 굳이 인쇄된 카드를 쓸 필요가 있나? 스테레오 비전을 이용한 물체인식 연구라면 로봇 분야에서 꽤 오랫동안 이루어진 분야다. 물체를 인식해서 그 물체에 맞는 증강현실 효과를 덧붙여줄 수 있다면 최근의 AR 유행을 한 수준 뛰어넘는 응용사례가 될 지도 모르겠다. 예를 들면 손가락 모양(手印)에 따라 특정 기술을 구사할 수 있는 동양적 판타지 게임이라든가. (지가 만들 꺼 아니라고 막 말하고 있다... -_-;;; )


(3) 3D 컨텐츠
하지만 역시 세상에 가장 큰 파급효과가 되라라고 생각하는 것은 3D 입체사진과 입체동영상의 양산이다. 입체사진을 찍는다며 눈이 두개 달린 카메라를 사는 건 웬만한 얼리어답터가 아니면 엄두를 못낼 일이지만, 이미 검증된 게임 컨텐츠가 딸려오는 게임기는 그런 구매장벽이 없다. 일단 사서 이것저것 찍고 인터넷에 올리고 하다보면, 여러가지 3D 컨텐츠가 퍼지게 될꺼다. 일단은 3DS을 갖고 있거나 3D TV에서 보려고 굳이 애쓰는 사람들 중심으로 퍼지겠지만, 일단 데이터가 많으면 일반 사용자들을 위한 3D Viewer를 만드는 사람도 있을테고... (단순히 좌우영상을 교대로 보여주기만 해도 상당한 입체감이 느껴진다) 결국 3D 컨텐츠가 일반시장에 퍼지는 데에 꽤 큰 역할을 하게 될 것같다.

물론 이미 3D 동영상에 대해서는 나름의 데이터 표준이 합의되어 있고, 일반 사용자들이 모르는 사이에 고민도 많았던 모양이다. 하지만 이렇게 한가지 기기에서 대량으로 입체사진/영상이 퍼진다면 그것 자체가 하나의 경쟁력 있는 시장표준이 되어버리지 않을까? 일단 니코니코동화YouTube 3D에서부터 시작해서, 세상의 잉여력이 또다시 뭉쳐져 새로운 3D 시각문화의 장이 열리리라고 기대하고 있다.



... 뭐 이렇게 기대야 내멋대로 할 수 있지만, 사실 모바일 기기에서 게임이든 어플이든 개발하는 게 말처럼 녹녹치는 않다. 제약조건도 많고 따로 영상처리를 할 여유도 없고. 하지만 곧 Nintendo 3DS가 출시되고 나면 조만간 해킹 소식이 날라올테고, 그걸 기반으로 또 이런저런 장난을 치는 사람이 나오게 될꺼다. 그 다음에는 카메라 두 개로 입체 AR을 구현한다거나 영상의 깊이감을 측정한다거나 입체 동영상을 공유한다거나 하는 게 금방 또 당연해질테고.

지금 키넥트의 적외선 거리센서 보면서 아쉬워하고 있을 때가 아니라는 거다.





그나저나, 3DS라고 하면 Autodesk 3D Studio가 생각나는 사람, 손!!! ^0^/
... 우린 이제 공식적으로 한물간 겁니다. ㅠ_ㅠ
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey

UX Design on KINECT

2011.01.16 15:48
지난 몇 개월간 키넥트 플랫폼을 이용한 게임개발 프로젝트에 참여하면서 UI 설계를 담당했다. 인터넷 상의 리뷰를 보면 사용자들은 비교적 긍정적인 인상을 많이 받고 있는 것 같지만, 새로운 UI를 설계하려는 입장에서 마이크로소프트의 담당자들과 이메일을 주고받다보면 역시 새로 상용화된 기술답게 나름의 제약점이 많다.

홍보되는 것처럼 "사용자의 동작을 입체적으로 인식"한다고 하기에는 조금 기술적인 어폐가 있고, 일반적인 동작 UI 디자인 가이드라인 외에도 적외선 거리인식 센서의 입력값과 카메라를 통한 영상처리 결과가 키넥트 시스템을 통해서 어떻게 조합되는지를 이해하고 그에 맞춰 동작입력을 선택하는 게 중요하다고 하겠다. ... 쓰고보니 당연한 소리를. ;ㅁ; Kinect 센서의 구성이나 특성에 대해서는 예전의 블로그 글이나 인터넷 검색, 혹은 의외로 잘 퍼지지 않은 동영상 자료지만 유용한 정보가 상당히 많은 <Inside Xbox> 인터뷰들을 참고하시면 좋을 듯.

가장 중요한 점은, 사실 이 시스템에서 거리센서는 사용자의 몸 "영역"을 배경과 바닥으로부터 분리시키는 데에만 사용되고, 정작 팔다리를 인식하는 건 주로 카메라로부터의 영상처리에 의존하는 것 같더라는 것이다. 그러니 팔을 앞으로 뻗어 몸통을 시각적으로 가린다든가 하면 바로 자세인식에 문제가 생기고, 그러니 별도의 신호처리 없이 시스템에서 입력받을 수 있는 자세정보(각 부위의 위치와 각도)라는 것은, 카메라에서 봤을 때 큰대(大)자 자세에서 팔다리를 위아래로 휘젓는 정도다. (이보다 복잡한 동작이 아예 인식되지 않는 건 아니지만, UI는 고사하고 게임용으로 쓰기에도 오인식률이 높다.) 결국 제대로 3차원 인식이 아닌 2.5차원 인식방식이다보니 생기는 이상과 현실의 괴리랄까.

그렇다보니 그 멋져보이는 자세인식은 직접적으로 UI에 쓰이지 않고, 실제로는 인식된 특정부위(예: 손)의 위치를 커서위치에 대응시킨다든가, 특정부위까지의 거리변화를 입력으로 삼는다든가(예: 팔 휘둘러 내밀기) 하는 식으로만 매핑이 되고 있다. 사실 그것만으로도 기존에 없던 제법 재미있는 UI를 만들 수는 있지만, 실제로 브레인스토밍 중에 나왔던 수많은 멋진 동작 UI 아이디어들을 추려내다 보면 아쉬움이 이만저만이 아니다.

Gesture Command by SwipeGesture Command by Hand-Cursor

참여했던 프로젝트에서는 이런저런 제약점들을 피해서 나름대로 Wii Remote로 프로토타입도 만들어가며 최선의 UX 설계를 하려고 애썼는데, 실제로 제품이 출시되는 올 하반기가 되어야 이런저런 이야기를 풀어놓을 수 있을 듯. 그때쯤 되면 죄다 당연한 소리가 될지도 모르지만.

얼마 전 Jacob Nielsen도 <Kinect Gestural UI: First Impressions>라는 컬럼을 게재했는데, 키넥트 플랫폼에서 사용성을 고민하고 있다면 대체로 유용한 관점이라고 생각한다. 보아하니 나중에 유료 컨텐츠/세미나로 팔아먹기 위해서 말을 아낀 것 같기는 한데, 그렇다고 해도 게임 UX의 큰 목적(개인적으로, 재미와 탐사는 게임 뿐만 아니라 그 UI를 사용하면서도 느낄 수 있어야 한다고 생각하기에)이라든가 동작입력의 특성(중력장 안에서 상하움로 움직인다는 건 평면 상에서 마우스를 굴리는 것과는 또 다르다)을 고려하지 않은 지나치게 전통적인 (그리고 '웹'스러운) 발언들은 좀 아쉽다. 또한 현재 출시되어 있는 키넥트 기반 게임들 중에서 가장 나은 사용성을 보이고 있는 <Dance Central>의 경우는 상당한 시행착오와 고민 끝에 나온 나름의 최적안이라고 볼 수 있는데, 그 부분이 약간 평가절하되어 있는 부분은 너무 평가자의 시점에서만 이야기하고 있다고 느껴졌다. 그런 건 UI에 관심만 있고 실제로 책임지고 디자인하지는 않는 사람이 쉽게 취하는 입장인데.



어쨌든 사람들이 이 KINECT 플랫폼에 대해서 갖고있는 질문은 "키넥트 게임이 재미있나?" 라는 것과 "키넥트 기반의 동작 UI는 쓸만한가?"로 정리된다.

(1) 게임은 재미있나: 재미있다. 그런데 '어떤' 게임이 재미있는가에 대해서는 아직 장르를 많이 타고, 그 장르에서 어떤 방식으로 KINECT 플랫폼을 활용하는지는 현재 시행착오가 진행 중이다. 관련 리뷰들을 보면 알겠지만 마이크로소프트에서 번들로 주는 게임들보다 오히려 <Dance Central>의 리뷰점수가 높고, 더 재미있다. 하지만 그 게임은 아직 KINECT를 100% 활용하지 않고 있다. KINECT 센서를 보면 이런저런 가능성은 높은데, 단가를 낮추기 위해서 프로세서를 빼는 바람에 쓸 수 있는 입력값은 정말 단순한 내용 밖에 없다. 그런 입력값을 처리하는 엔진이 탑재된 게임이 나오면 (혹은 MS에서 API를 업데이트해주면) 그 잠재력이 최대한 발휘되리라 생각한다.

(2) UI로 쓸만한가: 한계가 뚜렷하다. 기술 자체라기보다는 플랫폼에 의한 한계가 많은데, 이를테면 320x240의 해상도로 전신을 잡으면 손/발/머리의 움직임은 사실 거의 잡지 못하고, 중첩이나 회전을 감지하는 건 상상도 못한다. 결국 앞에서 말했듯이 UI에 사용되는 동작명령도 팔다리를 허우적거리는 수준으로 큼직큼직하게 만들어야 하고, 팔다리가 신체의 다른 부위를 가리지 않아야 하기 때문에 흔히 비교되곤 하는 영화 <Minority Report>의 동작 UI와는 상당한 거리가 있다. MS에서도 이 문제를 해결하려고 해상도를 두 배(640x480)로 늘리겠다고 했지만, 그래도 손동작을 UI에서 쓸 수 있는 수준으로 인식하는 건 어렵다고 본다.

Body Tracking on KINECT
(한 가지 첨언하자면, 위의 해상도는 소프트웨어적으로 조정이 가능한 각해상도 angular resolution 이다. 따라서 이론적으로는 일시적으로 특정부위 - 얼굴이나 손 - 에 해상도를 집중해서 더 자세한 자세정보를 얻는 것도 가능하지만, 현재 API에서는 지원하지 않는다.)

결국 이런 방식의 동작인식 시스템이 주요 UI 장치로 쓰일 수 있는 경우는 무척 좁을테고, 여기에 관심을 보이는 실무 디자이너들에게 돌아올 궁극의 질문은 이번에도 꽤나 신랄할 것이다: 그 센서로 인한 단가상승만큼 중요하고 필요한 조작인가? ... 여기에 확실히 그렇다고 할만한 물건은 아니다. 단지 과거 터치스크린이 그랬고 전자나침반도 그랬듯이, 제한된 용도일지라도 그 유용함이 확실하다면 남들보다 앞서서 고려해야 하는 세상이라는 점을 강조하는 수 밖에.

개인적으로 흥미롭게 보고있는 것은 키넥트 출시 이후에 줄줄이 등장하고 있는 해킹 사례들이다. 특히 기존에 동작/영상인식을 하던 사람들이 가장 신나하는 것같고, 그외에 컴퓨터 그래픽에서도 3차원 영상으로만 가능한 재미있는 사례가 속속 나오고 있다. 하지만 진짜 기대되는 것은 이 Kinect와 Wii Remote를 동시에 사용하는 (해킹) 어플리케이션이다.

키넥트는 전신의 움직임을 잡아내는 데에는 유용하지만 메뉴를 선택한다든가 총을 겨냥해서 쏜다든가 하는 세밀한 움직임이 불가능하다. 거기에 그걸 제대로 해줄 수 있는 장치(게다가 가상의 물체에 매핑될 수 있는 물리적 장치)를 더한다면 그야말로 동작인식에 날개를 단 형국이 아닐까. 이미 둘 다 해킹이 되어 PC에서 연동이 되고, 특히 Flash 등 인기있는 시각화 도구와도 바로 연결이 된다. 바로 며칠 전에 변형된 게임에 이를 적용한 사례가 올라오긴 했지만, 단순히 입력값을 조작에 연결시킨 수준일 뿐 각 장치의 잠재력과 시너지를 충분히 발휘했는지는 모르겠다.



아마 기존의 컨트롤러와 Kinect를 동시에 (아마도 Kinect는 보조적/선택적인 입력으로) 사용하는 Xbox용 게임이 올해 중으로는 발표되리라는 생각이 들지만, 우선은 그 전에 오는 5월의 CHI 2011 학회에서 그런 조합이 몇 건 나와주지 않을까 하는 기대를 하는 중이다.

Wii Remote, Kinect, 3D TV, ... 판이 점점 재미있게 돌아가고 있다.




... 뭐가 "짧게 짧게"냐. ㅡ_ㅡa
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey
영국의 대표적인 타블로이드 신문이라고 할 수 있는 <더 썬 The Sun>지의 이번 주 판은 월드컵 특집으로 자칭 "Historic Edition in 3D"이다. 3D!!!

The Sun, Historic Edition in 3D

TV에서 광고를 보고 지난 주말 외출한 김에 사온 건 <The Scottish Sun>이지만, 아마 잉글랜드 쪽도 마찬가지일 듯. 인쇄매체인 만큼 당연히 일전에 언급했던 복잡한 3D 영상 기술이 사용된 건 아니고, 그냥 빨강/파랑 셀로판지를 양쪽에 붙인 색안경 방식이다. 역사적인 3D 특별판이라고는 하지만, 사실 이렇게 셀로판 색안경을 끼워서 입체사진을 판매하는 건 한두번 본 광경이 아니다.

하지만 입체그림을 본다는 신기한 경험을 목적으로 한 일회성 출판물이 아닌, 매주 발행되던 타블로이드 신문이 비록 조악한 방식으로나마 (사실은 그 조악함이 타블로이드의 이미지에 걸맞는 것도 사실이다) 컨텐트의 3D화를 표방한다는 게 관심을 끈다. 작년말에는 한 TV채널에서 3D 방송(역시 색안경 방식)을 일주일동안 틀어대더니, 이번엔 주간지까지... 3D는 천천히, 하지만 착실하게 대중들에게 매체의 한 형식으로 자리잡아 가고 있는 듯. 어쨋든 일단 한번 직접 보기로 했다.

Colored Stereogram Eyewear
가격은 60p. 우리나라 돈으로는 1000원 정도다. 십여쪽에 달하는 신문 외에, TV 프로그램을 안내하는 책자와 함께 잘라내서 손에 들고 볼 수 있는 3D 안경(?)과 큼지막한 월드컵 대진표가 포함되어 있는데, 이 대진표의 뒷면에는 영국에서 인기 많은 축구선수들의 모습이 3D로 인쇄되어 있다.

사실 이 3D 특별판을 준비한 기간이 좀 되었는지, 그 외에도 몇몇 주요기사들의 사진도 3D로 되어 있었다. 특히 아래의 악어 관련된 기사의 사진이라든가 아크로바틱 공연모습을 다룬 사진들은 배경과 근경의 대비가 강해서 상당히 강렬한 입체감을 느낄 수 있었다. 이와 반대로 미리 3D로 찍어뒀을리 없는 축구선수들의 모습들은 아무래도 보통의 사진을 가지고 팔다리와 몸통과 축구공의 원근감을 상상해서 컴퓨터로 합성한 것 같은 느낌이었다.

3D Contents in 3D Edition of <The Sun>

특별히 주목할 만한 것은, 이 특별판에서는 "역사적인" 의미를 앞세운 만큼 몇가지 입체 사진만 추가하는 것 이상으로 신문의 다른 요소들에도 3D요소를 넣고 있다. 그 중 한가지 예가 위의 "tv biz"섹션에 "V" 부분이나, 입체사진마다 삽입된 "3D" 표시를 입체로 처리한 것이다. 이 밖에도 기사 외의 요소, 즉 광고라든가 뭐... 그런 다른 부분에도 입체를 적용하고 있다.

3D Advert of O2 on 3D Edition of The Sun3D Centerfold Lady on 3D Edition of The Sun3D Advert of B&Q on 3D Edition of The Sun

왼쪽의 O2 (영국의 통신사) 광고는 컴퓨터 그래픽이고 오른쪽의 B&Q (주택관리 전문매장) 광고의 인테리어 사진은 직접 촬영한 것 같은데, 그 어느 쪽이더라도 이 특별판을 위해서 따로 사진을 찍고 편집한 건 나름의 노력이 들어갔을 게다. 위의 3D안경에도 써 있듯이 월드컵 기간 동안 내내 3D판을 내겠다고 하는 것 같은데, 뭔가 더 재미있는 시도가 있을지 지켜봐야겠다.

... 그나저나 위 가운데 사진 말인데... *-_-* ... 상업적인 목적을 이룰 수 있다면 체면도 한계도 없는 이 동네 타블로이드들은 첫 페이지만 넘기면 약속이나 한 듯이 헐벗은 젊은 처자의 전신사진이 큼지막하게 자리잡고 있다. 뭐 이번 주를 제외하면 일부러 타블로이드판 신문을 찾아 본 적이 없는지라 (믿어주라 ;ㅁ; ) 그냥 그런가보다 하고 있었지만, 이 페이지를 빼놓지 않고 3D 입체 사진으로 화려하게 제작해 준 <The Sun>의 당연하지만 감사한 배려 덕택에 아마 이 주간지의 판매량은 상당히 올라가지 않을까 싶다.

역시 중요한 것은 컨텐트. 그 컨텐트에 걸맞는 기술이 짝지워 졌을 때 기술도 컨텐트도 빛을 발한다는 것이 오늘의 교훈 되겠다. 진짜루. ;-P
저작자 표시 비영리 변경 금지
신고
Creative Commons License
Posted by Stan1ey
요새 Web UI와 관련이 있는 업무가 생겨서, 상을 받았다는 웹사이트들을 한 100군데 정도 본 것 같다. 그러던 와중에 흥미로운 사례를 몇가지 발견했다. 웹사이트에 3D 컨텐트, 혹은 3D UI를 적용한 사례가 속속 등장하고 있는 것이다. 직접적으로 Web UI와 관련된 업무를 한 지가 5년은 넘었기 때문에, 어쩌면 아래 사례들이 오래 전의 철지난 이야기일지도 모르겠다. 하지만 3D 영화와 TV 방송이 논의되는 시점에서 한번 다시 짚어본다고 뭐 나쁠 건 없겠지.


우선 몇 달 지난 이야기이긴 하지만, YouTube에서는 3D 동영상 서비스를 시험운영하고 있다. 아직은 시험운영 중이기도 하고 일반적으로 웹 서핑을 하는 사람들이 입체 동영상을 볼 준비가 되어 있는 것도 아니기 때문에 몇몇 관심있는 사람들이 이런저런 실험을 하는 수준에 머물고 있다.

그래도 이 서비스가 정식 서비스를 하게 되면, 3D 동영상을 만들어서 공유한다든가 웹사이트에 올려놓는 것이 그렇게 어려운 일은 아닐 것이다. (아래 동영상은 유투브 사이트에 직접 가서 봐야 다양한 3D 보기 옵션을 확인할 수 있다.)

YouTube in 3D

다만, 인터넷 동영상을 보는 장비인 PC나 TV의 3D display 방식은 양쪽 눈에 뿌려질 화면을 교대로 보여주면서 안경을 좌우로 깜박이는 소위 셔터 클래스 shutter glass 방식인데, YouTube에서 서비스하는 방식 중에는 정작 그 방식이 쏙 빠져있다. 스트리밍 서비스로서는 화면장치와 직접 연동하기 쉽지 않으니 어쩔 수 없겠지만, 같은 3D 컨텐트를 가지고 방식이 다르다는 건 앞으로 TV 쪽의 입장에서나 컨텐트 제공자의 입장에서나 고심하게 될 문제가 아닐까.



다른 사례는 3M Filtrete 기술의 홍보 웹사이트이다. 이 사이트에서는 주로 동영상을 중심으로 색안경을 이용한 3D display 기술을 적용해서, 사용자가 직접 박테리아의 끔찍한 모습을 입체적으로 볼 수 있도록 한다. 사용자는 동영상 속에서 날라드는 박테리아를 클릭해서 그 자세한 설명과 경고문(협박성;;)을 찾아볼 수 있다.

3D Experience for 3M Filtrete3D Experience for 3M Filtrete

하지만, 중심이 되는 3D 경험 부분을 제외하면 웹사이트의 다른 부분은 기존의 웹사이트와 똑같고, 조금 더 신경쓴 부분이 있다면 빨강/파랑 색안경을 쓴 사용자를 고려했는지 대부분의 GUI 요소들이 노란색으로 통일되어 있다는 정도일까.



그에 비해 세번째 사례는 UI에까지 좀더 본격적으로 3D 개념을 적용했다. 폴란드 맥주 Lech의 웹사이트로서 몇달 전에 오픈한 것 같은데, 역시 색안경 방식을 이용한 3D UI를 사용하고 있다.

3D Web UI from Lech.pl
2D Web UI from Lech.pl3D Web UI from Lech.pl3D Web UI from Lech.pl

이렇게 전체 웹사이트의 UI에 입체감을 적용한 것은 개인적으로 처음 보는 사례인데, 이 웹사이트가 정말 흥미로운 건 비록 간단한 웹사이트이긴 하지만 3D UI를 구석구석까지 적용한 데다가 오른쪽 위의 2D/3D 아이콘을 클릭하면 같은 화면을 2D/3D로 전환해 가면서 사용할 수 있게 했다는 것이다. 이 기능은 사실 어느 컨텐트, 그림, 동영상, 그리고 UI 요소에 3D를 적용했는지 알아보기에 아주 편리하다.

이렇게 입체적으로 구현된 UI를 만드는 것은 손이 더 많이 가는 건 물론이고, 전체를 무비클립 중심의 플래쉬 사이트로 만드는 것 외에는 달리 방법이 없어 보인다. 애당초 HTML이나 CSS에 구역/요소 별로 화면 상의 깊이를 정의할 수 있게 해주는 방식이 표준화되지 않는다면, 보통의 일반적인 웹사이트에서 3D UI를 경험하기는 힘든 일이 될 게다.



웹사이트에서 일부분인 동영상 컨텐트를 3D로 보여줄 수 있는 서비스, 거기에 약간의 2D 상호작용을 가미한 경우, 그리고 UI 요소에까지 3D 표시를 적용한 사례... 이 세가지 사례는 3D 영화의 인기와 함께 대두되고 있는 "과연 3D는 어디까지 적용되는 게 적당한가?"는 질문과 함께 한꺼번에 고민해 볼만한 내용인 것 같아서 함께 모아봤다.

이 블로그에서도 3D UI 라고 말은 하고 있지만, UI가 3D일 필요 자체가 실제로 있기는 있을까? 그 수많은 잠재력에도 불구하고, 3D UI를 적용해야 하는 경우와 적용하면 안 되는 경우는 구분할 수 있지 않을까.

만약 모종의 이유로 3D UI를 제공하기로 했다고 할 때, 관람자가 카메라의 초점을 수동적으로 따라다니면 되는 3D 영화와 달리, 능동적으로 초점을 움직이고 UI를 사용하는 사용자의 행태를 지금까지 나온 3D 표시 기술이 과연 지원해 줄 수 있을까.

그렇다고, 반대로 3D 컨텐트가 제공되는 어떤 시스템에서 2D로 UI를 제공한다는 것은 또 말처럼 단순한 일일까? 3D 영상에서 제공하는 초점과 자막의 초점을 왔다갔다 하면서 멀미를 느꼈다면, UI에서도 비슷한 일이 일어나지 않을까?

흠...

Samsung SCH-W960 with 3D Screen
한편에서는 3D TV 방송이 시작될 예정이고, 3D TV도 봇물 터지듯 출시될 기세고, 수년 전에 개발해 놓은 휴대폰용 입체화면드디어 상용화되는 모양이다. 이 와중에 3D 화면에서의 UI에 대한 내 고민은 어째 돌고 돌아서 제자리에 와 버린 듯한 느낌이라니.
신고
Creative Commons License
Posted by Stan1ey
지난 CES 이후에 3D 디스플레이3D TV 방송에 대한 관심이 부쩍 높아졌나보다. 이와 관련해서 이런저런 정보가 인터넷에 쏟아져 들어오고 있는데, 어쩌다 오늘 출근 길에 본 팟캐스트 내용 중에 여기에 대한 내용이 많아서, 이것도 인연이려니 하고 한데 모아두기로 했다.

우선 GeekBrief.TV의 지난 1월 11일 에피소드:

... 뭔가 긴가민가한 내용도 있지만, 어쨋든 흥미있는 소식들.

그리고 NY Times의 컬럼리스트(이 사람의 정체에 대해서는 좀 논란이 있는 게 사실이다...) David Pogue의 지난 1월 14일 비디오 컬럼:

... 이 아저씨의 동영상은 늘 내용이 좋은데, 그만 저질개그 때문에 논점을 흐리는 듯. 뭐 그래서 인기가 좋은 거라니 할 말은 없다만. 어쨋든 하고싶은 말이 뭔지는 알 것 같다.


Video Log UI from Avatar
아직은 그 장치 자체에 대한 이야기와 그게 시장에 매력적이냐 아니냐 정도의 논란만 있을 뿐 3D UI에 대한 이야기는 없는 듯. 사실 위 GBTV에 인용된 영화 <Avatar>의 경우에도 동영상은 3D인데 거기에 사용되는 UI는 2D 전통의 tab을 사용하는 경우도 있었으니. (아, 물론 다른 장면에서 사용된 몇몇 UI 혹은 '정보표현' 방식은 나름 획기적이긴 했다... 실용성과 별개로.)

뭐 그래도 충분히 두근두근하지 않은가 말이다. ㅎㅎ
신고
Creative Commons License
Posted by Stan1ey
지난 6일자 USA Today에 실린 앞으로 10년간의 기술/경제적 변화상이라는 기사를 훑어보니, Personal technology와 Entertainment 분류의 내용이 재미있어서 스크랩해두기로 했다. 아래 내용은 나름의 요약과, 괄호 안은 그냥 떠오른 생각들이다.

Personal technology

Computers that anticipate our needs. 사용자의 행동 기록과 일정 계획을 바탕으로 좋아할만한 TV 프로그램을 추천하는 등의 기능 (똑같은 이야기를 30년 전에도 들었던것 같은... 쿨럭 ;ㅁ; )

Housework by robots. 로봇 청소기뿐만 아니라 다른 로봇들까지 가사를 돕기 시작한다. 각각의 용도에 따라 여러 대의 로봇을 가지게 된다. (문제는 가장 단순한 기능의 로봇 청소기조차, 내세우고 있는 청소 기능을 제대로 처리하기에 제약이 많다는 거겠다.)

Shape-shifting personal computers. 마이크로 머신의 조합으로 이루어진 개인용 기기가 용도에 따라 형태를 바꾼다. (트랜스포머..라는 건데, 그냥 접었다 폈다가 하는 정도를 말하는 게 아니라면 쪼끔 무리일 듯. 주머니 속에서 자기 판단에 따라 꿈틀거리는 놈이 들어있다면 무엇보다 무섭잖어. -_-;; )

Brain chip implants. 생각으로 컴퓨터를 조작할 수 있도록 머릿속에 칩을 심을 수 있다. 이메일은 쓰지 못할지 몰라도 마우스는 움직일 수 있다고. (이걸 위해서 칩을 심고 싶은 사람은 전신마비로 고생하는 사람 뿐일 듯. 그걸 시장이라고 부를 순 없겠지.)


Entertainment

We'll view films in many ways. TV 외에도 컴퓨터, 태블릿, 스마틑폰 등등... (이미 충분히 그렇다고 생각하지만.)

... But still go to the movies. 그래도 외식 등 다른 경험을 위해서 영화관에는 계속 갈거다. (.. 그리고 영화관은 점점 비싸고 쾌적해질 듯.)

Plusher theaters. TV 경험과 차별화하기 위해서, 영화관은 여러가지 서비스를 추가할 거다. 고품질 영상과 음향, 3D, 좌석 예약제, 좋은 음식, 영화를 소개하는 아나운서 등 (몇가지는 이미 벌어지고 있는 일이고, 한국에선 약간 무리다 싶은 4D까지 가고 있다. 나머지 몇가지 엥? 싶은 게 사실.)

Motion-controlled video games. 닌텐도 Wii와 같은 동작인식 게임이 표준이 된다. 버튼 조작은 옛날 이야기. (흠... 버튼 하나로 멋진 칼부림을 날릴 수 있다는 건 나름 매력적이다. 심각한 게임과 쉽게 즐길 수 있는 게임으로 이분화되어 진행되리라는 예측이 더 맞아들지 않을까.)

Healthier video games. 동작인식 게임을 하는 사람은 - 특히 노인은 - 보다 많은 보험 혜택을 받을 수 있다. (좀 극단적이긴 하지만, 가능성이 없는 이야기는 아니다.)

TV and computer, all in one. 가정에서는 컴퓨터와 TV가 일체화되어 TV의 고해상도 화면의 장점을 활용하게 된다. (이미 여러차례 시도됐지만, 결국 PC는 웹서핑 등 나름 특화된 기능이 있어서 미디어 PC를 하나 더 쓰는 걸로 결론이 내려지고 있지 않나?)

American Idol, 2020. 리얼리티 쇼는 계속해서 인기를 끌 거다. (그러시던가 -_-a )


이 두가지 분야가 기사 중에서 내가 관심을 갖고 읽은 대목이자, 그동안 이 블로그에서 다뤘던 내용이다. 이런 미래 예측이 꼭 모두 맞으리라는 법은 없지만, 가정용 로봇이 확대 적용되고 영상 미디어에 3D가 적극적으로 도입되는 것은 바로 지금 한창 현실이 되고 있기도 하다.

LG전자에서는 2007년 '로봇청소'라는 개념을 넣은 에어컨을 발매해서 좀 재미를 봤는지 (사실 구동부는 모두 내부에 있어서 사용자 입장에선 '로봇'이라는 느낌이 안 듦에도 불구하고), 다른 에어컨에 이미 적용되어 있는 움직임 감지 기능을 "인체감지로봇"이라는 이름으로 홍보하면서 요즘은 아예 로봇을 광고 전면에 내세워서 홍보하고 있다. 로봇 청소기를 시장에 정착시켰다고 할 수 있는 iRobot 사에서는 오히려 신제품 개발이 뜸한 반면에 삼성과 LG에서는 기존에 비해 개선된 청소로봇이 심심찮게 발표되고 있기도 하고, 여기에 점점 똑똑+복잡해지는 세탁기까지 로봇이라고 하기 시작하면 가정용 로봇이 확대 적용된다는 것은, 혹은 다른 말로 가전기기가 이제 '로봇'이라고 부를 수 있을 정도로 발전하고 있다는 것은 기정 사실이라고 봐도 되겠다.

3D 영상은 이미 극장에서는 누구나 대세라고 인정하는 것 같고, 이번 CES에서 삼성소니에서 LCD/OLED로 3D TV를 구현해서 내놓는가 하면 삼성은 아예 "3D의 모든 것을 보여주겠다"는 선언까지 해버린 듯 하다. (어느샌가 LED TV라고 부르는 LCD TV에 대한 언급은 하지 않기로 -_-; ) 아직까지 발표된 3D TV 방식은 모두 시청자가 배터리가 포함된 안경 shutter glass을 써야 하는 방식인데, 삼성에서 Real-D사와 협약을 맺었다는 걸로 봐서는 조만간 그냥 플라스틱 안경을 쓰는 식으로도 가능할지 모르겠다. 픽셀단위로 편광을 조작할 수 있는 방법을 찾아냈는지 이미 올릴대로 올려놓은 시간해상도를 반으로 나누려는 생각인지는 모르겠지만. 이에 발 맞춰서 영국에서는 SKY가, 미국에서는 DirecTV가, 그리고 이젠 가장 영향력 있는 케이블 채널이라고 할 수 있는 ESPN까지 3D 방송을 연내에 추진하겠다고 나섰다. 하드웨어에 컨텐트까지, 3D TV가 안방을 차지하리라는 것 역시 기정 사실이라고 할 수 있을 듯.


3D와 로봇이라... 솔직히 로봇은 UI와는 다른 방향을 향해서 발전해 나가는 것 같고 HRI 분야 역시 상품기획 측면의 담론만 지속될 뿐 실제적인 UI 디자인 수준에서는 별다른 진척이 없다. 그에 비해서 3D는 당장 UI 요소를 어느 depth에 위치시킬 것인가라든가 하는 실무적인 고민이 산적해 있는 상황이므로 앞으로는 이 분야의 논의가 점점 많아질 듯.

이제 Post-GUI라는 컨셉은, 모바일 기기에서는 터치 UI동작 UI, TV를 비롯한 AV기기에서는 3D UI라는 구도로 움직여 가는 듯 하다. 개인적인 바램으로는 컨텐트로서의 UI, 즐길 수 있는 Fun UI라는 방향도 좀 잡혀줬으면 하는데 말이지.



... 사실 이런 새로운 개념의 UI들이 실무에 적용되는 상황이 되면서, 블로그에 거기에 대한 글을 올리기가 점점 망설여지는 게 사실이다. 아무래도 연구 수준에서 하는 다루는 것과 취미(?) 수준에서 접근하는 것은 실제로 만들어보고 시행착오를 거치면서 배우는 것과 질적으로 큰 차이가 있게 마련. 실무 없이 이것저것 끼워맞추다 보면 뭔가 흰소리가 많이 끼어들게 되어 있고, 그러다 보면 무식과 경험부족이 탄로나는 것도 시간문제라고 생각한다.

결국 그저 입 닥치고 있는 게 제일 나은데, 뭔가 좀 아쉬운 마음에 잊을만하면 이런저런 글을 올리고 있다. 그러면서 정작 종사하고 있는 Fun UI 분야의 생각은 좀체 마무리가 되지 않아 나서지 못하고 있는 중.

아놔, 이 블로그 어쩌지 이거...
신고
Creative Commons License
Posted by Stan1ey
UP by Pixar in 3D
몇 주 전에, 처음으로 상용 3D 영화를 경험했다. 10여년 전에 대전 엑스포나 아이맥스 영화관에서 셔터 글라스 방식으로 전용관에서 입체영화를 본 이후 무척 오래간만에 본 셈이다. 최근 3D 상영이 눈에 띄게 늘어나는 걸 보고 좀 더 빨리 보고 싶었는데, 개인적으로 싫어하는 공포영화만 줄창 나오는 바람에 미루고 미루다가 Pixar의 신작인 <UP>을 아이들에 둘러싸여 보게 됐다.

수많은 관객들이 3차원 안경을 끼고 화면을 쳐다보는 광경은 언제 봐도 기괴하지만, 어느새 그런 모습이 자연스럽게 받아들여 지고 있다는 것에 새삼스럽게 놀랐다. 역시 기술의 발전은 대규모 자본을 통한 상용화 이전까지는 엄청나게 주목 받지만, 일단 그 대규모 시장(mass-market)에 진입하고 나면 사람들은 언제 그랬냐는 듯이 당연한 기술로 받아들여지는 거다. 전에도 인용한 쇼펜하우어의 명언이 다시금 떠오르는 대목.

뭐 어쨋든 영화는 강추. 3D 기술도 최근 1년간 무섭게 상용화된 게 이상하지 않을 정도로는 훌륭하게 다듬어졌다. 영화가 다른 "2D" 영화보다 비싸고, 게다가 추가로 3D 안경을 사야 했다는 점은 좀 괴로왔지만... 이 안경은 다른 3D 영화를 볼 때에도 재사용할 수 있다니 나쁜 투자는 아닌 셈이다.

3D Polarization Glass for Real-D Technology

영화를 보고 나와서 맨 처음 한 일이 바로 이 안경 두 개를 수직으로 엇갈려 맞춰본거다. 약간 어두운 안경알 필름을 보고 당연히 편광필름이라고 생각했고 같은 쪽의 필름을 수직으로 엇갈리면 당연히 새까맣게 될 줄 알았는데, 이게 전혀 그렇지 않은 거다. ㅡ_ㅡa;; 앞뒤로 뒤집어 가면서 열심히 대봤지만 색감이 조금씩 바뀌는 것 외에는 바뀌지 않는 걸 확인하고, 이제까지 알고 있던 전통적인 입체영화와는 다른 기술이 적용됐다는 걸 알게 됐다.

사용자 삽입 이미지사용자 삽입 이미지

그런데 반투명 필름으로 특정 색만을 통과시키는 방식(위 그림 왼쪽)도 아니고, 수직 혹은 수평 슬릿을 가진 편광필름으로 두 종류의 광선을 구분하는 방식(오른쪽)도 아니라면 뭐가 더 남아있는 거지? ㅡ_ㅡa;;;



그로부터 일주일 정도 짬짬이 관련된 기술들과 인터넷 상의 지식들을 정리해 보니, 이 새로운 방식은 'circular polarization' 이라는 개념과 연결되어 있다. 일전에 iPhone 3GS의 초점 맞추는 방식과 관련해서 글을 쓰면서 광학이라는 분야에 대해서 감탄한 적이 있는데, 이 개념도 알면 알수록 놀라운 지라 한번 이해한 만큼만 정리해 보기로 했다.

우선 정의. 간단히 말하자면 이 방식은 한쪽 눈에서 봐야 할 영상을 가로 파장으로, 다른 눈에서 봐야 할 영상을 세로 파장으로 구분하는 게 아니라, 대신 한 쪽 영상은 시계방향으로, 다른 영상은 반시계방향으로 '돌리는' 거다. 관객이 쓰고 있는 안경도 물론 한쪽 렌즈는 시계방향으로 '돌고있는' 빛만을, 다른쪽 렌즈는 반시계방향으로 '돌고있는' 빛만을 투과시키게 되어 있다. 인터넷에서 찾아본 것 중에 그나마 개요에 적당한 그림은 아래와 같다.

3D Projection using Circular Polarization

... 빛을 돌린다니 무슨 소리여. -_-;; 광원을 빛의 속도로 회전시키나? 솔직히 처음엔 그런 생각도 들었다. 이 기술의 특허권자로 보이는 Real-D회사의 웹사이트에는 기술적인 설명이 거의 나와있지 않고... 결국 인터넷을 이잡듯이 뒤져서 찾아낸 내용을 그냥 나열하자면 이렇다.

Calcite - a Birefringent Material
일반적인 편광필름은 빛에서 한쪽 방향의 파장만을 통과시킨다. 여기에 빛의 진행을 지연시키는 물질인 birefringent material로 만든 막을 덧대는 것이다. 이 물질은 birefringence 혹은 double refraction - 즉 이중굴절의 특성을 갖는데, 굴절된 두 영상은 빛이 통과한 시간과 방향이 각각 다르다. 이런 물질은 꽤 여러가지가 있는 모양으로, Wikipedia에서 퍼온 왼쪽의 그림은 '방해석' 결정이다.

How Compose Circular Polarization
이 물질로 만든 막의 두께와 각도를 조절해서, sin 파장을 갖는 빛을 파장의 1/4 만큼 차이를 갖도록 45도 기울여서 통과시키면 입력된 빛이 가로 세로로 나뉘어 1/4 파장만큼의 차이를 가지고 나오는데, 이 차이를 vector 합산해 보면 아래와 같이 멋진 결과가 나오는 것이다.
How Compose Circular Polarization

빛이 무슨 리듬체조 선수의 리본처럼 돌아서 나간다. @_@ 좀더 이해해보고 싶은 사람들은 올림푸스 광학의 웹페이지에 있는 Java Applet을 참고해보자.

이렇게 편광막과 이중굴절막을 덧댄 필름은 편광 막의 축과 이중굴절막의 축을 어느 방향으로 기울였느냐에 따라 시계방향, 혹은 반시계방향으로 빛을 돌리게 되고, 받아들이는 쪽에서도 같은 필름이 어느 쪽으로 회전하는 빛을 받아들일지를 선별하게 되는 것이다. (아래 이미지 출처 1, 2)

How Compose Circular PolarizationHow Compose Circular Polarization

이렇게 어렵게시리 빛을 굳이 좌우로 돌려서 사용하는 이유는, 기존의 편광안경의 경우 기울임(tilt)에 약하다는 문제가 있기 때문이다. 실제로 지금도 상품화되어 있는 3차원 모니터에서 편광안경을 끼고 목을 기울이면 화면이 어두워지고, 아예 옆으로 돌리거나 그냥 옆으로 누우면 화면이 깜깜해지면서 아무것도 안 보이게 된다. 이에 비해서 빛을 회전시키는 경우에는 기울임과는 상관이 없는 것이다. (물론 영상 자체가 가로로 나뉜 영상이므로 누워서 보면 거리감은 맞는데 공간감은 맞지 않는 이상한 경험을 하게 된다. 반대로 안경을 뒤집어 보면 거리감이 공간감과 반대로 적용되는 걸 느낄 수 있다. 실제로 해보니 그냥 초점이 안 맞는 - 심한 근시라서 이런 느낌은 참 익숙하다 - 느낌이었지만.)

여기에서 한 단계 더 나가서, 영사기를 두 대 사용하지 않고 한 대로 좌우영상을 투사하기 위해서 디지털 영사기 앞에 영화 각 프레임의 및 회전방향을 정할 수 있는 장치를 덧붙인다. 이 장치는 영사기와 연동되는데, 아마도 액정막을 이용해서 전압을 거는 방향에 따라 편광방향이 달라지고, 고정된 이중굴절막의 상대적 각도에 따라 회전방향이 달라지게 되는 원리 같다. 관련된 자료에 Real-D사의 웹사이트에 올라와 있기는 하지만, 자세한 설명은 없다. -_-;;

3D Projection Installed3D Projection System Architecture

자, 일단 해석되는 웹페이지 상의 지식을 어찌어찌 억지로 조합한 내용은 이상과 같다. 이런 내용을 찾아서 읽어보면서 알게 된 게 기하광학(geometrical optics)라는 분야인데, 엄청난 분량의 수식에 기가 죽긴 하지만 기회가 된다면 좀 더 공부해 보고 싶은 내용이다.




... 그런데 이게 UI랑, 심지어 HTI랑 무슨 상관인가. 글쎄 잘 모르겠다. 예전에 3D UI라는 개념에 대해서 언급한 적은 있지만, 사실 입체영상을 어떻게 구현하는가에 대해서는 조금 거리를 둬도 상관이 없을런지 모른다. 오히려 위의 내용들을 찾다가 발견한 3D 영화의 연출기법이 UI 설계에 도움이 되려나.

이를테면 UI 디자인을 하는 입장에서는... 가상 초점에 맺힌 물체의 움직임이 너무 빠르면 초점을 유지하지 못하고 놓칠 수 있으므로 물체의 속도를 제한해야 한다든가, 화면을 기준으로 앞뒤로 만들어낼 수 있는 가상의 초점에는 거리상 한계가 있고 사람이 초점을 앞뒤로 전환하는 데에도 의외로 시간이 걸리기 때문에 적당히 써야 한다든가, 게임도 3D 영상이 적용될 것을 대비해야 하겠지만, 카메라와 물체의 움직임을 전적으로 사전에 조작할 수 있는 영화에 비해서 위와 같은 제약조건에 맞추기가 어렵다는 사실 등에 주목해야 할 것이다.

Directing 3D FilmsDirecting 3D FilmsDirecting 3D Films

3차원 정보전달 - 3D UI 디자인 - 에 대한 내용은 영화 연출과는 다른 문제도 많을 것이다. 3D UI의 디자인 가이드라인에 대해서는 이런저런 시도가 많았지만, 인터넷에서는 아직 제대로 정리된 버전을 찾지 못했다. 언제 한번 기회가 되면 찬찬히 생각해 봐야지. (퍽이나 -,,- )
신고
Creative Commons License
Posted by Stan1ey
MWC 2009 개막…휴대폰시장 `새 트렌드` 분석
(디지털 타임즈 2009-02-16)

◇불붙은 3D UI경쟁=터치 인터페이스 이후의 차기 UI의 핵심으로 부상하는 기술은 바로 3D UI다. 3D UI는 각종 센싱기술과 접목돼 UI효용을 극대화할 잠재력을 지닌 것으로 평가받고 있다.실제 16일 스페인에서 개막된 MWC 2009는 3D UI를 둘러싼 제조사간 경쟁을 암시하는 최전선이 되고 있다. (본문 중 발췌)

얼마전 LG에서 휴대폰에 "S 클래스" 3D UI를 얹었다고 대대적으로 선전하는 걸 보고, 그 충격적인 이름짓기에 잠시 아뜩해진 정신을 추스리고 동영상이 나오기를 엄청 기다렸더랬다. 결국 며칠 전부터 이런저런 동영상이 많이들 돌아다니고 있는데, 모처럼 주절거릴 내용이 생기나 싶었던 마음이 온데간데 없어져 버렸다. ㅠ_ㅠ 그럼에도 불구하고 저렇게 기사가 떴으니 그냥 이것저것 링크나 걸어보자는 심정으로 오래간만에 두드려보자. (기사 알려주신 분 감사합니다. 꾸벅 o_o; )

3D UI는, 물론, 3D 프로그램으로 렌더링된 (2D) 아이콘을 쓰는 것도 아니고, 2D 아이콘에 그림자를 넣는 것도 아니지만, 그렇다고 화면전환이나 목록을 3D로 했다고 3D UI라고 할 수 있는 것도 아니다. (아 물론 그렇게 말할 수는 있겠지만. -_- ) 2D에서 레이아웃과 그룹핑이 큰 GUI 이슈였다면, 3D에서도 그에 상응하는 GUI 이슈가 있을텐데, 적어도 이번에 공개한 부분에 대해서는 차라리 2D로 하는 게 좀더 깔끔하고 픽셀낭비가 적을 것을 왜 굳이 3D로 했는가 싶은 아쉬움이 남을 지경이다.

내가 생각하는 3D UI는 Sun Microsystems의 Looking Glass 프로젝트 (이거 이제 10년은 되지 않았나?), 그리고 그걸 잘 벤치마킹해서 3D가 의미있는 부분에서만 활용한 iPhone/iPod Touch에서의 Cover Flow와, 다양한 어플에서의 '까뒤집기' 인터랙션이다. (까뒤집는다는 데에 의미가 있다. -,.- ) 아래 동영상을 보면 3D UI가 표면적인 interface 표현으로 남지 않고 3D UX 랄까 3D interaction을 포괄하려면 어떻게 해야 할지를 조금 알 것도 같다.



다시 "S 클래스" 3D UI로 돌아가서, 그럼에도 불구하고 일단 삼성의 햅틱폰(흑;ㅁ;)으로 인해서 "대세는 터치 UI"라고 되어 버린 것을 '어떻게 됐든' 저렇게 기사를 통해서 공공연히 "이제 대세는 3D UI"로 홍보하기까지의 실무자 분들의 고생은 정말 안 봐도 뻔하다. UI 싸움에 마케팅이 거드는 건지, 마케팅 싸움에 UI가 쓰이는 건지는 몰라도, 그래도 이런 경쟁을 통해서 다른 회사들보다 먼저 좋은 차세대 UI를 찾아낼 수 있는 기반이 닦인다면 나름 큰 의미가 있다고 생각한다. 진짜루.



3D 사용자 인터페이스...는 사실 개인적으로도 큰 화두이고, Fun과 UI의 조합을 찾아 게임업계로 뛰어들면서 특히 이 회사의 이 프로젝트를 선택하게 된 계기가 되기도 했다. 언젠가 다른 사람들이 이미 말하지 않은 부분이 눈에 뜨이면 좀 더 주절거리게 될 일이 있을지도 모르지. -_-a

혹시 3D UI에 대해서 관심이 생겨 2D와 개념상의 차이점부터 들여다보고 싶은 사람이 있다면, 10여년 전 IBM에서 일단의 연구팀이 잘 갈고 닦아놓은 길을 감사한 마음으로 따라가 보자. <IBM RealThings Design Guideline>과 <RealPlaces Design Guideline>이라는 이 두 가지 3D UI Design Guideline은 요새 기준으로 가이드라인이라기는 좀 덜 구체적이지만, 그래도 3D 상의 레이아웃과 그룹핑이라는 것에 대해서, 그리고 사용자의 행동과 3D 공간 - 2D에 표현된 - 이 어떤 "추가적인" 상호작용을 일으킬 수 있는지에 대한 가능성을 잘 설명하고 있다. 오히려 최근에 잠깐씩 이루어졌던, 외부에는 많이 공개되지 않은 연구들은 과하게 학술적이거나 세부적인 반면에 3D 사용환경의 장단점과 사람들의 사용행태를 이만큼 잘 설명한 문서는 여지껏 없었다고 생각한다.

RealPhone - from IBM Realthings Guideline on 3D UIRealPhone - from IBM Realthings Guideline on 3D UI
RealBook - from IBM Realthings Guideline on 3D UISpatial metaphor from IBM RealPlaces Guideline on 3D UI
(다음날, 예전에 논문에 실었던 그림을 찾아서 추가함)

아쉬운 점은, IBM의 UCD Lab에서 선행연구 역할이 없어지면서 벌써 몇년전부터 이 프로젝트에 대한 링크가 끊겼다는 거다. 예전에 웹페이지로 공개되어 있던 것을 연구실에서 엄청 눈치보면서 죄다 이면지에 뽑아서 제본해 놓은 게 있는데, 지금 생각하면 정말 잘 한 것 같다. 그림파일을 따로 저장해 놓은 게 몇장 없다거나, 무엇보다도 그 연구가 더이상 발전하지 못했다는 건 아쉽지 그지 없지만. -_ㅜ



원래 이 블로그를 시작하면서 메모해 두었던 것들 중에 3D UI에 대한 글을 좀 쓰던 게 있는데, 아무래도 내 생각으로 채우기엔 글이 부족하고, 다른 사람 생각으로 채우기엔 좀 조심스럽다. 그냥 이렇게 때우고 넘어가자. 아래는 그 글에 넣으려고 저장해 두었던 그림이다. 이름하여:

[O] 일반 모니터에서 3D UI를 입체감 있게 구현할 수는 없을까?


신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.