얼마전부터 애플이 관련 이미지 프로세싱 칩을 대량구매했네 뭐네 하더니, 결국 iPhone에서 동영상 촬영을 어떻게 하고 또 그게 어떻게 MMS와 연동이 될지에 대한 GUI 화면이 드러난 모양이다. 동영상이야 별 관심 없어서 흐지부지 읽다보니, 눈이 번뜩 뜨이는 대목이 있다.

Inside the configuration files where the screen was discovered were mentions of an "auto-focus camera," "magnetometer" (digital compass), and "Voice Control."

... Voice Control 이라고 하셨습니까. ㅡ_ㅡ+

Voice Control in iPhone OS 3.0

그렇게 돼서 열심히 뒤져봤지만, 같은 기사에 있는 오른쪽의 설정화면이 유일하게 구할 수 있었던 증거자료다. 이전에 올린 예측 글(혹은 희망사항)이나 최근 아이팟 나노의 VoiceOver 사례에도 적었지만, 기본 제공되는 이어폰을 업그레이드하고 그동안 비워두었던 '오래 누르기'를  일방향이지만 VUI에 적용함으로써 iPhone OS에 VUI가 적용할 여지는 차근차근 준비된 셈이다. 그랬다가 이번엔 아예 입력을 설정하는 화면에 "Keyboards"와 함께 그룹핑 되어 있는 "Voice Control"이라는 문구를 보게 되니 그 '희망사항'이 점점 뭉게뭉게 피어나는 느낌이다. 단지 맨 앞에 링크된 원래의 글에서 언급했듯이 많은 기능은 새로 발표될 3세대 iPhone에서나 가능한 게 아닌가 싶고, 음성인식도 어쩌면 전용칩을 따로 쓴다든가 하는 핑계로 내가 가지고 있는 iPhone 3G(2세대인 -_-;; )에서 쓸 수 없으면 어쩌지... 싶은 걱정이 좀 된다.



자, 어쨋든 이젠 왜 울기 시작했는지도 기억나지 않으니 그만 눈물을 닦고, 위에 인용한 대목을 다시 한번 좀 보자. 관련된 증거 화면은 하나도 제공되지 않았지만, 그래도 "auto-focus camera"라든가 "magnetometer"라는 대목은 좀 다른 희망을 불러일으키는 키워드가 되겠다.


(1) Auto-Focus Camera
우선 애플이 아니라 애플 할아버지가 하드웨어를 만든다고 해도, 자동초점... 어쨋든 광학적으로 초점을 맞추려면 폰에 상을 최대한 왜곡시키지 않으면서 초점변화를 만들 수 있는 여러 겹의 렌즈와, 그 렌즈를 앞뒤로 정밀하게 움직일 수 있는 기계장치가 들어가야 한다. 그뿐만 아니라 초점을 맞추는 기준을 삼으려면 초음파로 거리를 재든가 레이저를 쏴서 기준으로 삼든가 해야 하므로 거기에 따로 하드웨어가 또 필요한 것이다. 자동초점이라고 말이 쉽지, 사실은 도대체 지금 아이폰의 몸체에 넣을 수 있는 물건이 아니다.

Focus Detection by Image Processing - from Patent by LG
하지만, 이미 초점이 맞는지의 여부를 영상분석을 통해서, 즉 소프트웨어만으로 잡아내는 것 정도는 이미 많은 똑딱이 카메라에서 구현한 내용이다. 특허를 검색해 보니, 반갑게도 LG(옛 금성)전자에서 출원, 등록된 특허를 찾을 수 있었다. 내용을 열심히 본 게 아니니 이 특허가 기술적으로/법적으로 어떤 의미를 갖는지를 섣불리 말할 수는 없겠지만, 그래도 우리나라 기업이 좋은 특허를 확보하고 있는 걸 보니 기분이 좋다.

그래서 초점이 맞는지 어쩐지 여부는 따로 하드웨어 없이 알 수 있다고 해도, 따로 복잡한 기계장치를 붙이지 않고 어떻게 광학적인 초점을 조절하겠다는 걸까? 그동안 렌즈의 구동부 부피를 줄이기 위한 많은 노력이 있기는 했지만, 획기적이었던 펜탁스의 접히는 렌즈 시스템이나 카시오에서 처음 도입했던 (분명치 않다) 기발한 '이너 줌'이라는 것도 실제로 구동부를 아예 없앤 것은 아니었다. 어느 쪽이든 아이폰의 디자인은 상당히 해치게 될테고, 특히 자사의 제품을 "software in the box"라고 칭하는 사람이 아이폰에 모터가 달린 렌즈구동부를 넣으려고 할까?

Sliding Lens System from Pentax
Inner (or Enclosed) Zoom Lens System

사실은, 아이폰의 디자인을 해치지 않고 모터를 구겨넣지 않아도 광학적인 초점조절이 가능한 방법이 딱 하나 있기는 하다. (이건 굉장히!!! 섣부른 발언이 되겠지만, 핑계김에 링크나 스크랩해 두려고 적어보는 거다. -_-a; ) 바로 액체렌즈. 꽤나 공상과학같은 단어지만, 실제로는 오래전에 그 컨셉이 발표된 이래로 상용화를 위해서 많은 노력이 기울여진 분야이기도 하다.
Liquid Lens System
원리는 물 한방울을 부피를 전기적으로 조절할 수 있는 소재 - 플라스틱(EAP)이거나 금속(Piezo)이거나 전하를 띈 기름이거나 - 로 밀폐시켜놓고, 압력을 조절해서 물방울의 모양을 조절함으로써 물과 주변재질(기름)의 굴절율 차이를 이용해서 렌즈 기능을 하게 한다는 거다. (몇년전에 어깨너머로 배운 거라 내용도 기억도 확실하지 않다. 인터넷 찾아보면 기사가 많으니 참고하시압.) 고맙게도 렌즈의 모양/굴절율이 바뀐다니 굳이 렌즈를 앞뒤로 움직일 필요가 없고, 잘만 만들면 몇겹의 렌즈도 아주 좁은 공간 안에 구현할 수 있는 훌륭한 아이디어지만, 만들다보면 렌즈의 투명도(순수한 물에 기름이라고 해도)가 무지 떨어지고 무엇보다 액체이다보니 추우면 얼어서 한겨울 파이프 터지듯이 망가져 버린다는 의외의 황당한 문제가 고민이라고 들었다. 부동액을 넣느니 뭐니 하더니, 혹시나 이게 아이폰에 들어갈 정도로 완성된 건 아닐까...라는 근거없는 생각을 해보는 중이다.


(2) Magnetometer
그에 비해서 다음으로 '전자 나침반'은 뭐랄까, 그냥 "올게 왔구나.."라는, 담담한 마음이다. 상용화되어 있는 센서 중에서 iPhone에 적용되지 않은 건 이 나침반과 압력센서 정도일까나. 두 센서 모두 이미 다른 제품들에서는 제공된 적이 있으니 상용화 가능성은 인정된 걸텐데, 압력센서는 모바일 제품에 얼마나 어울릴지 모르겠고, 왠지 소프트웨어 회사인 애플은 그냥 터치스크린에서 간접적으로 느껴지는 '터치의 강도'를 압력으로 환산해서 쓸 것 같다. 하지만 나침반은 Google Map의 활용도가 점점 높아지고 일전의 iPhone OS 3.0 발표에서도 네비게이션으로서의 가능성을 좀더 높인 이상 반드시 필요한 추가사항이었을 거다. 이게 말그대로 들어가준다면 화면을 돌릴 때마다 동서남북에 맞춰서 돌아가주는 지도는 물론이고, 아이폰으로 찍은 사진에는 촬영위치(GPS)와 촬영각도(가속도센서) 외에 촬영방향(나침반), 초점거리(액체렌즈??ㅎ) 정보까지 들어가게 되므로, 이제까지 안 되던 많은 응용 가능성이 열리게 될 것이다. 이제까지 모바일 어플을 고민하면서 동서남북을 모르는 것에 대해서 아쉬워 하던 분이 많았는데, 이 나침반이 실제로 들어가서 좀 해결이 된다면 좋겠다.

하지만 문제는 이 전자 나침반이라는 것이 (예전에 사용해봤던 경험에 의하면) 처음 사용하기에 앞서서 상하좌우로 한바퀴를 돌려줘야 한다는 거다. 이게 처음 센서에 전원을 넣었을 때만 그런지, 아니면 매번 쓸때마다 그런지는 모르겠지만, 어쨋든 초기화 체조(-_-;;)가 여전히 필요하다면 사실 좀 웃길 듯 하다. 일단 초기화하고 난 후에도 그 값을 유지하려면 배터리를 조금씩은 갉아먹을 것 같은 느낌도 들고. (이제까지 아이폰에 쓰인 센서 중에는 sleep mode에서 전원을 쓰는 놈은 없었다.) 모쪼록 그 장점에 비해서 번거로운 놈이 되지는 말아야 할텐데...


(3) Voice Control
... 될대로 되겠지. ㅡ_ㅡ;;; (믿는다 애플!)


이 세가지 추가사항들이 과연 어떤 새로운 조합으로 HTI 기능들을 만들어낼 수 있을까? 상상해보면 꽤 긴 목록이 나온다. API를 얼마나 공개하느냐에 따라 다르겠지만 Palm Pre에 쫓기는 입장에서 이제까지처럼 여유를 많이 부릴 수도 없을테니, 최대한 공개한다는 가정 하에 다른 센서와의 조합까지 생각한다면.... 게다가 그걸 죄다 애플이 만들 필요도 없이, 이미 성공사례를 목격한 수많은 AppStore 개발자들이 덤벼들거라는 걸 생각하면... 피휴.

... 또 한동안 신경 많이들 쓰이시겠습니다. s(T^T)z

신고
Creative Commons License
Posted by Stan1ey

센서 기반 UI 라는... 그런 제목을 한동안 달고 다닌 적이 있었다. 그때는 그게 기술 중심의 연구소에서 사용자 - 연구원과 경영진 - 에게 쉽게 이해될 수 있는 호칭이었기 때문인데, 그게 결국 HTI로 이어진 셈이다.

CACM, Feb 2009 issue
<Communications of ACM>의 지난 2월호 한켠에 실려있는 기사 - "Making Sense of Sensors" - 는, 제목만 보고도 무슨 이야기를 하려는지 분명하게 알 수 있었다. 이제 이런 얘기가 나올 때가 됐지.

센서를 통한 암시적 입력이, 당연히 명시적 명령입력과 기대했던 결과출력으로 이루어졌던 사용자 인터페이스에 사용된 건 그다지 오랜 일도 아니고, 이런 종류의 UI에 대한 사용자의 반응이 항상 좋았던 것도 아니다. 무엇보다 분명한 알고리듬이 존재한다고 하더라도 제멋대로 판단해서 움직이는 듯한 물건에 대해서 호감을 가지려면 서로 친숙해질 시간이 필요한 것이다.

이제 슬슬 그런 타이밍인 걸까. 이번 기사의 제목은 그런 의미에서 개인적으로 의미가 크다. 그래서 이런저런 회포나 풀면서 머릿속을 정리해 보려고 끼고 있었는데, 점점 블로깅에 투자할 시간이 없어진다. 이러다가 곰팡이 피기 전에 그냥 스크랩이나 하고 말기로 했다.


아래는 이 기사의 마지막 문단이다. 맘에 들어서 퍼넣어야지 했다가 깜박해서 다음날 추가. 감기약 때문에 정신이 혼미한듯. ㅎㅎㅎ

... When sensors start to do more than just transmit sensory data to a traditional two-dimensional computer screen, the way we interact with computers will fundamentally shift, as physical objects become "smarter" about themselves and the world around them. When that starts to happen - when computers start taking shape in three dimensions - sensors may just start making sense.

저자는 Alex Wright라는 사람인데, 말 장난을 좋아하는 사람이다. 같은 과라 호감이 간달까.


아, 참고로 이 기사의 내용은 별 게 없다. 유투브에서 많이 유명해져서 여기저기 강연을 다녔던 Johnny Lee의 연구내용을 필두로 저자가 아는 범위에서 여기저기 연결점을 찾으려는 노력이랄까. 딸랑 2쪽 분량으로는 단지 몇가지 사례를 나열한 느낌이지만, 좋은 제목에 걸맞게 좀더 잘 정리할 수 있었던 좋은 주제였기에 좀 아쉽긴 하다.

신고
Creative Commons License
Posted by Stan1ey

... 뭐, 그런 논리적이고 설득력 있는 연유로 해서 ( '-')y~, 휴대폰 없는 생활에 지겨워진 어느 날 iPhone을 질러 버렸다. ㅡ_ㅡa;;; 한 이틀 잘 가지고 놀다보니, 인터넷으로 지겹도록 예습한 iPhone 자체의 기능들보다 AppStore에서 다운로드 받을 수 있는 소프트웨어 중에 재미있는 게 너무 많아서 즐거운 비명을 지르는 중이다. 탑재하고 있는 센서와 네트워크 기능, 게다가 뛰어난 그래픽 엔진까지 달려 있으니 뭐 아이디어와 열정과 욕심이 있는 엔지니어들이 얼마나 신이 나서 만들었는지가 보이는 느낌이랄까.

이런저런 재미있는 장난감들이 있지만, 그 중 다음 몇가지 어플은 어떤 식으로든 센서로부터의 입력 신호를 바탕으로 패턴을 인식해서, 그걸 사용자로부터의 암시적 입력으로 사용하는... 뭐 결국은 HTI 어플이라고 할 수 있는 것들이다. AppStore에 올라와 있는 것들 중 전부는 아니겠지만, 그래도 제법 많이 뒤져서 찾아낸 거다.

My Collection of iPhone HTI Apps


1. Movies
iPhone Apps - Movies
iPhone Apps - Movies
영화를 검색하고, 현재 위치에서 가까운 극장에 대한 상영정보와 함께 영화 정보나 예고편을 볼 수 있는 어플이다. 현재 위치를 사용할 수도 있고, 임의의 다른 지역을 '디폴트 지역'으로 설정할 수도 있다. 위치 정보를 이용하는 모든 어플들은 처음 시작할 때 "위치 정보에 대한 접근을 허락하겠느냐"는 확인을 하게 된다. 등록된 영화정보가 많다보니 이 지역과 관련이 적은 영화도 올라와서 걸러내기가 힘들긴 하지만, 그래도 평점 같은 정보는 정말 도움이 많이 될 듯.


2. AroundMe
iPhone Apps - AroundMe
iPhone Apps - AroundMe
마치 LBS의 표본 같은 어플로, 그야말로 사용자의 현재 위치에 기반해서 알려줄 수 있는 유용한 지점 정보를 (구글에 등록된 항목들을 바탕으로) 검색해서 나열해 준다. 카 내비게이션에서 종종 보이는 POI 표시/검색 기능과 비슷하다고 할 수 있는데, GPS로 인해 정확한 위치가 가능하니 얼마나 앞에 있는지를 정확하게 보여주고 구글 맵 지도 위에서 확인할 수 있게 해 준다. 물론 구글 맵 위에는 내 GPS 신호의 위치가 함께 표시가 되니까, 예전에 동영상으로 숱하게 찍어냈던 ubicomp 서비스가 이제 이만큼이나 구현되어 있구나... 하는 느낌이다. 실제로 언젠가 봤던 노키아의 기술비전 동영상 (뭐 왠만한 회사에서는 다 동일한 내용이 있었던 것으로 기억하지만 -_- ) 속에서처럼, 친구들이 서로의 위치를 확인할 수 있다든가 하는 어플도 나와있는데, 무료가 아니라 패쓰. ㅋㅋ


3. SnapTell
iPhone Apps - SnapTell
iPhone Apps - SnapTell
아이폰 어플 중에 영상인식을 사용하는 게 있는 걸 보고 많이 놀랐다. 인식용으로 사용하기에 카메라의 화질도 별로고, 아무래도 모바일 환경에서 찍힌 사진에는 인식을 방해하는 요소가 많이 포함되기 마련이니까. 이 어플은 책/영화포스터/CD표지 등을 찍으면 그에 대한 평과 관련 정보를 보여주는 기능이 있는데, 미국에 출판되었을 법한 책을 하나 집어서 찍어보니 꽤 정확하게 인식하고 있다. 단지 광고와 달리 영화포스터는 몇 개를 해봐도 정보가 없었고, 게임 CD도 인식하지 못했다. 그래도 예전에 언급한 Evolution Robotics사의 기술과 유사한 게 적용되어 있는지, 배경만 깔끔하다면 조금 삐딱하게 찍어도 되는 것 같고, color histogram 같은 게 아니라 제대로 윤곽선 따서 하는 듯 하다. 흑백으로 복사한 책 표시를 인식시켜봐도 똑같이 검색이 되는 걸 보면. ^^; 기왕이면 내가 찍은 사진과 검색된 책 표지를 같이 보여주면 좋을텐데, 검색이 성공했을 경우엔 그걸 확인할 방법이 없으니 간혹 엉뚱한 책이 검색됐을 때 왜 그랬는지를 추정할 수가 없다. (일반 사용자 용의 기능은 아니겠지만 -_- )


4. Evernote
iPhone Apps - Evernote
iPhone Apps - Evernote
사진을 찍어서 저장하면 사진에 포함된 글자를 인식해서 단어로 검색할 수 있게 해준다고 하길래 얼른 설치한 어플이다. 기능은 로컬이지만 결국 영상인식은 위의 SnapTell과 마찬가지로 서버에서 하는 듯, 사진을 등록할 때마다 꽤나 시간이 걸린다. 그런데도, 사실은 인식의 난이도를 넘넘 낮춰가며 여러가지를 시도해봐도 인식이 된 적이 없다. 엔진의 문제인지 뭔지는 몰라도 마치 사장 데모 만큼이나 감감 무소식에 뭐가 잘못 됐는지도 알 수가 없어서 그냥 포기했다.


5. Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus
iPhone Apps - Cactus

음성인식 어플이 나와있었다! 그것도 무료로! Cactus Voice Dialer라고 되어 있는 이 어플은 주소록의 이름을 인식해서 전화를 걸어주는데, 전화기에서 VUI의 첫번째 응용이라고 볼 수 있는만큼 좋은 징조라고 생각한다. 무료 어플이긴 하지만 음성인식 다이얼링에 필요한 기능과 옵션들을 두루 잘 갖추고 있고, 음성인식 오류를 최대한 줄이기 위한 지침도 역시나 '아무도 읽지 않을 장문으로' 꼼꼼히 적혀 있다. 실제로 여러 영어이름을 넣어 실험해 보니 처음에는 indexing을 하는지 좀 오래 걸리지만 다음부터는 더 빨리 구동되는 듯 하고(600명 정도 넣었을 경우), 인식률은 그다지 높은 편이 아니었다. 전화번호까지 넣고 해본 게 아니고, 아무래도 실험참가자의 영어 발음이 알아듣기 힘들었던지라 그다지 공정한 판정은 아니라고 해도. -_-
VUI 자체는 가장 일반적인 방식, 즉 Push-to-Talk 방식의 터치 버튼("Speak")을 채용하고 결과를 1개 혹은 옵션에서 선택하면 3개까지 보여주는 식이다. 인식결과에 대해서 무조건 전화를 걸게 한다든가, 인식결과에 나온 사람의 대표 번호를 디폴트 선택으로 할 것인가 라든가 하는 것도 voice dialer를 표방한 이상 들어갈 수 밖에 없는 기능들. 하지만 인식기 자체는 위 그림에서 보이듯이 "Call John Smith's mobile" 따위의 최소한의 구문은 인식할 수 있도록 되어 있다. (IBM에서 VoiceSignal로 넘어오는 대표적인 '전화걸기' 구문 되겠다) 비록 시각적인 (그리고 아마도 인식엔진의) 완성도는 떨어진다고 해도, 이만큼 충실하게 만들어진 어플이 무료로 배포되다니, 정말 유료로 살 정도의 시장은 없는 건가... OTL..


6. CenceMe
iPhone Apps - CenceMe
iPhone Apps - CenceMe
iPhone Apps - CenceMe
이게 또 재미있는 어플이다. 가속도 센서의 입력을 가지고 각 방향으로의 강도와 빈도를 분석해서 사람이 어떤 행동을 하고 있는지, 즉 소위 말하는 "사용자 행동 정황"을 파악하겠다는 시도는 많은 연구가 이루어져 있다. 대부분의 취지는 뭐 휴대단말이 사용자에게 전달할 메시지가 있을 때 그 적절한 '끼어들기' 타이밍을 좀 판단하겠다는 거다. 이메일이 왔다거나, 전화가 왔다거나 하는 메시지가 대표적이고, 소리로 알릴지 진동으로 알릴지 나중에 알릴지 등등의 판단을 유도하곤 한다. 이 어플은 정확히 똑같은 일을 하면서, 그 '정황'을 무려 내 계정의 FaceBook에 연결시켜 보여준다. 이 정황은 2가지 아이콘으로 보여지는데, 앞의 것은 자동으로 업데이트되고, 뒤의 것은 자기가 원하는 아이콘(정황을 보여주는)으로 바꾸거나 사진을 찍어 올릴 수 있다. 덤으로 위치 정보까지 같이 올려주는 모양인데, 어떻게 보면 상당한 사생활 공개라고 하겠다. ㅡ_ㅡa;;;
CenceMe Application on FaceBook
그래도 공짜니까 받아서 여러가지를 테스트해 봤는데, 오른쪽 그림의 몇가지는 어느 정도 잘 인식하고 있었다. (실험 과정에서 룸메이트가 항의하는 사태가 있었다;;;) 이 어플의 문제는 어플이 떠있는 동안에만 센싱 및 업데이트가 된다는 점이 아닐까 한다. FaceBook 업데이트하려고 이 어플만 띄워놓고 다닐 사람은 없을테니까.  그 외에도 아주 심각한 문제를 하나 안고 있는데, 정작 그 사용자는 이런 행동을 하는 동안 자기 FaceBook에 뭐가 표시되고 있는지를 볼 수 없을 거라는 거다. 실제로도 열심히 뛰고 헉헉 거리면서 바로바로 캡춰하지 않으면 위의 장면들도 얻기 힘들었을 거다.


7. WritePad
iPhone Apps - WritePad
iPhone Apps - WritePad
IUI 분야의 선구자 중 한 분라고 생각하는 IBM의 한 연구자가 십년 너머 연구해 온 터치스크린 키보드가 있다. 처음에는 ATOMIK 이라고 부르면서 입력시의 동선을 최적화 시킨 새로운 키보드 배치를 제안했는데, 요즘은 SHARK 라는 이름으로 바뀌고, 배치도 결국 사람들에게 익숙한 QWERTY 자판을 쓰고 있다. 이 연구를 상업화한 것이 ShapeWriter 라는 회사이고, 이 어플은 실제 사용할 수 있도록 개발/공개된 첫번째 상품(?)이다. 아이폰의 다른 기능과 그다지 어울리지 않아서 데모 소프트웨어와 다른 점은 모르겠지만, 그래도 최근 Google Android 위에서도 개발되는 등 활발한 활동을 보이고 있다. 실제로 이 '그려서 글자입력' 방식을 써보면 꽤 편하고 무엇보다 빠르다는 걸 알 수 있는데, 터치스크린이 손가락을 가리는 단점을 잘 극복한다면 (아이폰의 기본 GUI scheme만으로 가능할거다) 이 터치스크린 시대에 잘 맞는 새로운 표준이 될 수도 있을 듯 하다. (뭐 이런 류의 연구가 늘 그렇지만, 한글입력은 아직 지원하지 않는다 -_- ) 위 회사 웹사이트에 가면 상당한 정보가 있으니, 관심 있으신 분은 가봄직하다.


8. PanoLab
iPhone Apps - PanoLab
iPhone Apps - PanoLab
이 어플은 사실 HTI, 혹은 인식기반의 어플이라고는 할 수는 없다. 하지만 여러 장의 사진을 이어붙여 파노라마 사진을 만드는 과정에서, 그냥 평면적인 조합이 아니라 iPhone 카메라의 고정된 화각과 초점거리를 적용해서 구면 상에서 합성하도록 되어 있는 어플이다. 그 덕에 사진 바깥쪽의 왜곡에도 불구하고 좀 더 잘 겹쳐지는 것 같기는 한데, 사실은 아무래도 정확할 수 없어서 뭐 있으나 마나 하다. 그래도 그렇게 합성한 사진을 저장하고 바로 보낼 수 있는 점은 확실히 장점이어서, 돌아다니다가 본 풍경을 공유하거나 할 때 유용할 듯.


9. LlamaLight
iPhone Apps - LlamaLight
PDA를 쓰던 시절에 가장 유용한 필수어플이었던 PalmMirror (화면을 검게 표시해서 얼굴이 비친다;;)와 PalmLight (화면을 하얗게 표시해서 조명으로 쓸 수 있다;;)를 기억한다면, 이 어플에 대한 설명은 왼쪽 화면 만큼이나 단순하다. 단지, 터치하는 위치에 따라 색과 밝기를 바꿀 수 있다는 정도가 다른 점이랄까. 하지만 이 "가장 단순한" 기능을 HTI 기반 어플로 언급하는 이유는 그 플래시 기능 때문이다. 한가지 색상을 선택한 후에 다른 색상 위치를 서너번 같은 간격으로 tap 하면, 그걸 인식해서 그 간격대로 두 색을 번쩍번쩍하는 기능인데, 그냥 버튼 하나 둔다든가 한 게 아니라 터치 간격을 입력으로 받아들이게 한 게 재미있다. 사용법이 너무 숨겨져 있다든가, 사실은 뭐 인식이랄 것도 없을 정도로 단순한 기술이라는 게 좀 그렇지만, 그래도 기능의 단순함에 비하면 훌륭한 HTI 적용이라고 본다.




여기까지가, 현재의 Apple AppStore에서 무료로 구할 수 있었던 9가지 HTI 어플들이다. 정도의 차이는 있고 어쩌면 못 본 어플이 있었을지도 모르겠지만 그래도 꽤 재미있는 콜렉션이라고 생각해서 한번 정리해 봤다. 이 외에도 게임들을 보면 재미있는 기능들이 넘치도록 많지만, 오히려 너무 많아서 뭘 어떻게 봐야 할지 모르겠다.

Chinese Character Input on iPhone
한편으론 기본적인 iPhone 기능 중에서도 GPS를 지도 상에 표시하는 방법이라든가 (정확도에 따라 표시가 다르고, 지도 상의 길을 기준으로 위치를 보정하는 것 같다.), 중국어 입력에 한해서는 필기입력이 가능하다든가 (왼쪽 그림) 하는 점도 HTI의 적용이라고 볼 수 있겠지만, 뭐 너무 널리 알려진 기능들은 또 말하는 재미가 없으니까.

신고
Creative Commons License
Posted by Stan1ey
영국의 TV 광고를 보다가, 이런 멋진 작품을 만났다.



방향제로 유명한 Glade사에서 만든 "Sense & Spray"라는 신제품인데, 모션센서를 이용해서 사람이 앞에서 활동하는 순간에만 효율적으로 방향제를 뿌리도록 되어 있는 듯 하다. 즉 화장실에 있는 일정 시간 간격으로 방향제를 살포하는 기계에 비해서 진일보한 형태라고나 할까. 남자 화장실의 소변기에 붙어있는 방향제가 passive한 형태라면, 이건 좀 active한 형태의 intelligent UI를 보여주고 있다. 뭐 사실 여기까지는 소위 스마트 가전, 지능형 제품을 이야기할 때 몇번이나 나옴직한 응용사례인데, 이 광고의 내용은 그런 제품을 소비자가 창의적으로 활용하는 모습을 보여주고 있어서 재미있다.

Screenshot from Glade Sense & Spray TV Ads

센서를 이용하는 제품이 나오면, 사실 흥미있는 것은 그 제멋대로인 - 결코 디자인할 때 의도한 대로만 동작하지 않는다 - 물건들과 사용자가 어떻게 공존할 것인가에 대한 것이다. 예전에 청소로봇을 사무실에 풀어놓았을 때에도 목격했지만, 처음에는 거부감을 나타내는 사람도 과도한 기대를 갖는 사람도 있겠고, 그게 개인의 경험에 따라 나중에 어떻게든 반대로 발전하는 경우도 있지만, 제공하는 기능이 진짜 유용한 기능이라면 이 광고에서처럼 어떻게든 자신에게 맞는 가장 좋은 조합을 찾아낼 것이다. 그 청소로봇이 앵벌이를 하게 만들고 장애물을 건널 수 있는 빗면을 만들어줬던 것처럼.

어떤 지능형 제품이든지 사용자로 하여금 그 "공존의 조건"을 빨리 찾아낼 수 있도록 하는 방법이 주어진다면, 그게 그 제품이 uncanny valley를 빨리 건너 일상의 제품으로 자리잡을 수 있는 지름길이 되지 않을까.
신고
Creative Commons License
Posted by Stan1ey
서울시립미술관에서 전시 중인 "서울 국제 미디어 아트 비엔날레"를 다녀왔다. 서울을 '미디어 시티'로 만들겠다는 계획 덕택에 종종 재미있는 걸 보게 되는데, 아무래도 행정조직을 끼고 하는 일이다보니 소재나 규모, 형식 같은 측면에서 한계는 좀 보인다고 해도 여전히 감사한 일이다.

Seoul International Media Art Biennale - Turn and Widen, Light / Communication / Time

전환과 확장, 그리고 빛/소통/시간이라는 두가지 주제(어느 쪽이든 하나만 할 것이지 -_- )를 가지고 전시되고 있는 이번 전시에서는 기존의 미디어 아트 작품들에 비해 기술이 훨씬 다양하게 적용된 작품이 많아서 재미있었다. 특히 센서나 다른 기술들이 적용되기 시작할 때의 미디어 아트는 기술을 있는 그대로 - 즉, 센서는 스위치 대신, 프로젝터는 화면 대신, 홀로그램은 실체 대신 - 사용하고 있었지만, 이번의 전시에서는 그러한 기술들을 "작품 상의 표현"을 위해서 어떻게 사용해야 할 지에 대해서 많은 고민을 한 흔적을 보여주고 있다.

이번 전시에서 특히 흥미롭게 본 몇 가지가 인터넷에 올라와 있길래 올려본다.
... YouTube 대단하다... -.-+



우선, Pablo Valbuena라는 스페인 작가의 "증강된 조각 Augmented Sculpture" 이라는 시리즈 작품이다.



제목 자체가 'augmented'를 포함하고 있는 걸 봐도, 이 조각가(?)는 증강현실(AR) augmented reality 기술을 통해 작품을 고안해낸 게 분명하다. 흰색 물체 위에 프로젝터를 이용해서 표면질감을 투사하는 것은 AR 분야의 응용분야에서 많이 사용하는 방법이기도 하고. 이 조각에서는 프로젝션이 가능한 3면으로만 이루어진 입체 위에 빛과 색이 표현할 수 있는 모든 것을 "가상으로" 투사함으로써 그 존재감을 극대화하고 있다.

이 전시에서 개인적으로 가장 좋았던 장면은, 동영상에서는 뒷부분에 나오는 가상 광원이다. 조각이 있는 공간 어딘가에 가상의 광원이 있어서, 그로부터 나오는 빛이 조각을 비추는 모습을 투사하여 마치 그 광원이 눈에 잡히는 듯 하다. 멀리서 쏟아지는 빛으로 인해서 생기는 그림자도 멋있는 연출이었지만.

사실 (아마도) 간단한 3D 모델링 프로그램과 기본적인 애니메이션 도구만 가지고 만든 것 같은 영상물이지만, 그 연출이나 기술의 응용 측면에서는 정말 박수가 나오는 작품이었다. 기왕 하는 거, 이제 카메라를 이용한 인터랙티브한 측면을 보여주면 어떨까? ㅎㅎ



다음으로 인상적이었던 - 그리고 YouTube에 올라와 있는 - 작품은, Christa Sommerer와 Laurent Mignoneau라는 유럽 작가들의 "생명을 쓰는 타자기 Life Writer"라는 작품이다.



화질이 안 좋아서 느낌이 별로 안 오긴 하지만, 오래된 타자기의 자판과 종이를 앞뒤로 움직이는 다이얼, 좌우로 움직이는 레버에 각각 센서를 달아서 연결된 종이(스크린)에 투사하는 내용을 조작할 수 있도록 한 작품이다. 실제로 타이핑을 하면 글자가 찍히는데, 그걸 종이 끝에서 기어오는 "가상의" 벌레들이 집어 먹는다. 곧 벌레가 마구 몰려와서 글자를 치는 족족 집어 먹는데, 이럴 땐 다이얼을 돌려 종이를 올려보내면 벌레가 같이 밀려가기 때문에 잠시동안이나마 편하게 글자를 칠 수 있다.

... 이렇게 만들어 놓고 "Life Writer"라는 제목을 붙인 작가의 센스도 참 마음에 들거니와, 타자기를 치거나 다이얼을 돌리거나 레버로 타자기를 원위치 시킬 때, 각각 그에 맞는 동작과 소리를 내도록 한 그 노고가 참 훌륭하다. 다양하고 많은 수의 센서를 조합하는 것도 힘들었을 텐데, 그러면서도 완성도가 참 높은 구현사례랄까. (예술작품을 예술작품이라 부르지 못하고... OTL... )



끝으로, 우리나라 작가 중에서는 서효정 작가의 "테이블 위의 백설공주 Snow White on the Table"라는 작품이 눈에 띄었다.



흠... 사실은 동영상을 찾지 못했다. 위 동영상에서는 테이블 위의 터치센서 혹은 광센서를 이용해서 그냥 다양한 배경이 그려진 흰 테이블 위에 그림자 애니메이션 같은 것을 보여주고 있는데, 이번에 전시된 작품은 배경이 마치 소박한 무대배경처럼 두툼한 판으로 만들어져 세워져 있었고, 손으로 터치하는 방식이 아니라 직접 백설공주의 인형(피규어 샵에서 구입한 것을 바탕으로 만들어서, 하얗게 칠한 듯한 형태였다) 을 움직여 적당한 장소에 갖다놓으면, 광센서가 이를 인식해서 위 동영상과 같은 이야기를 보여주는 방식이었다.

프로젝션을 이용하면 어차피 쏟아지는 빛과 광센서를 조합하는 건 종종 있었던 일이라고 해도, 흰색의 백설공주 인형을 이용함으로써 진짜 기가 막힌 연출이 가능하게 되었다. 인형을 센서 위치에 올려놓으면, 그 인형의 "그림자"가 투사되고, 그 백설공주의 그림자가 움직여 그림자 애니메이션 속으로 들어가는 것이다. 그럼으로써 내가 움직인 인형이 로봇처럼 움직이지 않아도, 그 그림자를 매개로 이야기 속의 공간과 내가 사는 공간은 아주 잘 연결되어져 버린다.



그 외에도 국내 포털의 동영상 사이트를 뒤져봐도 많은 동영상이 나온다. 그 중에는 프로젝션을 복잡하게 구성해서 존재하지 않는 스크린을 마치 존재하는 듯이 보여주는 작품도 있고, 심지어 심박센서를 이용해서 그림을 그리는 듯 보여주는 (사실 작년에 HCI 학회에서 본 작품의 좀더 큰 버전이었지만) 작품도 있다. 하지만 우리나라로부터의 동영상 스트리밍은 영국의 느려터진 인터넷으로는 볼 방법이 없으니 올려봐야 뭐. ㅡ_ㅡa;;;

예술 분야에서도 이제 이런 입출력 기술을 마음대로 활용하고 있다는 생각이 든다. 예전처럼 그냥 가까이 가면 움직인다든가 하는 수준이 아니라, 그걸 이용해서 정말 인간의 감성을 건드리는 작품, 진짜 그 기술이 아니면 이런 걸 어떻게 표현할까 싶은 그런 작품이 나오고 있는 것이다.

예전에 터치스크린을 이용해서 연못과 금붕어들을 표현한 작품이 국내에 전시되고 2~3년쯤 뒤에 터치스크린 휴대폰을 위한 UI 기반기술 연구에 들어가면서, 그와 유사한 바탕화면 특허들이 국내외에서 확인이 되고 그 아이디어가 꽤나 칭찬받았던 적이 있다. 애당초 그 작품을 만들었던 작가가 그와 매우 유사한 휴대폰 바탕화면을 보고 어떤 생각을 했는지는 모를 일이지만, 앞으로 2~3년... 아니 그보다 훨씬 짧게, 이번 전시에 사용된 센싱 및 정보표시 방법들이 어느 곳에서 어떤 반응을 일으키게 될지 궁금하다. 남이 뿌린 씨앗이더라도 그게 싹을 틔우고 자라는 걸 보는 건 흐뭇한 법이니까. ㅎㅎㅎ (쩝 :d )
신고
Creative Commons License
Posted by Stan1ey
누군가 이런 걸 만들었나보다. 화면에 "붙이는" 물리적인 조작 장치. ㅡ_ㅡ;; 이름하여 SenseSurface 다.

SenseSurface Concept by Girton Labs

이렇게 구현될 수 있는 Tangible UI의 장점은 사실상 매우 크다. 원래 마우스로 커서를 조작해서 뭔가를 사용한다는 개념이 마치 작대기 하나를 손에 들고 사물을 움직이는 것과 같아서 불편하기 그지 없는데, 실제로 다양한 조작과 그를 위한 자연스러운 affordance를 제공해주는 tangible widget들은 같은 조작을 마우스로 하는 것보다 훨씬 자연스러운 interaction을 제공해 줄 것이다.
Prototype of SenseSurface

위 SenseSurface의 실제로 동작하는 프로토타입은 역시 위의 컨셉 사진보다는 크지만, 동작하는 동영상을 보면 사실 그 크기는 손에 넉넉히 잡힐 정도로 큼직한 것도 좋겠다는 생각이 든다.



Concept Prototype for SenseSurface
SenseSurface를 연구개발하고 있는 연구소의 홈페이지의 문구를 자세히 들여다보면, 사실 이 기술은 아직 해결해야 할 문제가 많은 것으로 보인다. 선전(?)문구 중간중간에 있는 자기장 관련 언급을 보면 결국 절대로 보여주지 않고 있는 저 LCD 스크린의 뒷면에는 자기장의 방향과 세기를 측정할 수 있는 센서가 가로세로로 줄지어 붙어있는 금속판이 있고, 지금은 다이얼 knob만 구현되어 있는 조작 장치들은 LCD 화면을 뚫고 그 금속판에 붙을 정도로 강력한 자석인 것 같다. 결국 다이얼을 돌리면 자기장의 방향에 변화가 생기고, 그로 인해 물리적인 입력이 센서 입력으로 바뀌어 뒤에 연결된 USB 케이블을 통해서 PC를 조작하는 신호로 제공되는 걸 꺼다.

그럼 결국 컨셉 사진처럼 센서를 다닥다닥 붙이면 서로 간의 간섭도 만만치 않을 듯 하고, 그게 특히 (홈페이지의 계획처럼) On-Off 스위치 같은 경우에는 더욱 민감하게 반응할 수도 있을꺼다. 일단 자석으로 스크린에 붙어야 하니까 서로 차폐하기도 쉽지 않을테고... 결국 센서에서 알고리듬으로 서로 간의 간섭을 보정해야 하는데, 그게 얼마나 정확하게 가능한 일일지 모르겠다.


그럼에도 불구하고, On-screen tangible control knob 이라는 건 상당히 매력적인 컨셉이다. 비록 그 제한적인 (오른쪽 회전 vs 왼쪽 회전) 입력에도 불구하고 손끝으로 미묘하게 조작하는 그 아날로그적인 느낌 때문에 영상이나 음악을 전문적으로 편집하는 사람들은 Jog Shuttle이 달린 조작 장치를 반드시라고 할 정도로 사용하고 있고, Griffin Technology의 PowerMate라는 장치는 단순히 음량을 조절하는 목적으로도 - 사용자가 다른 기능에 연동시킬 수도 있지만, 다이얼 돌리기에 적합한 기능이 달리 어떤 게 있을까? - 인기를 끌고 있다.

Video Editting Controller by Sony
PowerMate by Griffic Technology


그러니 만일 SenseSurface가 탑재된 노트북이 나와서, 화면에 뭔가 컨트롤을 턱턱 붙여서 tangible control을 할 수 있다면 어떨까? 뭐 사실 음량 조절 같은 것은 이미 많은 노트북에서 (물론 화면 밖이지만) 다이얼 등으로 조작할 수 있으니 제외하고, YouTube 동영상 옆에 붙여서 영상을 앞뒤로 돌려볼 수 있는 다이얼이라든가, 웹페이지를 보다가 붙여서 북마크로 저장할 수 있는 버튼이라든가, Google Earth에 붙일 수 있는 조이스틱이나 트랙볼 같은 것을 상상해 보면, 어쩌면 작대기 하나만 들고 한번에 한 클릭으로만 조작해야 했던 이 답답함이라는 것이 문득 몸서리쳐지게 불편해져서 tangible control에 대한 큰 니즈가 떠오를지도 모를 일이다.
신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.