Nokia에서 출원한, 터치스크린과 압력센서(정확히는 force sensor)를 결합한 장치에 대한 특허가 공개되었다. 출원한 회사도 회사고 두 가지 센서를 결합했다는 사실 때문인지 상당히 주목을 받는 모양이다.

Nokia's Pressure-sensitive Multi-touch

인터넷 포털에 공개된 위의 이미지 외에도, 특허 원문을 보면 멀티터치와 압력 감지를 어떻게 구성하느냐에 따라 하드웨어적으로 두 가지 구성을 제시하고 있다. 아래에서 왼쪽은 화면 자체에서 멀티터치/압력감지를 하는 경우이고, 오른쪽은 화면과 별도로 터치 영역을 두는 경우이다.

Nokia's Pressure-sensitive Multi-touchNokia's Pressure-sensitive Multi-touch

화면을 건드리는 것 뿐만 아니라 얼마나 세게 누르느냐에 따라 다른 방식으로 UI를 사용할 수 있다는 건 분명 멋진 일이지만, 불행히도 이 특허는 등록될 것 같지 않다. 흠... 물론 제대로 심사된다면 이야기지만.

HTI 분야(이름이야 뭐가 됐듯;;;)에 관심을 가지고 있는 사람들 중 Sony CSL의 Interaction Lab에서 "PreSense"라는 이름으로 몇년에 걸쳐 연구한 내용을 기억하는 사람이 있을 것이다. PreSense에 대한 내용은 이제는 동경대로 자리를 옮긴 준 레키모토(Interaction Lab을 이끈 사람이다)의 웹사이트에 잘 정리되어 있으며, 초기의 연구에 대해서라면 이전의 포스팅에서 잠깐 다룬 적도 있다.

사용자 삽입 이미지

위 그림은 원래 PreSense2 라는 이름으로 발표됐던 모듈이다. 노키아의 특허와 동일한 하드웨어 구성에, 노키아의 경우 멀티터치가 가능한 정전압식 터치 스크린를 언급했다는 정도의 차이가 있을 뿐이다. 발명의 구성 중 일부를 기존에 있던 다른 것으로 바꿔넣음으로써 그 기존의 장점을 포함시켰다고 기술의 신규성/혁신성이 인정되지는 않는데다가, 사실 압력감지식 터치를 쓴 소니의 PreSense는 접촉면의 면적에 따라 명령의 모드를 바꾸는 제안(Bi-directional pressure control)까지 부가적으로 포함되어 있다. 일본에서 출원한 특허가 있었던 것 같은데 지금으로선 찾아볼 수 없고, 아래는 PreSense2가 발표된 CHI 2006에서 촬영된 사진이다.

PreSense 2 at CHI 2006PreSense 2 at CHI 2006

이번에 노키아에서 출원한 발명의 특허 문건에 의하면, 발명이 출원된 날짜는 2008년 4월 14일이다. 그리고 소니의 Interaction Lab에서 CHI 학회를 통해 아래 내용을 발표한 것은 2006년 4월 24일(학회 시작일 기준)이다. 일단 시기적으로 봐도 너무 늦었고, 멀티터치가 추가되었으면 가장 먼저 생각할 수 있는 개선사항인 "각 손가락의 압력을 따로따로 알 수는 없을까?" 라는 부분이 전혀 없다. 화면 주변의 압력센서 값들을 서로 비교하면 대략의 짐작은 할 수 있겠지만, Force sensor를 이용한 터치는 부정확할 뿐만 아니라 제한이 많아서 멀티터치 상황에서 큰 도움이 될 것 같지는 않다. 뭐 어떻게 생각하면 손가락 각각의 압력을 인지한다는 것이 사실 UI 설계 관점에서 큰 도움이 될만한 기능인지도 잘 모르겠고.

노키아에서 출원한 특허가 과연 등록이 될 것인가 어떤가 하는 것보다, 이렇게 터치센서에 압력을 추가하는 것이 관심을 받고 있다는 게 개인적으로는 더 반가운 소식이다. 압력감지는 이 블로그에서 종종 언급(만)하는 deep touch 개념의 중요한 구성요소 중 하나인데, 이렇게 하나씩 채워지다보면 굳이 글을 쓸 이유가 없어질지도 모르겠다. 쿠헐.


HTI나 특허에 관심있는 분이라면... 특히 모바일 장치에 관련된 사람은 위 노키아 특허를 출원한 발명자 Mikko Nurmi 라는 사람을 눈여겨 보자. 재미있는 특허가 나오면 습관적으로 발명자 이름으로 한번 검색을 해 보곤 하는데, 이 이름으로 특허를 검색해 보면 상당히 재미있는 특허를 많이  내고 있다. 그 하나하나가 훌륭한 발명이라고는 못 하겠지만, 그래도 연구의 흐름이 대략 보인다는 점에서 주목할 만하다고 생각한다. (뭐 하루 백명도 안 오는 블로그에서 이런 소리했다고 노키아에서 눈을 흘기진 않겠지 -_-a;; )
신고
Creative Commons License
Posted by Stan1ey

열흘쯤 전에, Apple이 iPhone의 Touch UI를 대상으로 낸 특허가 등록되었다. 이제 공식적으로 iPhone 및 iPod Touch에 적용된 UI 중에 어떤 것이 특허의 범위이고 아닌지를 판정할 수 있게 됐고, iPhone보다 낫다는 평을 들으며 떠오르고 있는 Palm Pre에 대해서 애플이 공개적으로 경고한 법적인 대응이 어느 정도 수준일지도 생각해 볼 수 있을 것이다. 많은 기사/블로그에서 - 요새는 이 둘을 구분하는 게 불가능하다 - 여기에 제1발명자로 Steve Jobs가 등록되어 있는 것에 대해서 "과연 잡스" 혹은 "CEO라고 올려준거라면 유효성에 영향" 정도의 주장도 하고 있지만, 솔직히 애플 내에서 잡스의 독재적 영향력이야 뭐 익히 알려진 정도이니 나는 그다지 문제삼을 내용은 아니라고 본다. 실제로 검색을 해봐도 "Steven P. Jobs"가 발명자로 등록된 50여건의 특허 중에서 잡스옹이 제1발명자인 경우는 심심찮게 볼 수 있다.

어쨋든 HTI 인지 UI 인지를 하는 입장에서 관심이 많이 갈 수 밖에 없는 특허이고, 그래서 이 특허문건(미국특허등록번호 7,479,949)를 좀 열심히 들여다보려고 했다가, 292쪽에 달하는 도면들을 보느라 몇시간이나 썼더니 그만 질려 버렸다. 할 일도 있는데 청구항까지 읽을 시간을 없어서, 그냥 눈에 띄는 그림 몇개를 스크랩하고 나머지는 숙제로 남겨두려고 한다. (숙제로 남겨둔다는 것과 나중에 그걸 어떻게 처리할 거라는 건 늘 별개의 일이다.)


(1) 개요

Apple iPhone Touch UI Patent: Overview
우선 이 특허는, 터치스크린이 달린 "휴대용 다기능 장치 portable multifunction device"에서 1차원 혹은 2차원적인 입력을 인지해서 화면 상태를 바꾸고, 입력된 명령에 따른 기능을 호출하는 구성을 가진 발명이다. 결국 전형적으로 '내가 내기엔 약해보이고 남이 내면 강력해보이는' UI 특허인 셈인데, ... 흠, 어쨋든 이제 iPhone에 적용되어 있어서 많은 업체에서 "터치스크린 UI는 원래 이게 표준"이라고 말했던 것이 그림의 떡이 되어 버린 셈이다. (쌍따옴표는 다른 사람의 말을 있는 그대로 인용했기 때문이다. 개인적으로는 인생을 바꿔주신 말이랄까.)

(2) 기본어플의 미구현 기능
Apple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic Apps
Apple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic AppsApple iPhone Touch UI Patent: Basic Apps
특허에는 현재의 iPhone OS 2.2.1 버전에도 구현되어 있지 않은 몇가지 기능들이 포함되어 있다. 이 기능들을 위 그림의 순서대로 보면,
* 이메일이 도착했을 때 몇가지 기준에 따라 정해진 폴더로 자동 정리해주는 기능(Outlook이나 Gmail에 있는 기능과 거의 비슷하다),
* 이메일을 읽을 때 데스크탑 소프트웨어에서처럼 목록과 내용을 한 화면을 나누어 보여주는 방법(몇 가지가 예시되어 있다),
* 어플리케이션에 따라 화면이 어두워지는 시간을 따로따로 조절할 수 있는 기능,
* 웹브라우저에서 특정 웹페이지를 초기화면에 아이콘으로 링크할 때 아이콘 모양을 바꿀 수 있는 기능(현재는 보고있던 화면모양으로 자동설정),
* 화면의 일부를 확대하거나 고정시켜 놓고 한손가락 스크롤은 배경을, 두손가락 스크롤은 확대/고정된 부분을 움직이도록 하는 기능(웹브라우저를 사례로 들고 있다)
... 등이 iPhone의 개발 당시에 논의 되었음을 알 수 있다. 구현된 기능 중에 어떤 것은 초기버전의 OS에는 포함되지 않았던 것도 있는데, 그렇다면 이 기능들도 앞으로 구현될 가능성이 높아 보인다.

(3) 터치입력 개선
Apple iPhone Touch UI Patent: Better Touch InputApple iPhone Touch UI Patent: Better Touch InputApple iPhone Touch UI Patent: Better Touch Input
상하 stroke 동작으로 스크롤을 할 때 정확하게 수직으로 움직이는 사람은 없으므로, iPhone을 써보면 자유 스크롤과 상하 스크롤 간에는 어느 정도 threshold가 설정되어 있다. 이 특허에 의하면 그게 아마 27도인 듯. 나름의 인간공학적 실험을 거친 결과인 듯 하고, 실제로 해봐도 그 정도 각도에서 자유/상하 스크롤의 판단을 가르는 듯 하다. 그 외에도 손가락이 접촉된 점에서 가까운 widget을 찾아서 그걸 선택한 것으로 인식하게 하는 방법(!)이라든가, 키보드를 통해 입력된 일련의 철자에 따라 다음 키보드 입력의 터치입력 가중치를 빈도만큼 늘려주는 방법(예전에 키노트에서 살짝 언급했던 내용이긴 하다)이 설명되어 있다.

(4) 터치GUI 개선
Apple iPhone Touch UI Patent: Touch-friendly GUIApple iPhone Touch UI Patent: Touch-friendly GUIApple iPhone Touch UI Patent: Touch-friendly GUI
아이폰의 터치UI가 꽤 보기는 좋지만, 사실 손가락으로 터치하기 위한 키보드 치고는 좀 많이 작은 게 사실이다. 이미 애플에서도 그런 논란이 없지 않았는지, 대안적인 키보드가 몇가지 등장하고 있다. 한번 누를 거 두번 누르게 되면 불편하긴 하겠지만, 신체적 조건이라든가 하는 이유로 꼭 필요한 경우도 있을테니 미리미리 적용해 줬다면 좋았겠다 싶은 기능이다.

(5) 센서입력 무시
Apple iPhone Touch UI Patent: Overriding Sensor InputApple iPhone Touch UI Patent: Overriding Sensor Input
중력(가속도)센서를 이용해서 화면을 돌려주는 게 멋지고 대체로 유용하긴 하지만, 사용자가 옆으로 누워있다거나 하는 경우에는 오히려 기계가 제멋대로 동작해서 쓸 수가 없는 상황이 연출되기도 한다. 물론 웹브라우저의 경우에는 완전히 180도 돌리면 어느 쪽으로 돌리느냐에 따라 옆으로 누워서도 볼 수 있지만, 그건 왠지 숨겨진 기능조차도 아니라 기계의 눈치를 보며 아쉬운대로 사용하는 느낌이랄까. 위 두가지 입력은 중력방향 회전을 override하고 싶을 때 사용하는 동작으로, MacBook에서도 적용되었던 두 손가락 회전 제스처와, 대각선 모서리 양쪽에 손가락(엄지)을 대고 바깥으로 움직이는 제스처를 제시하고 있다.

(6) Deep Touch
Apple iPhone Touch UI Patent: Deep TouchApple iPhone Touch UI Patent: Deep TouchApple iPhone Touch UI Patent: Deep Touch
결국 써야지 써야지 했던 내용이 이렇게 특허로까지 (조금이지만) 드러나고 있다. 앞부분에서는 iPhone에 사용된 GUI들만 지루할 정도로 나열하더니, 뒷부분으로 가면서 정전기식 터치스크린의 센서신호를 어떻게 GUI와 연동하는가에 대한 자세한 부분까지 다루고 있다. 여기서 이야기하고 있는 유사압력감지라든가 손가락의 근접에 따른 GUI의 반응이라든가 하는 내용이 소위 내가 중얼거리고 다녔던 터치 다음으로서의 'deep touch'인데, 그 일부가 위에 설명되어 있는 것이다. 이 발명에서는 손가락의 근접에 따른 점진적인 시각 피드백, 근접과 접촉에 대한 센서입력값의 기준치 설정, 명확하지 않은 입력에 대해 근접정보를 활용하는 방법 등이 기술되어 있는데, 손에 들려있는 iPhone 3G을 가지고 이리저리 실험을 해봐도 이 딥터치 부분은 실제로 구현되어 있지 않은 듯 하다. ... 사실 디바이스 드라이버부터 많은 부분을 다시 만들어야 할테니 그럴만 하기도 하지만. 개인적으로는 조금 맥 빠지지만 뭐 한편으로는 일단 방향은 맞는 듯 하니 다행이랄까. -,.-a



내가 이 특허에 포함된 그림들을 보면서, 현재 버전의 iPhone/iPod Touch에 적용되어 있지 않거나 잘 드러나있지 않는 내용을 찾아낸 것은 여기까지다.

비슷비슷해 보이는 그림들을 일일이 보면서 실제 구현된 화면들과 비교하다 보니 좀 지치기도 했고, 중간쯤부터는 이게 무슨 쓸데없는 옛버릇인가 싶어서 시큰둥해지기도 했으므로 조금 빼먹었을지도 모른다. 각 그림에 대한 상세한 설명은, 그림 속의 좀 눈에 띄겠다 싶은 숫자를  위에 링크한 특허원문에서 검색해 보면 쉽게 찾아볼 수 있으니, 관심있는 사람은 좀더 열심히 읽고 틀리거나 빠진 부분이 있으면 리플 달아주시면 여러 사람(약 10여명 -_- )에게 도움이 되겠다. 그리고 무엇보다 특허는 도면이 아니라 청구항 claim 에 의해서 정의되는 만큼, 그냥 훑어보기 쉬운 그림만 보는 것으로 섣불리 기술적인 판단을 하지는 말기를.

이 글에 포함된 그림은 모두 위의 파일(PSD)에 저장되어 있다. 어차피 나야 가지고 있어봐야 짐만 되니까, 어느 친구의 퇴근시간에나 도움이 되면 좋겠다.

 




끝으로, 그림을 보다가 재미있는 부분 몇가지.
Apple iPhone Touch UI Patent: Conference CallApple iPhone Touch UI Patent: Bart SimpsonApple iPhone Touch UI Patent: Flash Was Planned

그동안 아이폰을 쓰면서도 다자간 통화 conference call 가 지원된다는 사실은 까맣게 잊고 있었다. 위의 첫번째 화면은 위 글에 포함시키려고 일단 저장해 두었다가, 뭔가 찜찜해서 찾아보니 처음부터 존재했던 기능이라길래 머쓱했다. 생각해보니 처음 아이폰을 발표했을 때 키노트 내용 중에도 있었던 것 같기도 하고, GSM에서는 쉽게 되지만 CDMA에서는 구현이 어렵다든가 하는 이야기도 나눴던 것 같기도 하고 뭐 그렇다. 어물쩍 넘어가자. =_=;;;

두번째 화면은 바트 심슨 Bart Simpson 이 난데없이 나왔길래 저장했다. 이 특허에서는 대부분 실명같은 이름(Bruce Walker는 도대체 누굴까)이나 노골적인 익명(Jane Doe)이 등장하는데, 아마 이 장면에서는 "B"로 시작하는 이름이 하나 더 필요해서 문득 넣은 것 같다. ㅎㅎ

세번째 화면은 웹브라우저에서 멀티미디어 컨텐트를 보여주는 방법인데, 한쪽에 버젓이 플래쉬 로고가 포함되어 있다.
스티브 잡스가 아이폰에서의 Flash 구동에 대해서 부정적인 발언을 했음에도 불구하고, 사실은 당연히 내부적으로는 준비를 하고 있었던 것으로 보인다. 아마 잡스옹의 그 발언은 Adobe와 Apple 중 누가 그 독점적인 플러그인을 개발해 넣을 것인가에 대한 소모적인 논의 끝에 불거진 불평 아니었을까. 이런이런.



이제 진짜 끝. 이제 그만 놀고 다시 일해야지 일. ㅡ_ㅡa;;;
신고
Creative Commons License
Posted by Stan1ey

Motion War Begins?

2008.08.22 23:08

지난 20일, Hillcrest Labs에서 자사의 특허를 침해했다며 Nintendo를 고소했다고 한다. 보통은 잘 알려져 있지 않은 이 작은 회사는, 홈네트워크를 조작하기 위한 - 결국은 TV에 나타난 복잡한 메뉴들을 조작하기 위한 - 방편으로 다양한 "The Loop"라는 이름의 장치를 사용하고 있다. 이 리모컨 장치는 결국 공간 마우스인데, 아래 사진과 같이 잡기 편한 형태를 가지고 있다. (그 이름이 어떻게 지어졌는지를 쉽게 알 수 있다. ㅎㅎ )

The Loop from Hillcrest Labs
이렇게 공간에서 마우스질 -_- 을 시키려면 기술적으로 불편한 점이, 사용자가 마우스를 똑바로, 즉 지표면과 평행하게, 화면에 수직으로, 손목은 일직선으로;;; 잡지 않으면 이후의 센서신호 처리가 좀 복잡해진다는 것이다. (예전의 글에서 인용한 동작인식 휴대폰의 그림을 참조) Hillcrest Labs의 특허기술은 바로 여기에서 빛을 발한다. 이번에 Nintendo를 상대로 제소한 4건의 특허Hillcrest Labs의 최대 밥줄이라고 볼 수 있는 미국특허 7,158,118 문건을 좀 열심히 들여다 보자.

Images from Hillcrest Labs' core patentImages from Hillcrest Labs' core patentImages from Hillcrest Labs' core patent

이 특허는 위 첫 그림과 같이 가속도 센서(506) 외에 2개의 '회전 센서'(502, 504)라는 걸 장착함으로써, 사용자가 리모컨 혹은 마우스를 어떻게 '기울여' 잡고 있느냐를 인식해서 가속도 센서로부터의 움직임을 보정한다. 즉 위 두번째 그림과 같은 경우에는 회전 센서가 필요없겠지만, 세번째 그림과 같이 '기울여' 잡고 있으면  (손모양의 차이에 주목!) 리모컨/마우스를 똑바로 움직여도 커서는 위로 날아가 버리는데, 이 '보정기술'을 적용하면 커서를 사용자가 원한대로 움직일 수 있다는 것이다.
Logitech MX Air - 3D spatial mouse

이 기술은 FreeSpace 라고 이름붙여져 있으며, 로지텍의 공간 마우스인 MX Air 라는 기종에도 적용되어 있다.



문제는 Hillcrest Labs가 Nintendo를 상대로 지금 특허소송을 한 이유가 뭘까 하는 거다. Hillcrest Labs의 기술에서는 '회전 센서'라고 다소 애매하게 말하고 있지만, 사실 특허본문에서 인용하고 있는 센서모델은 자이로 센서이다. 어쩌면 내가 지난번에 성급하게 예측했던 것과 달리, MotionPlus는 단지 회전만을 감지하는 자이로 센서 모듈일지도 모르겠다. 가속도 센서를 덧붙이는 것과 자이로 센서를 덧붙이는 것에는 각각 장단점이 있지만, 이제 와서 생각해 보면 자이로 센서를 넣는 편이 계산도 간편하고 비용도 쌀지 모른다. 좀더 복잡한 동작인식을 가능하게 해주지는 않으니 응용할 수 있는 방법은 적겠지만, 그래도 "하나 더 넣어봤어요" 보다는 "새로운 센싱을 추가했어요"가 낫지 않겠는가. ㅎㅎㅎ

어쨌든, 닌텐도가 실제로 자이로 센서를 넣은 MotionPlus를 발매한다고 해도, Hillcrest Labs가 이번 소송으로 얼마나 얻을 수 있을지는 모르겠다. 일단 이름은 좀 알리고 주가는 좀 오를지 모르겠으나, 닌텐도의 주된 pointing 방식은 적외선 영상을 이용한 vision processing에 기대고 있기 때문에 위에서 검토한 Hillcrest Labs 특허의 제목이 "3D pointing devices with orientation compensation and improved usability", 즉 화면 상의 포인팅을 목적으로 하고 있는 이상 단지 같은 센서를 썼으니 돈 내놓으라고는 할 수 없는 것이다.

뭐 어느쪽이든, 최근 몇 년간 굵직한 특허소송의 주인공이 되고 있는 닌텐도는 미국시장을 잠식해 들어가는 대가를 혹독하게 치루는 중이다.

신고
Creative Commons License
Posted by Stan1ey

NY Times의 David Pogue가 이번에는 맥용 음성인식기 - 정확하게는 dictator - 를 소개했다. 기본적으로 말하는 대로 받아적고, 음성으로 프로그램 명령을 할 수 있는 등 일반적인 음성인식 보조 어플리케이션과 다를 건 없지만, 훌륭한 선례를 만들어가고 있는 PC용 어플리케이션인 Nuance사의 Dragon NaturallySpeaking 9과 비교하면 몇가지 좋은 Voice UI feature가 빠져 있다. (그나저나 이 PC용 음성인식기는 회사를 합병하고 부서를 팔아넘기고 하는 와중에도 절대 이름을 줄이거나 바꾸지 않고 고집스럽게 지켜서, 참 어려운 이름으로도 1등을 하고 있다. -_-;; )

사용자 삽입 이미지

다른 기사에서 소개한 바에 따르면 이 회사에서도 앞으로는 Nuance사의 엔진을 licensing 해서 쓴다고 하는데, 그건 음성인식엔진의 성능 차이라기보다 (실제로 위 동영상을 보면, 현재의 Philips 엔진도 상당히 인식률이 높아 보인다) 아마도 Nuance사가 확보하고 있는 방대한 분량의 Voice UI 관련 특허들 때문이 아닐까..하고 믿고싶은 마음이다. (근데 아마 정말로 그럴꺼다)

실제로 동영상 중에서는 기존의 Nuance Dragon NaturallySpeaking을 사용하는 모습과 몇가지 특유의 기능을 보여주는데, Nuance사에서 이미 이런저런 방식에 대한 Voice UI 특허는 이미 떡밥 뿌리듯 잔뜩 뿌려놓았으니 다른 회사에서 접근하기는 이제 영영 그른 게 아닐까 싶기도 하다. 쩝. :-d



신고
Creative Commons License
Posted by Stan1ey

BLOG main image
by Stan1ey

카테고리

분류 전체보기 (347)
HTI in General (45)
User eXperience (11)
Voice UI (50)
Vision UI (14)
Gesture UI (25)
Tangible UI (28)
Robot UI (14)
Public UI (9)
Virtuality & Fun (56)
Visual Language (15)
sCRAP (70)

글 보관함



www.flickr.com
This is a Flickr badge showing public photos and videos from Stan1ey. Make your own badge here.