Photo and Face Recognition

몇시간 전에 끝난 맥월드 키노트는 솔직히 실망이었다. 루머로 돌았던 것들은 (심지어 iPhone nano는 내노라하는 업체에서 벌써 케이스까지 발매하고 있었는데) 하나도 안 나왔는데, 그 덕택에 수많은 블로그 작가들과 YouTube 동영상들은 별 소리를 다 해가면서 실망을 감추지 않고 있다. 개인적으로도 스티브 잡스가 발표장에 안 나서자마자 이렇게 김빠지는 모습을 보이는 것에 대해서는 안쓰럽게 생각한다.

그런데, 전체적으로 맥빠지는 모습에도 불구하고, 발표된 제품 중 한가지는 정말 내 눈을 잡아 끌었다. (아마 이 블로그를 보신 분들은 예상하리라 생각하지만. :)

바로 iPhoto 09 버전에 얼굴인식("Faces")과 위치조회("Places") 기능이 포함되었다는 소식이다. 이미 iPhoto 08 에서부터 포함된, 촬영시간에 따른 자동 그룹핑 기능("Events")과 함께, 촬영된 사람을 얼굴로 판단해서 검색할 수 있게 해준다거나 지도 상에서 사진이 찍힌 위치를 표시해 주는 기능은 개인이 사진을 관리하기 위해 필요한 이상적인 기능을 마침내 모두 상용화 수준으로 구현했다고 하겠다.

이미 나만 해도 GPS가 달린 iPhone으로 사진을 찍어서 올리면 자동으로 Flickr 지도에 이미지가 표시되도록 하고 있고, 사진 중에서 같은 사람의 얼굴을 찾는 온라인 서비스는 벌써 몇년 전에 나온 적이 있었고(Riya.com인 줄 알았는데, 가보니 뭔가 이미지 검색 중심의 서비스로 바뀌어 있다), Flickr에 올린 사진들을 얼굴 중심으로 대신 tagging해 주겠다는 서비스라든가, Google의 Picasa Web Album에서 같은 기능을 제공하기 시작한지도 1년이 다 되어가는 등... 이 기능들 자체는 아주 새로운 게 아니다. 딱이 대용량 DB 같은 걸 다뤄야 하는 것도 아니니 기존에 서버 기반으로 하던 것을 PC 프로그램으로 만들었다고 호들갑 떨 것도 아니다.

어떤 기능들인지 한번 찬찬히 보자면, 다음과 같다.



결국 Places 기능은 iPhoto 프로그램 자체에 적당한 해상도까지 제공하는 전 지구의 지도를 넣어둔 것 같은데, 이건 참 용단이었다고 생각한다. 쉽게 Google이나 Microsoft와 제휴하는 수도 있었을 테지만, 사실 요즘의 Apple 같아서는 세간의 이목이 있어 그러기도 쉽지 않으려나. Flickr의 Geotagging 서비스를 사용해본 경험으로는 이게 사실 정확하게 찍히지 않던데(일정하게 한쪽으로 밀리는데, 그 방향이 지역마다 다르다. 아마 건물에 의한 GPS 전파 반사와 WiFi hotspot과의 잘못된 조합이 그 원인인 듯), iPhoto 09에서는 얼마나 정확할지가 궁금하다. 사실 데모만으로는 그다지 고해상도 지도까지 zoom in 해주지 않는 것 같고, 그렇다면 10~20m 차이는 눈에 띄지 않을 가능성이 높지만. (잔머리 굴린 거냐, 애플! -_-+ 훌륭하다!! )
(이 부분은 - 아래 리플에서 지적해 주신 것이 맞다 - 완전히 잘못 적었다. 구글 로고가 떡하니 박혀 있는데 뭔 헛소리;;; 단지 구글 맵을 온라인 상태에서만 쓰게 만들었을 것 같지는 않은데, 그렇다면 구글로서는 처음으로 그 DB를 로컬 장치에 저장하도록 한 사례가 될 꺼다. 만일 아니라면 온라인 상태에서만 지도를 볼 수 있을테니 그게 또 문제가 될테고.)

특히 이 Places 기능 중에서 지역들 간의 위계구조를 만들어서 incremental search를 할 수 있게 한 건 정말 훌륭한 발상이라고 생각한다. 단지 GPS 정보가 사진에 들어있다니 그걸로 멋진 기능 하나 만들어보세~라는 생각만으로는 나올 수 없는 부가적인 노력이고, 탁월한 선택이었다고 생각한다.


그에 비해 Faces 기능은 딱이 뭐 꼬집어 말할 게 없다. 얼굴인식을 이용한 사진 정리...라는 걸 생각하고 얼굴인식 엔진을 위한 효율적인 학습방법을 생각한다면, 가장 효율적으로 사용할 수 있는 방법을 잘 제시했다고나 할까. 얼굴인식을 하기 위한 UX(사용방법; UI; 기능)는 다음과 같이 설계되어 있다. (자세한 내용은 위 동영상이나, 애플 웹사이트에서의 동영상 안내를 보는 게 좋겠다.)

① 사진을 보면, 얼굴 위치는 자동으로 찾아져 있다.
--> 얼굴을 못 찾거나 위치가 잘못됐다면 수동으로 영역을 지정할 수 있다.
② 사용자가 얼굴 아래에 이름을 넣는다.
③ 한번 등록된 얼굴은 다른 사진에서 인식되면 이름이 나오지만, 사용자가 확정(confirm)하지 않은 상태로 표시된다.
--> 사용자는 확정버튼을 클릭하거나, 올바른 이름을 다시 등록할 수 있다.
④ 각각의 사진에 들어있는 각각의 얼굴들은 자동으로 인식/표시되며, 사용자는 여러 장의 사진/얼굴을 손쉽게 확정할 수 있다.

사실 주어진 조건 - 영상인식은 조명조건, 촬영각도, 그림자 등 많은 요인에 의해서 영향을 받는데, 특히 대동소이하게 생긴 인류의 얼굴을 판별해야 하는 얼굴인식은 두말할 필요 없이 어려운, 오인식이 발생하기 쉬운 상황이다 - 에서, 상당히 깔끔하게 잘 풀어낸 UI 디자인이라고 생각한다. 데모에서야 대부분 정면을 보고 있는 모습이니 인식이 잘 되고 있고, 딱 한번 보여주는 오류는 옆모습이니 그런가보다 하지만, 실제로는 어느 정도 돌아가거나 (누워있는 사진이라든가) 드라마틱한 각도에서 찍었거나 멀리서 찍었다거나 하는 경우에는 인식오류가 점점 문제시될 거고, 미안한 얘기지만 흑인 같은 경우에는 배경에 피부색과 비슷한 어두운 색이 많을 경우에는 실제로 인식률이 많이 떨어질 수 있다. 업계라면 이걸 보정하려고 적외선도 쓰고 카메라를 2개도 쓸 수 있지만, 일반적인 디지털 사진에 그런 정보가 있을리 없으니까. (사실 DSLR 같은 기기에서 쓰는 raw 포맷을 분석하면 적외선 대역이 조금씩은 들어있을 수도 있지만... 뭐 귀찮고 쓸 수 있는 수준이 아닐 수 있으니 통과 -_- )

하지만 뭐 이런저런 뻔히 예상되는 인식오류와 거기에 대한 거부감(Apple 쯤 되면 인종차별 소송 하나쯤 터지지 않을까나)에도 불구하고, 이런 기능을 가진 소프트웨어가 사용자의 PC에 깔릴 거라는 건 HTI의 긍정적인 측면에서도 부정적인 측면에서도 기대되는 사건임에 틀림이 없다.



얼굴인식과 위치인식을 이용한 사진앨범 관리 서비스... 사실은 같은 내용으로 6년 전쯤에 특허를 냈다가 담당자한테 퇴짜맞은 적이 있는데, 그 때의 지적이 맞는지 아직까지도 이 당연하고 훌륭한 조합에 대해서 제대로 아우르는 특허가 없다. 분명히 이 경우에도 상호보완 multimodal disambiguration 이 가능할테고, 즉 그 장소에 없을 것 같은 얼굴이 인식되거나 하면 그 적확률을 좀 낮춰본다든가 하는 내용(4차원 데이터 구조라도 나와야 하는건가... ㄷㄷㄷ )은 특허가 될 텐데 말이지. 뭐 그것도 그때라면 모를까 지금은 '이미 나온 서비스에 단순한 부가 조합'이 되겠네.

어쨋든 이런 특허 없는 서비스조차도, 왜 우리나라 기업에서 먼저 만들었다는 소리를 듣지 못하는지 모르겠다. 뭐가 IT 강국이야... 남들이 만든 표준에 남들이 제시한 방향으로 죽어라 따라잡기 바쁜데.

아 맞다. 이제 정부에서 IT 분야는 도움 안 된다고 지원 줄인댔지. ㅎㅎㅎ