좋은 데이터 분석(Data Analysis) 강좌 발견하여 공유. Coursera 좋은 강좌 많네요. 영어가 좀 걸리긴 하지만, 영어 공부한다 생각하고 도전해도 괜찮을 듯.

Coursera 아직 직접 들어본 적은 없는데, 이런 강좌들 보니 앞으로 교육 형태의 변화 실감되면서 관련 기사가 생각나고,
- “5년 안에 새로운 교육을 받게될 것” 온라인 교육시장의 리더, 코세라의 사례로 보는 미래의 교육 산업 (http://platum.kr/archives/15670)

IBM 이 예측한 5년 후 우리 삶의 변화 중 교육의 변화도 생각이 나구요. 
- "클라우드·소셜·빅데이터 기반 시스템… 5년 후 우리 삶 바꾼다" (http://review.chosun.com/site/data/html_dir/2013/12/18/2013121803538.html?outlink=twitter)

그러고 보니 둘 다 5년 후네요. 5년 후엔 어떤 변화 있을지 정말 궁금. 

데이터 분석(Data Analysis) 관심 있는 분은 위의 Coursera 강좌 교수인
존스 홉킨스의 Jeff Leek 교수가 수업 자료 공개했으니 참고하시고,
- 강의 동영상(http://bit.ly/16PPtuI)
- 강의 자료(https://github.com/jtleek/dataanalysis)

데이터 분석 소개하는 짧은 동영상 맛보기로 보셔도 좋을 듯. 
- http://simplystatistics.org/2013/01/10/the-landscape-of-data-analysis/

버클리 대학의 검색 수업 (2007)

HCI 분야 및 검색 사용자 인터페이스(searchuserinterfaces.com)로 유명한  Marti A. Hearst(http://people.ischool.berkeley.edu/~hearst/) 교수가 주관한 수업으로

수업명은 "Search Engines: Technology, Society, and Business"로

아래 링크에서 볼 수 있다. 

http://courses.ischool.berkeley.edu/i141/f07/index.html

수업 내용 구성을 보면 알겠지만,

검색 기본 개념 보다, 야후, 구글, MS 등 현업 종사자들이 검색 이슈들에 대해 이야기하는 내용으로,

생생한 검색 이슈들을 접할 수 있다.  

며칠 전에 구글의 의미 검색 관련 기사를 보고 정리하고 있었는데, 오늘 구글의 지식 그래프(Knowledge Graph) 런칭 소식.

지식 그래프(Knowledge Graph)는 구글에서 이야기 해 온 Semantic Search나 Universal Search와 기본적으로 같은 개념을 바탕으로 한다. 

우선, 여러 의미를 가진 검색어에 대해 명확한 것을 찾을 수 있게 해 주는 것. 

예. "Andromeda"라고 검색했을 때, 별자리인지, TV 시리즈인지, 것도 아니면 음악 밴드인지 쉽게 찾을 수 있게 해주는 것. 

또 하나는 검색어에 대한 결과를 링크로만 제공하는 대신 관련 정보들을 잘 정리해서 보여 주고 연결 고리를 제공해 주는 것.

예. "Marie Curie"를 검색했을 때, 관련 링크와 더불어 퀴리 부인과 관련된 다양한 정보들의 링크를 정리해서 보여주는 것.

Knowledge Graph는 웹페이지간의 링크에서 개체(entity, 사람, 사물 등)들 간의 링크 개념으로 발전한 것으로 이해하면 될 것 같다.

검색은 점점 사람들에게 정보를 "얼마나 잘 떠먹여 줄 것이냐"의 경쟁으로 가고 있고,
(사람들이 얼마나 직관적이고 편하게 사용할 수 있느냐는 비단 검색만은 아니겠지만)

구글 의미 검색에 관해서도 이야기 했지만, 사실 네이버나 다음과 같은 국내 통합 검색에서는 일부 이미 구글에서 말하는 형태로 보여주고 있다고 볼 수 있다. 예) "이효리", "이효리 나이는?". 

그러나 결국은 데이터 구축이 관건이고, 이것을 어떻게 기술적으로 잘 풀어서 커버리지를 늘려갈 것이냐가 핵심.

어쨌든 조용한가 싶더니 꾸준한 구글.  

Knowledge Graph 소개 동영상 링크 

관련기사

Google Just Got A Whole Lot Smarter, Launches Its Knowledge Graph

CNN의 제목이 흥미롭다 

Google search to become more human

구글이 의미 검색(semantic search)을 활용하여 검색을 개선하고 있다는 기사 (원문: Google Gives Search a Refresh)

1. 먼저 검색어를 사람, 장소, 물건 등과 같은 수백만 entity들과 잘 매치해 주는 것. 

예를 들어, "타호 호수(Lake Tahoe)"를 검색하면 관련 링크 리스트만 보여주는 현재 방식 대신, 타호 호수의 위치, 고도, 평균 온도, 염분등과 같은 주요 속성들도 함께 보여주는 것. 

2. 또 하나는 "What are the 10 largest lakes in California?" 와 같은 질문형 검색에 링크보다는 직접적인 답을 주는 것.

현재 구글은 웹검색에서 뒤따르는 MS를 견제하며 선두를 지키고 있고, 애플의 모바일 음성 검색 Siri를 쫓고 있으면, 상품 검색(product search)과 같은 니치마켓에서 라이벌과 싸우고 있는 상황.

의미 검색을 통해 사람들이 twtitter나 facebook 과 같은 소셜 네트워크 서비스에서 보다 검색에 머무르는 시간이 늘어날 것이라 기대하고 있고,

2010년에 이미 1200만 정도의 entity를 가진 Metaweb Technologies를 인수하여 (위키피디아의 영문 entity가 350만 정도) 웹으로부터 정보 추출 알고리즘(extraction algorithms)을 사용하여 현재 2천만 가량의 entity를 보유하고 있다고 한다. 

이는 지난달 나온 구글의 검색 변화 내용 중 "Universal Search" 부분과도 일맥상통하는 내용이기도 하다 (참고: Breaking Down 50 New Google Search Changes).

구글이 얘기하는 의미 검색은, 사실 국내 통합 검색에서는 이미 어느 정도 그렇게 "보여"주고 있는 방식이기도 하다. 예) "이효리", "이효리 나이는?". 

문제는 이 커버리지를 확대해 가는 '방법'이고, 이걸 얼마나 '기술적으로' 잘 풀어갈 것이냐가 관건인 것. 

구글이 어떤식으로 풀어갈지, 어느 정도까지 보여줄지 기대된다.

이베이와 월마트의 상품 검색(Product Search)

이베이와 월마트가 아마존에 대응해서 검색 엔진을 개선하고 있다는 소식.

1. 이베이

이베이는 카시니(Cassini)라는 새로운 검색엔진을 준비 중이다. 

현재 검색엔진인 보이저(Voyager)는 10여년전에 만들어졌고,
2008년에 CTO로 취임한 Mark Carges가 "iPod" 검색결과로 iPod어댑터가 탑 검색 결과로 뜨는 것을 보고 경악하여,

이후 MS Bing의 엔지니어등을 영입하여 150명 가량으로 3배가량 엔지니어를 늘려서 새로운 검색 엔진을 준비 중인 상황.

보이저(Voyager)가 상품의 제목 위주로만 검색하는 형태로 직관적이지 않고 literal 하였다면, 

카시니 (Cassini)는 검색어를 이해하는 방향으로, 구체적으로 다음과 같은 특징을 가진다.

• 상품 제목만이 아닌 상품 옵션이나 설명(description)도 전체 검색  
• 쿼리와 상품 사진 매칭
• 판매자와 구매자에 대한 정보 고려 
• 과거 구매한 히스토리와 브라우징 히스토리 데이터를 이용해서 좀 더 의도에 맞춤 검색 
• 예를 들어, 쇼퍼가 "HP"라고 검색어 입력했을 경우, 이것이 horsepower 를 의미하는지 Hewlett-Packard Co,를 의미하는지 알 수 있게 되는 것. 

"프로그래머와 큐레이터로서 인간의 역할이 사라지는 일은 일어나지 않을 거에요. 컴퓨터가 절대로 따라올 수 없는 부분이 있으니까요. 그게 바로 인간의 요소, 인간만이 떠맡을 수 있는 부분이죠"

알고리즘은 대량의 자료를 수집하는 데 유용합니다. 어떤 글이나 동영상을 몇 명이나 보는지 계속 지켜보면서 숫자, 링크. 클릭수, 리트윗수 등을 계산하기에 적합하죠. 여기에서 인간은 경쟁이 안됩니다. 대신 인간의 뇌는 패턴을 인식할 수 있죠. 우리는 길 건너 나무를 보고 바로 그게 나무란 걸 알 수 있어요. 그러나 컴퓨터는 몇 시간 동안 나무 이미지를 보고 상당한 처리 시간을 거쳐야만 그게 나무란 걸 인식합니다. 그때 이미 우리는 그게 소나무이고 말라 죽어가고 있다는 사실까지 파악해내죠.

구글 검색 품질 평가 자료 찾은 내용 간단하게 공유합니다. 

구글은 전세계 곳곳의 Human evaluator들을 선발해서 검색 품질 평가를 하고 있고 (http://allthingsd.com/20090603/google-and-the-evolution-of-search-scott-huffman/)

역시 구글답게 장장 125 페이지에 이르는 품질 평가 가이드 라인에 맞춰 평가하도록 교육하고 있습니다.

간단하게 보면, 

쿼리를 일반적으로 알려진 아래의 3가지 분류해서 

* Navigation Queries – “Go” : 홈페이지나 사이트 찾아가는 니즈 쿼리. 우리로 치면 바로가기, 사이트성 

* Action Queries – “Do”, : 다운로드 받거나 물건을 사는 등등의 액션을 취하기 위해 검색하는 니즈. 

* Information Queries – “Know”, : 일반적인 정보 찾는 니즈.

대략 다음과 같은 scale 로 평가합니다.

* useful     : 매우 유용

* relevant  : 유용

* slightly relevant  : 약간 유용

* off-topic / useless : 관련없거나 전혀 유용하지 않음.

이외에 공식 홈페이지에 대해서 "vital" 스케일로 별도 평가하고,

스팸(Not Spam, Maybe Spam, Spam)이나 음란/악성 여부(Porn, Malicious)를 별도 플래그로 표시합니다. 

일반적인 웹검색 평가 기준이라 한국의 통합검색이나 로컬 등 버티컬 검색 평가 기준에 아주 들어맞지는 않지만, 체계성과 정교한 가이드는 역시 구글이네요.  

참고)
구글 검색 품질 평가 관련 예전 글
* Google and the Evolution of Search

* 구글 검색 품질 평가 방법 (How Google Measures Search Quality)

무엇보다 바로 주변 음식점, 카페, 술집 등을 선택해서 볼 수 있는 점이 좋음.

그리고 “Directions to here”로 바로 찾아 볼 수 있게 되어 있는 점과.

 이처럼, 모바일에서는 기능은 다 있어도, 어떻게 접근 경로를 잘 만들어 줄거냐(사용성)가 특히 더 중요.