구글 검색 품질 평가 자료 찾은 내용 간단하게 공유합니다. 

구글은 전세계 곳곳의 Human evaluator들을 선발해서 검색 품질 평가를 하고 있고 (http://allthingsd.com/20090603/google-and-the-evolution-of-search-scott-huffman/)

역시 구글답게 장장 125 페이지에 이르는 품질 평가 가이드 라인에 맞춰 평가하도록 교육하고 있습니다.

간단하게 보면, 

쿼리를 일반적으로 알려진 아래의 3가지 분류해서 

* Navigation Queries – “Go” : 홈페이지나 사이트 찾아가는 니즈 쿼리. 우리로 치면 바로가기, 사이트성 

* Action Queries – “Do”, : 다운로드 받거나 물건을 사는 등등의 액션을 취하기 위해 검색하는 니즈. 

* Information Queries – “Know”, : 일반적인 정보 찾는 니즈.

대략 다음과 같은 scale 로 평가합니다.

* useful     : 매우 유용

* relevant  : 유용

* slightly relevant  : 약간 유용

* off-topic / useless : 관련없거나 전혀 유용하지 않음.

이외에 공식 홈페이지에 대해서 "vital" 스케일로 별도 평가하고,

스팸(Not Spam, Maybe Spam, Spam)이나 음란/악성 여부(Porn, Malicious)를 별도 플래그로 표시합니다. 

일반적인 웹검색 평가 기준이라 한국의 통합검색이나 로컬 등 버티컬 검색 평가 기준에 아주 들어맞지는 않지만, 체계성과 정교한 가이드는 역시 구글이네요.  

참고)
구글 검색 품질 평가 관련 예전 글
* Google and the Evolution of Search

* 구글 검색 품질 평가 방법 (How Google Measures Search Quality)

I. Human Evaluators — Google Engineering director Scott Huffman

1. 구글 "검색 품질 평가 팀"에 관한 얘기
• 초반에 세르게이의 favorite 10쿼리 에서 출발하여 현재 검색 품질 관리에 이름
• 여기에서 평가된 검색 품질은 알고리즘 개선에 활용되긴 하지만 직접적으로 영향 미치지 않음.
• 검색품질이 좋다는 것은 결국 "사람"이 아는 것이므로.
• 아마도 머신러닝 데이터로 활용할 듯.
  알고리즘 팀이 하는 건.. 중요한 팩터는 뽑아야 할거고, 머신러닝을 통해 개선하지 않을까.
2. 더보기
   접기

   no longer solely and automatically determined by the company’s vaunted algorithms. Now they simply “relied heavily” on them
   
   So Google’s objective evaluation and ranking of Web sites is to some extent defined by subjective reasoning of a collective human intelligence
   
   Things like “tell us how good you think this result is for this query.” And then out of the data, we produce a set of aggregate metrics that we look at and that we can track over time.
   
   But ultimately, the real quality control is done by the folks who are working on ranking and search UI.
   
   The evaluation program really just gives our engineers an aggregate measure of how good their algorithms are so they can improve them.
   

   접기
   
   

II. Cheating the System — Google software engineer Matt Cutts

1. 어뷰징, 스팸 등 문서/사이트 퀄러티에 관한 얘기
2. 역시나 사람 손을 태우느냐에 대한 부분 질문 
   

   we are sometimes willing to take manual action on those sorts of policy violations. But Google’s philosophy is that wherever you can use machines and algorithms

   
   
3. 인상적인 건, 언젠가 사람이 개입하지 않을 날이 올까? 에 대한 Matt cutt의 답변
   

   our intent is always to try to make sure that we handle things efficiently with machines and algorithms. But I don’t know that we will ever get there completely.
   

4. 나도 매우 동감 최대한 효율적이어야 하지만 사람을 완전히 뺄 수 있을까. 

III. What’s Next in Search? Much, Much Better Search — Google Fellow Amit Singhal

• recall & precision
• recall => precision =>combination of recall and precision
• search evaluation
• human evaluator
• how fresh is the document? How relevant? How useful?
• Whatever type of content is relevant to you should just show up in your search results
• 이거야말로 통합검색 아닌가.
  

• 구글랩 infoview 추가
  
  http://www.google.com/views?q=second+life+view%3Ainfo&vwms=&vwme=&btnGi=Search
  
  구글랩에서 기존 timeline, map view외에 이번에 추가로 info view를 추가
  오른쪽에 보면 옵션별로  date, measurement, location, image 들을 클릭하면 검색 결과 페이지에서 해당 정보들 위주로 써머리&하이라이팅 해서 보여주는.
  
  검색결과 디스플레이에도 다양한 시도와 사용자 편의성을 고려/고민하는 구글
  (아 어느 세월에...)

Cutts on NYT Human Search Story 
지지하고 싶은 포스트. 사람을 빼고 기술을 논할 수 있단 말인가.
단지 사람들의 경험과 지혜를 얼마나 체계적으로 버리지 않고 반영할 수 있는가.. 그게 관건일뿐

NYT의 원본 기사
The Human Touch That May Loosen Google’s Grip 

Cutt인터뷰
A Brief Interview with Google's Matt Cutts
Do you think there is a growing role for human presence in Google's online technologies?

Cutt이 운영하는 블로그의 글
http://www.mattcutts.com/blog/the-role-of-humans-in-google-search/

네이버 '끝음절 검색어' 랭킹 서비스 제공