How Google Measures Search Quality
검색 퀄러티를 평가함에 있어
사용자 클릭 정보 보다
대신 전문 rater들의 평가에 의존한다는 얘기
재미있는 건, 야후가 구글 검색 로그를 벤치 마킹해서 랭킹이 향상된 반면,
구글은 야후의 검색로그를 벤치마킹해서 랭킹이 외려 나빠졌단다.
흠. 그걸 판단할 사람이 없었다는?
여튼 테스트 셋, 퀄리티 향상의 기반이 되는 데이터가 아주 중요하다는 정도로 이해하면 좋을듯.
사용자 클릭 정보 보다
대신 전문 rater들의 평가에 의존한다는 얘기
They employ armies of "raters" who rate search results for randomly selected "panels" of queries using different ranking algorithms. These manual ratings form the gold-standard against which ranking algorithms are measured -- and eventually released into service.
재미있는 건, 야후가 구글 검색 로그를 벤치 마킹해서 랭킹이 향상된 반면,
구글은 야후의 검색로그를 벤치마킹해서 랭킹이 외려 나빠졌단다.
흠. 그걸 판단할 사람이 없었다는?
여튼 테스트 셋, 퀄리티 향상의 기반이 되는 데이터가 아주 중요하다는 정도로 이해하면 좋을듯.
