이미지 결과를 기반으로 한 쿼리 분류

Google은 최근 이미지 결과 기반 쿼리 분류에 대한 특허를 취득했습니다.

이 특허는 "인터넷 검색 엔진은 이미지 검색 시 일련의 이미지 검색 결과를 반환하여 사용자의 검색 쿼리에 응답하여 인터넷에 액세스할 수 있는 리소스(예: 웹 페이지, 이미지, 텍스트 문서, 멀티미디어 콘텐츠)에 대한 정보를 제공합니다. 질문에 대한 답변입니다."

검색 결과에는 예를 들어 이미지의 URL(Uniform Resource Locator) 또는 이미지와 정보 스니펫이 포함된 문서가 포함됩니다.

스코어링 기능을 사용하여 SERP 순위 지정

검색 결과는 채점 기능에 의해 할당된 점수에 따라 순위가 매겨질 수 있습니다(예: 순서대로).

스코어링 기능은 다양한 신호에 따라 검색 결과의 순위를 지정합니다.

• 이미지를 둘러싼 문서 텍스트에서 쿼리 텍스트가 나타나는 위치(및 빈도)
• 아이디어에 대한 이미지 캡션 또는 대체 텍스트
• 검색 엔진에서 색인을 생성한 검색 결과에서 쿼리 용어의 표준 정도입니다.

일반적으로 이 특허에 설명된 주제는 다음을 포함하는 방법입니다.

• 제1 쿼리에 대한 제1 이미지 결과로부터 이미지 획득, 여기서 획득된 이미지가 쿼리에 대한 검색 결과일 때 획득된 이미지와의 사용자 상호작용을 나타내는 점수 및 사용자 행동 데이터와 연관된 획득된 이미지의 수
• 임계값을 만족하는 각각의 행동 데이터를 갖는 획득된 이미지의 수 선택
• 선택한 이미지의 콘텐츠 분석을 기반으로 선택한 첫 번째 이미지를 여러 주석과 연결

여기에는 다음 기능이 선택적으로 포함될 수 있습니다.

첫 번째 쿼리는 주석을 기반으로 카테고리와 연관될 수 있습니다. 쿼리 분류 및 주석 연결은 나중에 사용할 수 있도록 저장할 수 있습니다. 첫 번째 쿼리와 동일하거나 유사한 두 번째 쿼리에 응답하는 두 번째 이미지 결과가 수신될 수 있습니다.

두 번째 이미지 각각은 점수와 연결되고 두 번째 이미지는 첫 번째 쿼리와 관련된 범주를 기반으로 수정될 수 있습니다.

쿼리 분류 중 하나는 첫 번째 쿼리가 1인 쿼리 라고 명시할 수 있으며 두 번째 이미지 세트에 단일 얼굴이 포함되어 있다고 주석이 있는 두 번째 이미지의 점수를 높일 수 있습니다.

하나의 쿼리 범주화는 첫 번째 쿼리가 다양 하다고 명시하고 두 번째 이미지의 집합이 다양하다고 주석이 있는 두 번째 이미지의 점수를 높일 수 있습니다.

카테고리 중 하나는 첫 번째 쿼리가 텍스트 쿼리 라고 명시하고 두 번째 이미지의 집합에 텍스트가 포함되어 있다고 주석에 표시되는 두 번째 이미지의 점수를 높일 수 있습니다.

첫 번째 쿼리는 범주에서 쿼리 분류를 결정하기 위해 훈련된 분류기에 제공될 수 있습니다.

선택된 제1 이미지의 콘텐츠의 분석은 주석 내의 주석을 결정하기 위해 제1 이미지 결과를 클러스터링하는 것을 포함할 수 있다. 사용자 행동 데이터는 사용자가 첫 번째 쿼리에 대한 검색 결과에서 이미지를 선택한 횟수일 수 있습니다.

이 특허에 설명된 주제는 다음과 같은 이점을 실현할 수 있도록 구현될 수 있습니다.

이미지 결과 세트를 분석하여 이미지 주석 및 쿼리 분류를 도출하고 이미지 검색 결과와의 사용자 상호 작용을 사용하여 쿼리 유형을 도출할 수 있습니다.

쿼리 분류

쿼리 카테고리는 결과적으로 이미지 검색 결과의 관련성, 품질 및 다양성을 향상시킬 수 있습니다.

쿼리 분류는 쿼리 처리의 일부로 또는 오프라인 프로세스에서 사용할 수도 있습니다.

쿼리 범주는 "얼굴이 있는 이미지만 표시" 또는 "클립 아트만 표시"와 같은 자동 쿼리 제안을 제공하는 데 사용할 수 있습니다.

이미지 결과에 따른 쿼리 분류
발명가: Anna Majkowska와 Cristian Tapus
양수인: GOOGLE LLC
미국 특허: 11,308,149
부여: 2022년 4월 19일
출원일: 2017년 11월 3일

추상적인

이미지 결과에 기반한 쿼리 분류를 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 장치.

일 양태에서, 방법은 질의에 응답하여 이미지 결과로부터 이미지를 수신하는 단계를 포함하고, 여기서 각각의 사진은 제1 질의에 대한 검색 결과로서 이미지 결과 및 이미지에 대한 개별 사용자 행동 데이터의 순서와 연관되고 선택된 제1 이미지 콘텐츠의 분석에 기초한 복수의 주석을 갖는 제1 이미지.

쿼리에 대해 반환된 결과 집합을 개선하기 위해 쿼리 분류를 사용하는 시스템

컴퓨팅 장치에서 실행되는 웹 브라우저 또는 기타 프로세스와 같은 클라이언트는 검색 엔진에 입력 쿼리를 제출하고 검색 엔진은 이미지 검색 결과를 클라이언트에 반환합니다. 일부 구현에서, 쿼리는 문자 세트(예를 들어, "빨간 토마토")의 문자와 같은 텍스트를 포함합니다.

쿼리는 이미지, 사운드, 비디오 또는 이들의 조합으로 구성됩니다. 다른 쿼리 유형이 가능합니다. 검색 엔진은 입력 쿼리와 같거나 더 넓거나 더 구체적인 대체 쿼리 버전을 기반으로 결과를 검색합니다.

이미지 검색 결과는 가장 관련성이 높은 것으로 결정된 문서가 가장 높은 순위를 갖는 것과 함께 입력 쿼리에 응답하는 것으로 결정된 문서 또는 이에 대한 링크의 정렬 또는 순위 지정 목록입니다. 사본은 웹 페이지, 이미지 또는 기타 전자 파일입니다.

이미지 검색의 경우 검색 엔진은 적어도 부분적으로 다음을 기반으로 이미지의 관련성을 결정합니다.

• 이미지 내용
• 이미지를 둘러싼 텍스트
• 이미지 캡션
• 이미지의 대체 텍스트

쿼리와 연결된 카테고리

이미지 검색 결과를 생성할 때 일부 구현에서 검색 엔진은 쿼리와 관련된 카테고리에 대한 요청을 제출합니다. 검색 엔진은 관련 카테고리에 속하는 것으로 결정된 이미지 결과의 순위를 증가시켜 이미지 검색 결과를 재정렬하기 위해 관련 카테고리를 사용할 수 있다.

경우에 따라 관련 카테고리 또는 둘 다에 속하지 않는 이미지 결과가 감소할 수 있습니다.

검색 엔진은 또한 결과의 범주를 사용하여 쿼리 범주와 조합하여 최종 결과 집합에서 순위를 매기는 방법을 결정할 수 있습니다.

분류기 엔진 또는 기타 프로세스는 쿼리에 대해 검색된 이미지 결과와 사용자 행동 데이터 저장소를 사용하여 쿼리에 대한 범주를 도출합니다. 저장소에는 사용자 행동 데이터가 포함되어 있습니다. 스토리지는 사용자 집단이 주어진 쿼리에 대한 이미지 결과를 선택한 횟수를 나타냅니다.

이미지 선택은 키보드, 컴퓨터 마우스 또는 손가락 제스처, 음성 명령 또는 기타 방법을 사용하는 등 다양한 방법으로 수행할 수 있습니다. 사용자 행동 데이터에는 '클릭 데이터'가 포함됩니다.

클릭 데이터는 사용자가 이미지 결과를 보거나 "머무는" 기간을 나타냅니다.

클릭 데이터는 사용자가 쿼리에 대한 결과 목록에서 선택한 후 이미지 결과를 보거나 "머무는" 시간을 나타냅니다. 예를 들어, "긴 클릭"이라고 하는 이미지에 오랜 시간(예: 1분 이상) 머무르는 것은 사용자가 사용자의 쿼리와 관련된 이미지를 찾았음을 나타낼 수 있습니다.

"짧은 클릭"이라고 하는 이미지를 보는 짧은 시간(예: 30초 미만)은 이미지 관련성이 부족한 것으로 해석될 수 있습니다. 다른 유형의 사용자 행동 데이터가 가능합니다.

예를 들어, 사용자 행동 데이터는 특정 쿼리에 대한 응답으로 사용자가 선택한 결과 문서에 대한 레코드를 생성하는 프로세스에 의해 생성될 수 있습니다. 각 양식은 다음을 포함하는 튜플(<document, query, data>)로 표시될 수 있습니다.

• 사용자가 제출한 질문
• 쿼리를 나타내는 쿼리 참조
• 질의에 대한 응답으로 사용자가 선택한 논문을 참조하는 문서
• 쿼리에 대한 응답으로 문서 참조를 선택한 모든 사용자 또는 모든 사용자의 하위 집합에 대한 클릭 데이터 집계(예: 각 클릭 유형의 수)입니다.

사용자 행동 데이터에 대한 이 튜플 기반 접근 방식의 확장이 가능합니다. 예를 들어, 사용자 행동 데이터는 위치별(국가 또는 주와 같은) 또는 언어별 식별자를 포함하도록 확장될 수 있습니다.

이러한 식별자가 포함된 경우 국가별 튜플은 사용자 쿼리가 시작된 국가로 구성되고 언어별 튜플은 사용자 쿼리의 언어로 구성됩니다.

표시의 단순성을 위해 쿼리에 대한 문서 A-CCC와 관련된 사용자 행동 데이터는 표에 "높음", "중간" 또는 "낮음" 양의 유리한 사용자 행동 데이터(예: 사용자 행동 문서와 쿼리 간의 관련성을 나타내는 데이터).

문서에 대한 사용자 행동 데이터

문서에 대한 유리한 사용자 행동 데이터는 사용자가 쿼리 결과에서 해당 문서를 볼 때 해당 문서를 선택하거나 쿼리 결과에서 문서를 선택한 후 사용자가 문서를 볼 때 사용자가 문서를 볼 수 있음을 나타낼 수 있습니다. 연장된 기간(예: 사용자가 질문과 관련된 문서를 찾는 경우).

분류기 엔진은 반환된 결과 및 사용자 행동 데이터를 사용하여 검색 엔진과 함께 작동하여 쿼리 범주를 결정한 다음 사용자에게 반환되기 전에 결과의 순위를 재지정합니다.

일반적으로 쿼리 범주 요청에 지정된 쿼리(예: 쿼리 또는 쿼리의 대체 형식)에 대해 분류기 엔진은 쿼리에 대한 이미지 결과를 분석하여 쿼리가 범주에 속하는지 확인합니다. 일부 구현에서 분석된 이미지 결과는 임계값을 초과하는 총 횟수(예: 최소 10회 설정) 쿼리에 대한 검색 결과로 사용자가 선택했습니다.

분류기 엔진은 주어진 쿼리에 대해 검색 엔진에서 검색한 모든 이미지 결과를 분석합니다. 다른 구현에서

분류기 엔진은 클릭 데이터에 대한 메트릭(예: 총 선택 수 또는 다른 측정값)이 임계값을 초과하는 쿼리에 대한 이미지 결과를 분석합니다.

이미지 결과는 채점 과정에서 오프라인 또는 온라인 등 다양한 방법으로 컴퓨터 비전 기술을 사용하여 온라인으로 분석할 수 있습니다. 이미지에는 시각적 콘텐츠에서 추출한 정보로 주석이 추가됩니다.

이미지 주석

예를 들어 이미지 주석을 주석 저장소에 저장할 수 있습니다. 각각의 분석된 이미지(예: 이미지 1, 이미지 2 등)는 사진의 주석(예: A1, A2 등)과 주석 연관에 연관됩니다.

주석에는 다음이 포함될 수 있습니다.

• 이미지의 얼굴 수
• 각 얼굴의 크기
• 이미지의 지배적인 색상
• 그림에 텍스트 또는 그래프가 포함되어 있는지 여부
• 이미지가 스크린샷인지 여부

또한 각 이미지에 지문으로 주석을 추가하여 두 이미지가 동일한지 또는 동일한지 결정할 수 있습니다.

다음으로, 분류기 엔진은 주어진 쿼리에 대한 이미지 결과와 해당 주석을 분석하여 쿼리 범주를 결정합니다. 주어진 쿼리(예: 쿼리 1, 쿼리 2 등)에 대한 쿼리 카테고리(예: C1, C2 등)의 연관은 간단한 휴리스틱을 사용하거나 자동화된 분류기를 사용하는 것과 같은 여러 방법으로 결정할 수 있습니다.

휴리스틱을 기반으로 하는 간단한 쿼리 분류기

예를 들어, 휴리스틱을 기반으로 하는 간단한 쿼리 분류기를 사용하여 쿼리에 대해 원하는 주요 색상(및 존재 여부)을 결정할 수 있습니다.

예를 들어, 발견적 방법은 쿼리에 대해 가장 자주 클릭되는 상위 20개 이미지 중 최소 70%가 빨간색을 지배하는 경우 쿼리가 "빨간색 쿼리"로 분류될 수 있다는 것입니다. 이러한 쿼리의 경우 검색 엔진은 검색된 결과를 재정렬하여 빨간색이 주 색상으로 표시된 모든 이미지의 순위를 높일 수 있습니다.

동일한 분류를 다른 모든 표준 색상에 사용할 수 있습니다. 쿼리 텍스트를 과도하게 분석하는 이 접근 방식의 장점은 번역 없이도 모든 언어에서 작동한다는 것입니다(예: 모든 언어에서 "빨간 사과"라는 질문에 대해 빨간색이 지배적인 이미지를 홍보함). 더 강력합니다(예: "red sea" 쿼리에 대한 빨간색 이미지의 순위를 높이지 않음).

분류기 엔진의 예

분류기 엔진은 쿼리 처리 동안 검색 엔진에 의해 사용하기 위해 쿼리 카테고리 연관이 미리(예를 들어, 테이블에) 저장되는 온라인 모드 또는 오프라인 모드에서 작동할 수 있습니다.

엔진은 주어진 쿼리에 대한 쿼리 이미지 결과를 수신하고 이미지 결과를 이미지 주석자에게 제공합니다. 각 이미지 주석자는 이미지 결과를 분석하고 이미지의 시각적 콘텐츠에 대한 정보를 추출하여 아이디어에 대한 이미지 주석(예: 이미지 주석)으로 저장됩니다.

얼굴 이미지 주석기

예를 들어 얼굴 이미지 어노테이터는 다음과 같습니다.

• 이미지에 있는 얼굴의 수와 각 얼굴의 크기를 결정합니다.
• 지문 이미지 주석기는 두 이미지가 유사한지 판단하기 위해 다른 이미지의 지문과 비교할 수 있는 압축된 형태(지문)로 시각적 이미지 특징을 추출합니다.
• 스크린샷 이미지 주석자는 이미지가 스크린샷인지 여부를 결정합니다.
• 텍스트 이미지 주석자는 그림에 텍스트가 포함되어 있는지 확인합니다.
• 그래프/차트 이미지 쿼리는 이미지에 그래프 또는 차트(예: 막대 그래프)가 포함되어 있는지 확인합니다.
• 주요 색상 주석자는 그림에 주요 색상이 포함되어 있는지 확인합니다.

다른 이미지 주석도 사용할 수 있습니다. 예를 들어, Viola, P.의 "Rapid Object Detection Using a Boosted Cascade of Simple Features"라는 제목의 논문에 여러 이미지 주석자가 설명되어 있습니다. Jones, M., Mitsubishi Electric Research Laboratories, TR2004-043(2004년 5월).

다음으로, 분류기 엔진은 쿼리 카테고리(예: 쿼리 카테고리)를 결정하기 위해 주어진 쿼리 및 해당 주석에 대한 이미지 결과를 분석합니다. 쿼리 카테고리는 분류기를 사용하여 결정되며 쿼리 분류기는 머신 러닝 시스템을 사용하여 구현할 수 있습니다.

적응 부스팅 사용

예를 들어 Adaptive Boosting의 약자인 AdaBoost는 다른 학습 알고리즘과 함께 사용하여 성능을 향상시킬 수 있는 기계 학습 시스템입니다. AdaBoost는 쿼리 분류를 생성하는 데 사용됩니다. (더 많은 학습 알고리즘이 가능합니다)

AdaBoost는 일련의 라운드에서 "약한" 이미지 주석자를 호출합니다. 예를 들어, 1인 쿼리 분류기는 쿼리가 1인 이미지를 요구하는지 여부를 결정하도록 훈련된 학습 기계 알고리즘을 기반으로 얻을 수 있습니다.

예를 들어, 이러한 쿼리 분류기는 쿼리, 0개 이상의 얼굴이 있는 질문에 대한 결과 이미지를 나타내는 특징 벡터 세트 및 쿼리에 대한 올바른 분류(즉, 얼굴 여부)를 포함하는 데이터 세트로 훈련될 수 있습니다. . 각 호출에 대해 쿼리 분류기는 분류를 위한 훈련 데이터 세트에서 예시의 중요성을 나타내는 가중치 분포를 업데이트합니다.

각 라운드에서 분류된 각 훈련 예제의 가중치가 증가하므로(또는 각 분류된 훈련 예제의 결과가 감소함) 새 쿼리 범주화는 이러한 예제에 더 중점을 둡니다. 결과적으로 훈련된 쿼리 분류는 쿼리를 입력으로 받아 쿼리가 한 사람을 포함하는 이미지를 호출할 확률을 출력할 수 있습니다.

다양한/동종 쿼리 분류기는 쿼리를 입력으로 받아 다양한 이미지에 대한 쿼리일 확률을 출력합니다. 분류기는 클러스터링 알고리즘을 사용하여 서로의 거리 측정을 기반으로 지문에 따라 이미지 결과를 클러스터링합니다. 각 이미지는 클러스터 식별자와 연결됩니다.

이미지 클러스터 식별자는 클러스터 수, 그룹 크기 및 결과 집합의 이미지로 구성된 클러스터 간의 유사성을 결정하는 데 사용됩니다. 예를 들어, 이 정보는 쿼리가 특정(또는 중복 초대)인지 아닌지에 대한 확률을 연결하는 데 사용됩니다.

정식 의미 및 표현과 쿼리 연결

쿼리 분류는 쿼리를 정식 의미 및 표현과 연결하는 데 사용할 수도 있습니다. 예를 들어 하나의 큰 클러스터 또는 여러 개의 큰 클러스터가 있는 경우 질문이 중복 이미지 결과와 관련될 확률이 높습니다. 더 작은 클러스터가 많은 경우 쿼리가 동일한 이미지 결과와 연결될 가능성은 낮습니다.

중복된 이미지는 일반적으로 더 이상 정보를 제공하지 않으므로 그다지 유용하지 않으므로 쿼리 결과로 강등되어야 합니다. 그러나 예외가 있습니다. 예를 들어, 초기 결과에 중복이 많은 경우(몇 개, 큰 클러스터) 쿼리가 특정하므로 중복이 강등되어서는 안 됩니다.

스크린샷/비스크린샷 쿼리 분류는 쿼리를 입력으로 사용하고 쿼리가 스크린샷인 이미지를 호출할 확률을 출력합니다. 텍스트/비텍스트 쿼리 분류기는 쿼리를 입력으로 받아들이고 쿼리가 텍스트를 포함하는 이미지를 호출할 가능성을 출력합니다.

그래프/비그래프 쿼리 분류는 쿼리 입력을 받고 쿼리가 그래프 또는 차트가 포함된 이미지를 호출할 확률을 출력합니다. 색상 질의 분류기(133f)는 정보 질의를 취하고 질의가 단일 색상에 의해 지배되는 샷을 호출할 기회를 출력한다. 다른 쿼리 분류자가 가능합니다.

쿼리 분류를 기반으로 이미지 결과의 관련성 향상

검색자는 클라이언트 또는 다른 장치를 통해 시스템과 상호 작용할 수 있습니다. 예를 들어, 클라이언트 장치는 근거리 통신망(LAN) 또는 광대역 통신망(WAN) 내의 컴퓨터 단말일 수 있습니다. 클라이언트 디바이스는 LAN, WAN, 또는 일부 다른 네트워크(예를 들어, 셀룰러 전화 네트워크)를 통해 통신할 수 있는 모바일 디바이스(예를 들어, 이동 전화, 모바일 컴퓨터, 개인용 데스크탑 어시스턴트 등)일 수 있다.

클라이언트 장치는 랜덤 액세스 메모리(RAM)(또는 다른 메모리 및 저장 장치) 및 프로세서를 포함할 수 있습니다.

프로세서는 시스템 내에서 명령과 데이터를 처리하도록 구조화됩니다. 프로세서는 처리 코어가 있는 단일 스레드 또는 다중 스레드 마이크로프로세서입니다. 프로세서는 사용자 인터페이스에 대한 그래픽 정보를 렌더링하기 위해 RAM(또는 클라이언트 장치에 포함된 다른 메모리 및 저장 장치)에 저장된 명령을 실행하도록 구성된 구조를 수신합니다.

검색자는 입력 쿼리를 제출하기 위해 서버 시스템 내의 검색 엔진에 연결할 수 있습니다. 검색 엔진은 이미지 및 문서(예: HTML 페이지)와 같은 다른 유형의 콘텐츠를 검색할 수 있는 이미지 검색 엔진 또는 일반 검색 엔진입니다.

사용자가 클라이언트 장치에 연결된 입력 장치를 통해 입력 쿼리를 제출하면 클라이언트 측 질문이 네트워크로 전송되고 서버 측 쿼리로 서버 시스템에 전달됩니다. 서버 시스템은 위치에 있는 서버 장치일 수 있습니다. 서버 장치는 내부에 로드된 검색 엔진으로 구성된 메모리 장치를 포함합니다.

프로세서는 장치 내에서 명령을 처리하도록 구성됩니다. 이 지침은 검색 엔진의 구성 요소를 설치할 수 있습니다. 프로세서는 단일 스레드 또는 다중 스레드일 수 있으며 많은 처리 코어를 포함합니다. 프로세서는 검색 엔진과 관련된 메모리에 저장된 명령을 처리하고 네트워크를 통해 클라이언트 장치에 정보를 전송하여 클라이언트 장치의 사용자 인터페이스에서 그래픽 프리젠테이션(예: 웹 페이지에 표시되는 웹 페이지의 검색 결과)을 생성할 수 있습니다. 브라우저).

서버 측 쿼리는 검색 엔진에서 수신됩니다. 검색 엔진은 입력 쿼리 내의 정보(예: 쿼리 용어)를 사용하여 관련 문서를 찾습니다. 검색 엔진은 해당 코퍼스에서 발견된 문서를 인덱싱하기 위해 코퍼스(예를 들어, 인터넷 상의 웹 페이지)를 검색하는 인덱싱 엔진을 포함할 수 있습니다. 코퍼스 문서에 대한 인덱스 정보는 인덱스 데이터베이스에 저장할 수 있습니다.

이 인덱스 데이터베이스는 사용자와 관련된 문서를 식별하기 위해 액세스할 수 있습니다. 전자 사본(문서라고 함)은 파일에 해당하지 않습니다. 레코드는 다른 문서를 포함하는 파일의 일부, 해당 문서 전용 단일 파일 또는 여러 개의 조정된 파일에 저장될 수 있습니다. 또한 사본은 파일에 저장되지 않고 메모리에 저장될 수 있습니다.

검색 엔진은 입력 쿼리와 관련된 문서의 순위를 지정하는 순위 엔진을 포함할 수 있습니다. 문서의 순위는 주어진 쿼리가 제공된 색인된 레코드에 대한 정보 검색(IR) 점수를 결정하기 위해 기존 기술을 사용하여 수행할 수 있습니다.

적절한 방법은 특정 검색어 또는 기타 제공된 정보에 대한 특정 문서의 관련성을 결정할 수 있습니다. 예를 들어, 검색어와 일치하는 문서를 포함하는 백링크의 일반적인 수준은 문서의 관련성을 추론하는 데 사용될 수 있습니다.

특히, 문서가 다른 많은 관련 문서(예: 검색어와 일치하는 문서를 포함하는 문서)에 의해 링크(예: 하이퍼링크의 대상)되는 경우 대상 문서가 특히 관련성이 있다고 추론할 수 있습니다. 이러한 추론은 포인팅 논문의 저자가 아마도 대부분의 경우 청중과 관련된 다른 문서를 가리킬 것이기 때문에 만들어질 수 있습니다.

포인팅 문서는 더 관련성이 높은 것으로 간주될 수 있는 다른 관련 문서의 링크를 대상으로 합니다. 첫 번째 문서는 적용 가능한(또는 관련성이 높은) 문서를 대상으로 하기 때문에 특히 적합합니다.

이러한 기술은 문서의 관련성 또는 많은 결정 요인 중 하나를 결정할 수 있습니다. 페이지의 관련성을 높이기 위해 사기성 투표를 시도하는 시도를 식별하고 차단하기 위해 적절한 방법을 사용할 수도 있습니다.

이러한 전통적인 문서 순위 지정 기술을 더욱 개선하기 위해 순위 지정 엔진은 문서에 대한 적절한 순위 결정을 지원하기 위해 순위 수정자 엔진으로부터 더 많은 신호를 수신할 수 있습니다.

위에서 설명한 이미지 주석 및 쿼리 분류와 함께 순위 수정 엔진은 논문에 대한 관련성 측정값을 제공합니다. 순위 엔진은 사용자에게 제공되는 검색 결과의 순위를 향상시키는 데 사용할 수 있습니다.

순위 수정자 엔진은 관련성 측정값을 생성하는 작업을 수행할 수 있습니다.

이미지 결과의 점수가 증가하거나 감소하는지 여부는 이미지의 시각적 콘텐츠(이미지 주석에 표시됨)가 쿼리 범주와 일치하는지 여부에 따라 달라지며 각 이미지 범주가 고려됩니다.

예를 들어 쿼리의 범주가 "1인"인 경우 "스크린샷"과 "단일 얼굴"로 분류되는 이미지 결과는 "스크린샷" 범주로 인해 먼저 점수가 낮아집니다. 그런 다음 "단일 얼굴"범주로 인해 점수를 높일 수 있습니다.

검색 엔진은 네트워크를 통해 서버 측 검색 결과 내의 최종 순위 결과 목록을 전달할 수 있습니다. 네트워크를 종료하면 클라이언트 측 검색 결과가 클라이언트 장치에서 수신될 수 있으며, 여기서 결과는 RAM 내에 저장되고 프로세서에서 사용하여 사용자를 위한 출력 장치에 결과를 표시할 수 있습니다.

정보 검색 시스템

이러한 구성 요소에는 다음이 포함됩니다.

• 인덱싱 엔진
• 스코어링 엔진
• 랭킹 엔진
• 순위 수정 엔진

인덱싱 엔진은 인덱싱 엔진에 대해 위에서 설명한 대로 작동합니다. 스코어링 엔진은 쿼리를 문서 결과에 연결하는 콘텐츠 기반 기능과 일반적으로 문서 결과의 품질을 나타내는 쿼리 독립 부분을 포함하여 많은 기능을 기반으로 문서 결과에 대한 스코어를 생성합니다.

이미지에 대한 콘텐츠 기반 기능에는 문서 제목 또는 이미지 캡션에 대한 쿼리 일치와 같이 그림이 포함된 문서의 측면이 포함됩니다.

쿼리 독립적인 기능에는 예를 들어 종이나 도메인 또는 이미지 차원의 문서 상호 참조 측면이 포함됩니다.

또한 자동 또는 반자동 프로세스를 사용하여 점수 엔진에서 사용하는 특정 기능을 조정하여 최종 IR 점수에 대한 다양한 기능 기여도를 조정할 수 있습니다.

순위 엔진은 채점 기계에서 수신한 IR 점수와 순위 수정 엔진의 신호를 기반으로 사용자에게 표시할 문서 결과의 순위를 지정합니다.

순위 수정자 엔진은 문서에 대한 관련성 측정값을 제공하며 순위 엔진은 사용자에게 제공되는 검색 결과의 순위를 향상시키는 데 사용할 수 있습니다. 추적 구성 요소는 주문에 표시된 결과의 개별 사용자 선택과 같은 사용자 행동 정보를 기록합니다.

추적 구성 요소는 개별 문서 결과의 사용자 선택을 식별하고 사용자가 결과 페이지로 돌아올 때를 식별하는 웹 페이지 순위에 포함된 JavaScript 코드를 가져옵니다. 따라서 사용자가 선택한 문서 결과를 보는 데 소비한 시간을 나타냅니다.

추적 구성 요소는 문서 결과의 사용자 선택이 라우팅되는 프록시 시스템입니다. 추적 구성 요소에는 클라이언트용으로 사전 설치된 소프트웨어(예: 클라이언트 운영 체제에 대한 도구 모음 플러그인)도 포함될 수 있습니다.

다른 구현도 가능합니다. 예를 들어, 태그/지시어가 페이지에 포함될 수 있도록 하는 웹 브라우저의 기능을 사용하는 구현이 가능합니다. 이 구현은 브라우저가 사용자가 클릭한 링크에 대한 메시지와 함께 서버에 다시 연결하도록 요청합니다.

기록된 정보는 결과 선택 로그에 저장됩니다. 기록된 정보에는 제출된 각 쿼리에 대해 제공된 각 결과 문서와의 사용자 상호 작용을 나타내는 로그 항목이 포함됩니다.

쿼리에 대해 제공된 결과 문서의 각 사용자 선택에 대해 로그 항목에는 쿼리(Q), 종이(D), 문서에 대한 사용자의 체류 시간(T), 사용자가 사용하는 언어(L), 및 사용자가 위치할 가능성이 있는 국가(C)(예: IR 시스템에 액세스하는 데 사용되는 서버를 기반으로 함) 및 사용자의 대도시 지역을 식별하는 지역 코드(R).

로그 항목은 문서 결과가 사용자에게 표시되지만 선택되지 않은 것과 같은 부정적인 정보도 기록합니다.

다음과 같은 기타 정보:

• 클릭 위치(예: 사용자 인터페이스에서 사용자 선택
• 세션에 대한 정보(예: 이전 클릭의 존재 및 유형(클릭 후 세션 활동))
• 클릭한 결과의 R 점수
• 클릭 전에 표시되는 모든 결과의 IR 점수
• 제목과 스니펫은 클릭하기 전에 사용자에게 표시됩니다.
• 사용자의 쿠키
• 쿠키 나이
• IP(인터넷 프로토콜) 주소
• 브라우저의 사용자 에이전트
• 곧

문서 결과에 대한 초기 클릭연결과 사용자가 기본 페이지로 돌아와서 다른 문서 결과를 클릭(또는 새 검색어 제출) 사이의 시간(T)도 기록됩니다.

더 확장된 인수가 일반적으로 클릭한 결과에 대한 품질 또는 관련성을 보여주기 때문에 이 시간이 문서의 더 긴 보기 또는 더 짧은 보기를 나타내는지 여부에 대한 시간(T)에 대한 평가가 이루어집니다. 이 시간 평가(T)는 다양한 가중치 기술과 함께 수행될 수 있습니다.

표시된 구성 요소는 다양한 방식과 다중 시스템 구성으로 결합될 수 있습니다. 스코어링 엔드 탱킹 엔진은 랭킹 엔진과 같은 단일 랭킹 엔진으로 병합됩니다. 순위 수정자 엔진과 순위 엔진도 병합될 수 있습니다. 일반적으로 순위 엔진에는 쿼리 후 문서 결과의 순위를 생성하는 모든 소프트웨어 구성 요소가 포함됩니다. 더욱이, 순위 엔진은 서버 시스템에도(또는 보다는 오히려) 클라이언트 시스템에 맞출 수 있습니다.

또 다른 예는 정보 검색 시스템입니다. 서버 시스템은 인덱싱 엔진과 스코어링/랭킹 엔진을 포함합니다.

이 시스템에서 클라이언트 시스템에는 다음이 포함됩니다.

• 순위를 표시하기 위한 사용자 인터페이스
• 추적 구성 요소
• 결과 선택 로그
• 순위/순위 수정자 엔진.

예를 들어, 클라이언트 시스템은 브라우저 플러그인이 순위/순위 수정 엔진을 통합하는 회사의 엔터프라이즈 네트워크 및 개인용 컴퓨터를 포함할 수 있습니다.

회사의 직원이 서버 시스템에서 검색을 시작하면 점수/순위 엔진이 검색 결과를 반환할 수 있습니다. 결과에 대한 초기 순위 또는 실제 IR 점수입니다. 그런 다음 브라우저 플러그인은 회사별 사용자 기반에 대해 추적된 페이지 선택을 기반으로 결과의 순위를 재지정합니다.

쿼리 분류 기법

이 기술은 온라인(쿼리 처리의 일부로) 또는 오프라인 방식으로 수행할 수 있습니다.

첫 번째 쿼리에 응답하는 첫 번째 이미지 결과가 수신됩니다. 첫 번째 이미지 각각은 주문(예: IR 점수) 및 해당 사용자 행동 데이터(예: 클릭 데이터)와 연관됩니다.

선택된 각각의 이미지에 대한 각각의 행동 데이터에 대한 메트릭이 임계값을 충족하는 경우 다수의 첫 번째 이미지가 선택됩니다.

선택한 첫 번째 이미지는 선택한 첫 번째 이미지의 콘텐츠 분석을 기반으로 여러 주석과 연결됩니다. 이미지 주석은 이미지 주석에서 유지될 수 있습니다.

범주는 주석을 기반으로 첫 번째 쿼리와 연결됩니다.

쿼리 범주화 연결은 쿼리 범주에서 지속될 수 있습니다.

동일한 두 번째 쿼리 또는 첫 번째 쿼리에 응답하는 두 번째 이미지 결과가 수신됩니다.

(두 번째 쿼리가 쿼리 분류에서 발견되지 않으면 두 번째 쿼리가 변환되거나 "다시 작성"되어 대체 형식이 쿼리 분류의 쿼리와 일치하는지 확인할 수 있습니다.)

이 예에서 두 번째 쿼리는 첫 번째 쿼리와 같거나 다시 작성할 수 있습니다.

두 번째 이미지 결과는 첫 번째 쿼리와 연결되기 전에 쿼리 분류를 기반으로 재정렬됩니다.