비지도 학습: 기계가 스스로 학습하는 방법

비지도 학습은 기계가 스스로 학습할 수 있도록 합니다.

이러한 유형의 머신 러닝(ML)을 통해 AI 애플리케이션은 인간의 감독 없이 대규모 데이터 세트에서 숨겨진 패턴을 학습하고 찾을 수 있습니다. 비지도 학습도 달성에 중요합니다.   인공 일반 지능.

데이터에 레이블을 지정하는 것은 노동 집약적이고 시간이 많이 걸리며 많은 경우 비실용적입니다. 이것이 바로 비지도 학습이 AI 애플리케이션에 레이블 및 감독 없이 학습할 수 있는 기능을 부여함으로써 큰 ​​차이를 가져오는 부분입니다.

비지도 학습이란 무엇입니까?

UL(Unsupervised Learning)은 분류되지 않고 레이블이 지정되지 않은 데이터 포인트가 포함된 데이터 세트의 패턴을 식별하는 데 사용되는 기계 학습 기술입니다. 이 학습 방법에서 AI 시스템은 입력 데이터만 제공되고 해당 출력 데이터는 제공되지 않습니다.

지도 학습과 달리 비지도 학습 에서는 모델을 감독할 사람이 필요하지 않습니다. 데이터 과학자는 기계가 데이터를 관찰하고 스스로 패턴을 찾아 학습하도록 합니다. 다시 말해, 머신 러닝의 이 하위 범주를 사용하면 시스템이 외부 지침 없이 주어진 정보에 따라 작동할 수 있습니다.

비지도 학습 기술은 인간 지능으로 인공 지능 시스템을 만드는 데 중요합니다. 지능형 기계는 태그가 지정되지 않은 대량의 데이터를 분석하여 (독립적인) 결정을 내릴 수 있어야 하기 때문입니다.

지도 학습 알고리즘에 비해 UL 알고리즘은 복잡한 작업을 수행하는 데 더 능숙합니다. 그러나 지도 학습 모델은 교사가 주어진 데이터에서 무엇을 찾아야 하는지 시스템에 명시적으로 알려 주기 때문에 더 정확한 결과를 생성합니다. 그러나 비지도 학습의 경우 상황을 예측할 수 없습니다.

인공 신경망,   딥 러닝   현실에서는 감독되지 않은 학습으로 뒷받침되는 것처럼 보일 수 있습니다. 사실이지만 원하는 출력이 이미 알려진 경우 신경망의 학습 알고리즘도 감독할 수 있습니다.

비지도 학습은 그 자체로 목표가 될 수 있습니다. 예를 들어, UL 모델은 방대한 양의 데이터에서 숨겨진 패턴을 찾고 데이터 요소를 분류하고 레이블을 지정하는 데에도 사용할 수 있습니다. 정렬되지 않은 데이터 포인트의 그룹화는 유사점과 차이점을 식별하여 수행됩니다.

비지도 학습은 매개변수 비지도 학습 과 비모수적 비지도 학습의 두 가지 범주로 더 나눌 수 있습니다.

비지도 학습의 작동 원리

간단히 말해서, 비지도 학습은 분류되지 않고 레이블이 지정되지 않은 데이터를 분석하고 그 안에 숨겨진 구조를 찾는 방식으로 작동합니다.

지도 학습에서 데이터 과학자는 시스템에 레이블이 지정된 데이터(예: 고양이로 레이블이 지정된 고양이 이미지)를 제공하여 예제를 통해 학습할 수 있도록 합니다. 비지도 학습에서 데이터 과학자는 사진만 제공하며 데이터를 분석하고 고양이 이미지인지 여부를 결론짓는 것은 시스템의 책임입니다.

비지도 머신 러닝에는 방대한 양의 데이터가 필요합니다. 대부분의 경우 모델이 더 많은 예제를 통해 더 정확해짐에 따라 지도 학습에서도 마찬가지입니다.

비지도 학습 프로세스는 데이터 과학자가 훈련 데이터 세트를 사용하여 알고리즘을 훈련하는 것으로 시작됩니다. 이 데이터 세트의 데이터 포인트는 레이블이 없고 분류되지 않습니다.

알고리즘의 학습 목표는 데이터 세트 내에서 패턴을 식별하고 식별된 동일한 패턴을 기반으로 데이터 포인트를 분류하는 것입니다. 고양이 이미지의 예에서 비지도 학습 알고리즘은 수염, 긴 꼬리, 개폐식 발톱과 같은 고양이의 독특한 특징을 식별하는 방법을 학습할 수 있습니다.

생각해보면, 비지도 학습은 우리가 사물을 식별하고 분류하는 방법을 배우는 방법입니다. 케첩이나 칠리 소스를 맛본 적이 없다고 가정해 봅시다. "라벨이 없는" 케첩과 칠리 소스 두 병을 받고 맛을 보도록 요청하면 맛을 구별할 수 있습니다.

둘 중 하나의 이름을 모르더라도 두 소스(하나는 신맛이고 다른 하나는 매운맛)의 특성을 식별할 수도 있습니다. 몇 번 더 맛을 보면 그 맛에 더 익숙해질 것입니다. 머지 않아 맛만 보아도 추가된 소스를 기반으로 요리를 그룹화할 수 있게 될 것입니다.

맛을 분석하면 두 가지 소스와 단체 요리를 차별화하는 구체적인 특징을 찾을 수 있다. 분류하기 위해 소스의 이름이나 요리의 이름을 알 필요가 없습니다. 하나는 달콤한 소스 , 다른 하나는 핫 소스 라고 부를 수도 있습니다.

이것은 기계가 비지도 학습의 도움으로 패턴을 식별하고 데이터 포인트를 분류하는 방법과 유사합니다. 같은 예에서 지도 학습은 소스의 이름과 맛을 미리 알려주는 사람입니다.

비지도 학습의 유형

비지도 학습 문제는 클러스터링 문제와 연관 문제로 분류할 수 있습니다.

클러스터링

클러스터링 또는 클러스터 분석은 개체를 클러스터로 그룹화하는 프로세스입니다. 가장 유사한 항목은 함께 그룹화되고 나머지는 다른 클러스터에 속합니다. 클러스터링의 예는 시청 기록을 기반으로 YouTube 사용자를 그룹화하는 것입니다.

협회

연관 규칙 학습(ARL) 은 대규모 데이터베이스에서 변수 간의 관계를 찾는 데 사용되는 비지도 학습 방법입니다. 일부 기계 학습 알고리즘과 달리 ARL은 숫자가 아닌 데이터 포인트를 처리할 수 있습니다.

더 간단한 의미에서 ARL은 특정 변수가 서로 어떻게 연관되어 있는지 찾는 것입니다. 예를 들어 오토바이를 사는 사람들은 헬멧을 살 가능성이 가장 높습니다.

그러한 관계를 찾는 것은 수익성이 있을 수 있습니다. 예를 들어, 제품 X를 구매하는 고객이 제품 Y를 구매하는 경향이 있는 경우 온라인 소매업체는 제품 X를 구매하는 모든 사람에게 제품 Y를 추천할 수 있습니다.

연관 규칙 학습은 핵심에서 if/then 문을 사용합니다. 이러한 명령문은 독립적인 데이터 간의 연관성을 나타낼 수 있습니다. 또한 지원 및 신뢰 를 사용하여 if/then 패턴 또는 관계를 관찰합니다.

지원은 데이터베이스에 if/then 관계가 나타나는 빈도를 지정합니다. 신뢰도는 if/then 관계가 유효한 것으로 확인된 횟수를 정의합니다.

장바구니 분석   그리고   웹 사용 마이닝   연관 규칙으로 가능합니다.

비지도 학습 알고리즘

클러스터링 및 연관 규칙 학습은 모두 알고리즘의 도움으로 구현됩니다.

Apriori 알고리즘, ECLAT 알고리즘 및 FP(빈번한 패턴) 성장 알고리즘은 연관 규칙을 구현하는 데 사용되는 주목할만한 알고리즘 중 일부입니다. 클러스터링은 k-평균 클러스터링 및 주성분 분석(PCA)과 같은 알고리즘에 의해 가능합니다.

선험적 알고리즘

Apriori 알고리즘 은 데이터 마이닝을 위해 구축되었습니다. 예를 들어 슈퍼마켓에서 쇼핑객이 구매한 품목 목록이 포함된 데이터베이스와 같이 많은 수의 트랜잭션이 포함된 데이터베이스를 마이닝하는 데 유용합니다. 마약의 유해한 영향을 식별하고 장바구니 분석에서 고객이 함께 구매할 가능성이 더 높은 항목 집합을 찾는 데 사용됩니다.

ECLAT 알고리즘

Equivalence Class Clustering 및 상향식 Lattice Traversal (줄여서 ECLAT )은 항목 집합 마이닝을 달성하고 빈번한 항목을 찾는 데 사용되는 데이터 마이닝 알고리즘입니다.

Apriori 알고리즘은 수평 데이터 형식을 사용하므로 빈번한 항목을 식별하기 위해 데이터베이스를 여러 번 스캔해야 합니다. 반면 ECLAT는 수직 접근 방식을 따르며 데이터베이스를 한 번만 스캔해야 하므로 일반적으로 더 빠릅니다.

빈번한 패턴(FP) 성장 알고리즘

FP(빈번한 패턴) 성장 알고리즘 은 Apriori 알고리즘의 개선된 버전입니다. 이 알고리즘은 빈번한 트리 또는 패턴 으로 알려진 트리 구조의 형태로 데이터베이스를 나타냅니다.

이러한 빈번한 트리는 가장 빈번한 패턴을 마이닝하는 데 사용됩니다. Apriori 알고리즘은 데이터베이스를 n+1번 스캔해야 하는 반면(n은 가장 긴 모델의 길이), FP-growth 알고리즘은 단 두 번의 스캔이 필요합니다.

K-평균 클러스터링

k-means 알고리즘의 많은 반복은 데이터 과학 분야에서 널리 사용됩니다. 간단히 말해서, k-평균 클러스터링 알고리즘은 유사한 항목을 클러스터로 그룹화합니다. 클러스터의 수는 k 로 표시됩니다. 따라서 k 값이 3이면 총 3개의 클러스터가 있습니다.

이 클러스터링 방법은 레이블이 지정되지 않은 데이터 세트를 분할하여 각 데이터 포인트가 유사한 속성을 가진 단일 그룹에만 속하도록 합니다. 핵심은 군집 중심 이라고 하는 K 중심을 찾는 것입니다.

각 클러스터에는 하나의 클러스터 중심이 있으며 새 데이터 포인트를 볼 때 알고리즘은 유클리드 거리와 같은 메트릭을 기반으로 데이터 포인트가 속한 가장 가까운 클러스터를 결정합니다.

주성분 분석(PCA)

PCA(주성분 분석) 는 일반적으로 큰 데이터 세트의 차원을 줄이는 데 사용되는 차원 축소 방법입니다. 많은 수의 변수를 큰 데이터 세트의 거의 모든 정보를 포함하는 작은 변수로 변환하여 이를 수행합니다.

변수 수를 줄이면 정확도에 약간 영향을 미칠 수 있지만 단순성을 위해 허용 가능한 절충안이 될 수 있습니다. 작은 데이터 세트는 분석하기 쉽고 기계 학습 알고리즘은 귀중한 통찰력을 얻기 위해 많은 노력을 기울일 필요가 없기 때문입니다.

지도 학습 대 비지도 학습

지도 학습은 교사가 전체 학습 과정을 감독하도록 하는 것과 유사합니다. 해결하려는 각 문제에 대한 정답이 있는 것과 유사한 레이블이 지정된 훈련 데이터 세트도 있습니다.

정답인지 아닌지 이해하기 쉽고, 실수를 하면 선생님도 바로잡아준다. 비지도 학습의 경우에는 교사도 정답도 없습니다.

컴퓨팅 관점에서 비지도 학습은 지도 학습보다 더 복잡하고 시간이 많이 걸립니다. 그러나 분류 자(데이터를 자동으로 분류하는 기계 학습 알고리즘)를 할당하기 전에 데이터 마이닝과 데이터 구조에 대한 통찰력을 얻는 데 유용합니다.

레이블이 지정되지 않은 데이터가 방대할 때 유용함에도 불구하고 비지도 학습은 데이터 과학자에게 거의 불편을 일으키지 않을 수 있습니다. 지도 학습에 사용되는 검증 데이터 세트에도 레이블이 지정되기 때문에 데이터 과학자가 모델의 정확도를 측정하는 것이 더 쉽습니다. 그러나 비지도 학습 모델의 경우에는 그렇지 않습니다.

많은 경우 비지도 학습이 지도 학습보다 먼저 적용됩니다. 이렇게 하면 기능을 식별하고 클래스를 만드는 데 도움이 됩니다.

비지도 학습 프로세스는 온라인으로 진행되는 반면 지도 학습은 오프라인에서 진행됩니다. 이를 통해 UL 알고리즘은 실시간으로 데이터를 처리할 수 있습니다.

비지도 학습 문제는 연관 문제와 클러스터링 문제로 구분되지만 지도 학습은 회귀 및 분류 문제로 더 분류할 수 있습니다.

지도 및 비지도 학습 외에도 반 지도 학습 및 강화 학습 이 있습니다.

준지도 학습은 지도 학습 과 비지도 학습이 혼합된 것입니다. 이 기계 학습 기술에서 시스템은 높은 수준의 개요를 얻을 수 있도록 약간만 학습됩니다. 훈련 데이터의 일부는 레이블이 지정되고 나머지는 레이블이 지정되지 않습니다.

강화 학습(RL) 에서 인공 지능 시스템은 보상을 극대화해야 하는 게임과 같은 환경에 직면하게 됩니다. 시스템은 시행착오 방법을 따라 학습하고 각 단계에서 보상을 얻을 확률을 높여야 합니다.

지도 학습과 비지도 학습의 주요 차이점을 간단히 살펴보겠습니다.

비지도 머신 러닝의 예

앞서 언급했듯이 비지도 학습은 그 자체로 목표가 될 수 있으며 방대한 양의 데이터에서 숨겨진 패턴을 찾는 데 사용될 수 있습니다. 이는 인간에게 비현실적인 작업입니다.

감독되지 않은 기계 학습의 일부 실제 응용 프로그램.

• 이상 탐지: 데이터 세트에서 비정형 데이터 포인트를 찾는 프로세스이므로 사기 행위를 탐지하는 데 유용합니다.
• 컴퓨터 비전: 라고도 함   이미지 인식, 이미지에서 물체를 식별하는 이 위업은 자율 주행 자동차에 필수적이며 이미지 분할을 위한 의료 산업에서도 가치가 있습니다.
• 추천 시스템: 비지도 학습 알고리즘은 과거 데이터를 분석하여 고객이 구매할 가능성이 가장 높은 제품을 추천합니다.
• 고객 페르소나: 비지도 학습은 기업이 구매 습관에 대한 데이터를 분석하여 정확한 고객 페르소나를 구축하는 데 도움이 될 수 있습니다.

알고리즘을 자신의 장치에 맡기기

스스로 학습할 수 있는 능력은 비지도 학습을 방대한 양의 데이터를 분석하는 가장 빠른 방법으로 만듭니다. 물론 지도 학습 또는 비지도 학습(또는 반 지도 학습) 중에서 선택하는 것은 해결하려는 문제와 사용 가능한 데이터의 시간과 방대함에 따라 다릅니다. 그럼에도 불구하고 비지도 학습은 전체 노력을 더 확장 가능하게 만들 수 있습니다.

오늘날 우리가 가지고 있는 AI는 창조자의 명령에 불복종하는 것은 고사하고 세계를 지배할 수 없습니다. 그러나 자율주행 자동차와 챗봇과 같은 놀라운 업적을 가능하게 합니다. 좁은 AI 라고 하지만 소리만큼 약하지 않습니다.