教師なし学習: 機械が自ら学習する方法
公開: 2021-03-19教師なし学習では、機械が独自に学習できます。
このタイプの機械学習 (ML) により、AI アプリケーションは、人間の監督なしで大規模なデータセット内の隠れたパターンを学習して見つけることができます。 教師なし学習も達成に不可欠です 汎用人工知能。
データのラベル付けは労力と時間がかかり、多くの場合、非現実的です。 教師なし学習は、AI アプリケーションにラベルや監視なしで学習する能力を与えることで、大きな違いをもたらします。
教師なし学習とは
教師なし学習 (UL) は、分類もラベルも付けられていないデータ ポイントを含むデータセットのパターンを識別するために使用される機械学習手法です。 この学習方法では、AI システムには入力データのみが与えられ、対応する出力データは与えられません。
教師あり学習とは異なり、教師なし機械学習では、人間がモデルを監督する必要はありません。 データ サイエンティストは、データを観察し、独自にパターンを見つけることによって、機械に学習させます。 言い換えれば、機械学習のこのサブカテゴリにより、システムは外部からのガイダンスなしに、与えられた情報に基づいて行動することができます。
教師なし学習技術は、人間の知性を備えた人工知能システムを作成するために重要です。 これは、インテリジェント マシンが大量のタグ付けされていないデータを分析して (独立した) 決定を下すことができなければならないためです。
教師あり学習アルゴリズムと比較して、UL アルゴリズムは複雑なタスクの実行に優れています。 ただし、教師あり学習モデルは、チューターが特定のデータで何を探すべきかをシステムに明示的に指示するため、より正確な結果を生成します。 しかし、教師なし学習の場合、事態はまったく予測不可能になる可能性があります。
人工ニューラルネットワークは、 ディープラーニング 教師なし学習に裏打ちされているように見えるかもしれません。 確かにそうですが、ニューラル ネットワークの学習アルゴリズムは、目的の出力が既にわかっている場合は監視することもできます。
教師なし学習は、それ自体が目標になる可能性があります。 たとえば、UL モデルを使用して、大量のデータの隠れたパターンを見つけたり、データ ポイントを分類およびラベル付けすることさえできます。 ソートされていないデータ ポイントのグループ化は、それらの類似点と相違点を識別することによって実行されます。
教師なし学習が不可欠であるいくつかの理由。
- ラベル付けされていないデータが豊富にあります。
- データのラベル付けは、人間の労力を必要とする退屈な作業です。 ただし、プロセスそのものを ML で処理できるため、関係する人間にとってラベリングが容易になります。
- 未知の生データを探索するのに役立ちます。
- 大規模なデータセットでパターン認識を実行するのに役立ちます。
教師なし学習のしくみ
簡単に言えば、教師なし学習は、分類もラベルも付けられていないデータを分析し、その中の隠れた構造を見つけることによって機能します。
教師あり学習では、データ サイエンティストがシステムにラベル付けされたデータ (猫としてラベル付けされた猫の画像など) を入力し、例によって学習できるようにします。 教師なし学習では、データ サイエンティストは写真だけを提供し、データを分析して猫の画像かどうかを判断するのはシステムの役割です。
教師なし機械学習には、大量のデータが必要です。 ほとんどの場合、モデルがより多くの例でより正確になるため、同じことが教師あり学習にも当てはまります。
教師なし学習のプロセスは、データ サイエンティストがトレーニング データセットを使用してアルゴリズムをトレーニングすることから始まります。 これらのデータセットのデータ ポイントは、ラベルも分類もされていません。
アルゴリズムの学習目標は、データセット内のパターンを識別し、識別された同じパターンに基づいてデータ ポイントを分類することです。 猫の画像の例では、教師なし学習アルゴリズムは、ひげ、長い尾、引き込み式の爪など、猫の特徴を識別することを学習できます。
考えてみれば、教師なし学習とは、物事を識別して分類することを学ぶ方法です。 ケチャップやチリソースを一度も味わったことがないとします。 ケチャップとチリソースの「ラベルのない」ボトルを 2 本ずつ与えられ、味を尋ねられた場合、それらのフレーバーを区別することができます。
どちらのソースの名前もわからなくても、両方のソースの特徴 (1 つは酸味、もう 1 つはスパイシー) を特定することもできます。 何度か味見をすることで、より味わいが深まります。 すぐに、試食するだけで、追加したソースに基づいて料理をグループ化できるようになります。
味を分析すると、2 つのソースとグループ料理を区別する特定の機能を見つけることができます。 それらを分類するために、ソースの名前や料理の名前を知る必要はありません。 1 つを甘いソース、もう 1 つをホット ソースと呼んでしまうかもしれません。
これは、機械が教師なし学習を利用してパターンを識別し、データ ポイントを分類する方法に似ています。 同じ例で言えば、教師あり学習は、ソースの名前と味を前もって教えてくれる人です。
教師なし学習の種類
教師なし学習の問題は、クラスタリングと関連付けの問題に分類できます。
クラスタリング
クラスタリングまたはクラスター分析は、オブジェクトをクラスターにグループ化するプロセスです。 類似度が最も高いアイテムがグループ化され、残りは他のクラスターに分類されます。 クラスタリングの例としては、視聴履歴に基づいて YouTube ユーザーをグループ化することがあります。
クラスタリングは、その仕組みに応じて、次の 4 つのグループに分類できます。
- 排他的クラスタリング:名前が示すように、排他的クラスタリングは、データ ポイントまたはオブジェクトが 1 つのクラスターにのみ存在できることを指定します。
- 階層型クラスタリング:階層型は、クラスターの階層を作成しようとします。 階層クラスタリングには、凝集型と分裂型の 2 種類があります。 凝集はボトムアップ アプローチに従い、最初は各データ ポイントを個別のクラスターとして扱い、クラスターのペアは階層を上に移動するときにマージされます。 分割は、凝集の正反対です。 すべてのデータ ポイントは 1 つのクラスターで始まり、階層を下っていくにつれて分割されます。
- 重複クラスタリング:重複により、データ ポイントを 2 つ以上のクラスターにグループ化できます。
- 確率的クラスタリング:確率的では、確率分布を使用してクラスターを作成します。 たとえば、「緑の靴下」、「青の靴下」、「緑の T シャツ」、「青の T シャツ」は、「緑」と「青」、または「靴下」と「T シャツ」の 2 つのカテゴリにグループ化できます。 "。
協会
アソシエーション ルール学習 (ARL)は、大規模なデータベース内の変数間の関係を見つけるために使用される教師なし学習方法です。 一部の機械学習アルゴリズムとは異なり、ARL は数値以外のデータ ポイントを処理できます。
簡単に言えば、ARL は、特定の変数が互いにどのように関連付けられているかを見つけることです。 たとえば、オートバイを購入する人は、ヘルメットを購入する可能性が最も高くなります。
そのような関係を見つけることは有利になる可能性があります。 たとえば、製品 X を購入する顧客が製品 Y を購入する傾向がある場合、オンライン小売業者は、製品 X を購入するすべての人に製品 Y を推奨できます。
アソシエーション ルールの学習は、そのコアで if/then ステートメントを使用します。 これらのステートメントは、独立したデータ間の関連付けを明らかにすることができます。 さらに、サポートと信頼度を使用して、if/then パターンまたは関係が観察されます。
サポートは、if/then 関係がデータベースに現れる頻度を指定します。 信頼度は、if/then 関係が有効であることが判明した回数を定義します。
マーケット バスケット分析 と ウェブ利用マイニング アソシエーション ルールによって可能になります。
教師なし学習アルゴリズム
クラスタリングとアソシエーション ルールの学習は、アルゴリズムを使用して実装されます。
Apriori アルゴリズム、ECLAT アルゴリズム、Frequent Pattern (FP) growth アルゴリズムは、アソシエーション ルールの実装に使用される注目すべきアルゴリズムの一部です。 クラスタリングは、k-means クラスタリングや主成分分析 (PCA) などのアルゴリズムによって可能になります。

アプリオリアルゴリズム
Apriori アルゴリズムは、データ マイニング用に構築されています。 スーパーマーケットで買い物客が購入した商品のリストを含むデータベースなど、多数のトランザクションを含むデータベースのマイニングに役立ちます。 これは、薬物の有害な影響を特定するために使用され、マーケット バスケット分析で、顧客が一緒に購入する可能性が高い一連のアイテムを見つけるために使用されます。
ECLAT アルゴリズム
Equivalence Class Clustering および Bottom-up Lattice Traversal (略してECLAT ) は、アイテムセット マイニングを実現し、頻繁に使用されるアイテムを見つけるために使用されるデータ マイニング アルゴリズムです。
Apriori アルゴリズムは水平方向のデータ形式を使用するため、データベースを複数回スキャンして頻度の高い項目を特定する必要があります。 一方、ECLAT は垂直アプローチに従い、データベースを 1 回だけスキャンする必要があるため、一般的に高速です。
頻出パターン (FP) 成長アルゴリズム
頻出パターン (FP) 成長アルゴリズムは、Apriori アルゴリズムの改良版です。 このアルゴリズムは、頻度の高いツリーまたはパターンと呼ばれるツリー構造の形式でデータベースを表します。
このような頻度の高いツリーは、最も頻度の高いパターンをマイニングするために使用されます。 Apriori アルゴリズムではデータベースを n+1 回 (n は最長のモデルの長さ) スキャンする必要がありますが、FP 成長アルゴリズムでは 2 回のスキャンしか必要ありません。
K-means クラスタリング
k-means アルゴリズムの多くの反復は、データ サイエンスの分野で広く使用されています。 簡単に言うと、k-means クラスタリング アルゴリズムは、類似したアイテムをクラスタにグループ化します。 クラスターの数はkで表されます。 したがって、k の値が 3 の場合、合計で 3 つのクラスターが存在します。
このクラスタリング方法は、ラベルのないデータセットを分割して、各データ ポイントが同様のプロパティを持つ 1 つのグループのみに属するようにします。 重要なのは、クラスター重心と呼ばれる K 個の中心を見つけることです。
各クラスターには 1 つのクラスター重心があり、新しいデータ ポイントを確認すると、アルゴリズムは、ユークリッド距離などのメトリックに基づいて、データ ポイントが属する最も近いクラスターを決定します。
主成分分析 (PCA)
主成分分析 (PCA)は、大規模なデータセットの次元を削減するために一般的に使用される次元削減手法です。 これは、多数の変数を、大規模なデータセット内のほとんどすべての情報を含む小さな変数に変換することによって行われます。
変数の数を減らすと、精度にわずかに影響する可能性がありますが、単純化のために許容できるトレードオフになる可能性があります。 これは、データセットが小さいほど分析が容易であり、機械学習アルゴリズムが貴重な洞察を引き出すために多大な労力を費やす必要がないためです。
教師あり学習と教師なし学習
教師あり学習は、教師が学習プロセス全体を監督することに似ています。 また、解決しようとしている各問題の正解を得るのと同様に、ラベル付けされたトレーニング データセットもあります。
正解か不正解かがわかりやすくなり、間違えた場合も先生が訂正してくれます。 教師なし学習の場合、教師も正解もありません。
計算の観点から見ると、教師なし学習は教師あり学習よりも複雑で時間がかかります。 ただし、データ マイニングや、分類子(データを自動的に分類する機械学習アルゴリズム) を割り当てる前にデータの構造を把握するのに役立ちます。
教師なし学習は、ラベル付けされていないデータが膨大な場合に役立ちますが、データ サイエンティストにとってはほとんど不便ではないかもしれません。 教師あり学習で使用される検証データセットにもラベルが付けられるため、データ サイエンティストはモデルの精度を測定しやすくなります。 しかし、教師なし学習モデルについてはそうではありません。
多くの場合、教師なし学習は教師あり学習の前に適用されます。 これは、機能の識別とクラスの作成に役立ちます。
教師なし学習プロセスはオンラインで行われますが、教師あり学習はオフラインで行われます。 これにより、UL アルゴリズムはリアルタイムでデータを処理できます。
教師なし学習の問題は関連問題とクラスタリング問題に分けられますが、教師あり学習はさらに回帰と分類に分類できます。
教師あり学習と教師なし学習のほかに、半教師あり学習と強化学習があります。
半教師あり学習は、教師あり学習と教師なし学習を組み合わせたものです。 この機械学習手法では、システムを少しだけトレーニングして、概要を把握できるようにします。 トレーニング データの一部がラベル付けされ、残りはラベル付けされません。
強化学習 (RL)では、人工知能システムは、報酬を最大化する必要があるゲームのような環境に遭遇します。 システムは、試行錯誤の方法に従って学習し、各ステップで報酬を獲得する可能性を高める必要があります。
ここでは、教師あり学習と教師なし学習の主な違いについて簡単に説明します。
教師なし学習 | 教師あり学習 |
これは複雑なプロセスであり、より多くの計算リソースを必要とし、時間がかかります。 | これは比較的単純で、必要な計算リソースが少なくて済みます。 |
トレーニング データセットはラベル付けされていません。 | トレーニング データセットにはラベルが付けられています。 |
精度は低いが必ずしもそうとは限らない | 高精度 |
アソシエーションとクラスタリングに分けられる | 回帰と分類に分けられる |
不確実性とともにモデルの精度を測定するのは面倒です。 | モデルの精度を測定する方が簡単です。 |
クラス数は不明。 | クラスの数はわかっています。 |
学習はリアルタイムで行われます。 | 学習はオフラインで行われます。 |
Apriori、ECLAT、k-means クラスタリング、および頻度パターン (FP) 成長アルゴリズムは、使用されるアルゴリズムの一部です。 | 使用されるアルゴリズムには、線形回帰、ロジスティック回帰、単純ベイズ、サポート ベクター マシン (SVM) などがあります。 |
教師なし機械学習の例
前述のように、教師なし学習はそれ自体が目標であり、膨大な量のデータに隠されたパターンを見つけるために使用できます。これは人間にとって非現実的な作業です。
教師なし機械学習の実世界での応用例。
- 異常検出:データセット内の非定型データ ポイントを見つけるプロセスであるため、不正行為の検出に役立ちます。
- コンピューター ビジョン:としても知られています。 画像認識と同様に、画像内のオブジェクトを識別するこの偉業は、自動運転車に不可欠であり、画像セグメンテーションのためのヘルスケア業界にとっても価値があります.
- レコメンデーション システム:履歴データを分析することにより、教師なし学習アルゴリズムは、顧客が購入する可能性が最も高い製品をレコメンデーションします。
- 顧客ペルソナ:教師なし学習は、購入習慣に関するデータを分析することで、企業が正確な顧客ペルソナを構築するのに役立ちます。
アルゴリズムを独自のデバイスに任せる
独自に学習できるため、教師なし学習は大量のデータを分析する最速の方法になります。 もちろん、教師あり学習と教師なし (または半教師あり) 学習のどちらを選択するかは、解決しようとしている問題と、利用可能なデータの時間と膨大さに依存します。 それでも、教師なし学習により、全体の作業をよりスケーラブルにすることができます。
私たちが今日持っている AI は、作成者の命令に逆らうことはおろか、世界を支配することもできません。 しかし、自動運転車やチャットボットなどの驚異的な偉業を可能にします。 ナローAIと呼ばれるが、思ったほど弱くはない。