logo

TechCodeview

Lokalno linearna vdelava v strojnem učenju

LLE (lokalno linearna vdelava) je nenadzorovan pristop, zasnovan za preoblikovanje podatkov iz njihovega prvotnega visokodimenzionalnega prostora v nižjedimenzionalno predstavitev, pri čemer si prizadevajo ohraniti bistvene geometrijske značilnosti osnovne strukture nelinearnih značilnosti. LLE deluje v več ključnih korakih:

  • Prvič, sestavi graf najbližjih sosedov, da zajame ta lokalna razmerja. Nato optimizira vrednosti uteži za vsako podatkovno točko, da bi čim bolj zmanjšal napako pri rekonstrukciji pri izražanju točke kot linearne kombinacije njenih sosedov. Ta utežna matrika odraža moč povezav med točkami.
  • Nato LLE z iskanjem izračuna nižjo dimenzijsko predstavitev podatkov lastni vektorji matrike, izpeljane iz utežne matrike. Ti lastni vektorji predstavljajo najpomembnejše smeri v zmanjšanem prostoru. Uporabniki lahko določijo želeno dimenzijo za izhodni prostor, LLE pa ustrezno izbere zgornje lastne vektorje.

Kot ilustracijo razmislite o a Nabor podatkov o švicarskem zvitku , ki je sama po sebi nelinearna v svojem visokodimenzionalnem prostoru. LLE v tem primeru deluje tako, da projicira to kompleksno strukturo na nižjo dimenzionalno ravnino, pri čemer ohranja svoje značilne geometrijske lastnosti v celotnem procesu transformacije.



Kazalo

Matematična implementacija algoritma LLE

Ključna ideja LLE je, da lokalno, v bližini vsake podatkovne točke, podatki ležijo približno na linearnem podprostoru. LLE poskuša razgrniti ali razviti podatke, pri tem pa ohraniti ta lokalna linearna razmerja.

Tukaj je matematični pregled algoritma LLE:

Zmanjšaj: sum _{i} | x{_i} - vsota _{j} w _{ij} x{_j}|^2



Predmet: vsota {_j} w _{ij} = 1

linux ukaz za zip

Kje:

  • xjazpredstavlja i-to podatkovno točko.
  • noterijso uteži, ki minimizirajo napako rekonstrukcije za podatkovno točko xjazz uporabo svojih sosedov.

Njegov cilj je najti nižjedimenzionalno predstavitev podatkov ob ohranjanju lokalnih odnosov. Matematični izraz za LLE vključuje minimiziranje napake rekonstrukcije vsake podatkovne točke z izražanjem kot tehtano vsoto k najbližjim sosedom ' prispevki. Za to optimizacijo veljajo omejitve, ki zagotavljajo, da je vsota uteži 1 za vsako podatkovno točko. Lokalno linearna vdelava (LLE) je tehnika zmanjševanja dimenzij, ki se uporablja pri strojnem učenju in analizi podatkov. Osredotoča se na ohranjanje lokalnih odnosov med podatkovnimi točkami pri preslikavi visokodimenzionalnih podatkov v nižjedimenzionalni prostor. Tukaj bomo razložili algoritem LLE in njegove parametre.



Lokalno linearni algoritem vdelave

Algoritem LLE lahko razdelimo na več korakov:

  • Izbira soseske: Za vsako podatkovno točko v visokodimenzionalnem prostoru LLE identificira njene k-najbližje sosede. Ta korak je ključnega pomena, ker LLE predpostavlja, da se lahko vsaka podatkovna točka dobro približa z linearno kombinacijo njenih sosedov.
  • Konstrukcija matrice teže: LLE izračuna nabor uteži za vsako podatkovno točko, da jo izrazi kot linearno kombinacijo njenih sosedov. Te uteži so določene tako, da je napaka pri rekonstrukciji čim manjša. Za iskanje teh uteži se pogosto uporablja linearna regresija.
  • Globalno ohranjanje strukture: Po izdelavi utežne matrike želi LLE poiskati nižjedimenzionalno predstavitev podatkov, ki najbolje ohranja lokalne linearne odnose. To naredi tako, da išče nabor koordinat v nižjedimenzionalnem prostoru za vsako podatkovno točko, ki minimizira stroškovno funkcijo. to stroškovna funkcija oceni, kako dobro lahko vsako podatkovno točko predstavijo njeni sosedi.
  • Izhodna vdelava: Ko je postopek optimizacije končan, LLE zagotovi končno nižjedimenzionalno predstavitev podatkov. Ta predstavitev zajame bistveno strukturo podatkov, hkrati pa zmanjša njihovo dimenzionalnost.

Parametri v algoritmu LLE

LLE ima nekaj parametrov, ki vplivajo na njegovo obnašanje:

  • k (število sosedov): Ta parameter določa, koliko najbližjih sosedov se upošteva pri izdelavi matrike teže. Večji k zajame bolj globalne odnose, vendar lahko povzroči šum. Manjši k se osredotoča na lokalne odnose, vendar je lahko občutljiv na odstopanja. Izbira ustrezne vrednosti za k je bistvena za uspeh algoritma.
  • Dimenzionalnost izhodnega prostora: Določite lahko dimenzionalnost nižjedimenzionalnega prostora, v katerega bodo preslikani podatki. To se pogosto izbere na podlagi zahtev problema in kompromisa med računalniško kompleksnostjo in ohranjanjem informacij.
  • Metrična razdalja: LLE se za določanje bližine podatkovnih točk opira na metriko razdalje. Pogoste izbire vključujejo evklidsko razdaljo, manhattansko razdaljo ali po meri določene funkcije razdalje. Izbira metrike razdalje lahko vpliva na rezultate.
  • Regulacija (neobvezno): V nekaterih primerih so funkciji stroškov dodani pogoji za ureditev, da se prepreči prekomerno opremljanje. Regularizacija je lahko uporabna, ko imamo opravka s šumnimi podatki ali ko je število sosedov veliko.
  • Optimizacijski algoritem (neobvezno): LLE pogosto uporablja optimizacijske tehnike, kot je Razčlenitev singularne vrednosti (SVD) ali metode lastnih vektorjev za iskanje nižjedimenzionalne predstavitve. Te metode optimizacije imajo lahko svoje parametre, ki jih je mogoče prilagoditi.

LLE (lokalno linearna vdelava) predstavlja pomemben napredek v strukturni analizi, ki presega tradicionalne tehnike modeliranja gostote, kot je lokalna PCA ali mešanice faktorskih analizatorjev. Omejitev modelov gostote je v njihovi nezmožnosti dosledne vzpostavitve nabora globalnih koordinat, ki bi lahko vključile opazovanja po celotnem strukturnem razdelilniku. Posledično se izkažejo za neustrezne za naloge, kot je ustvarjanje nizkodimenzionalnih projekcij izvirnega nabora podatkov. Ti modeli so odlični le pri prepoznavanju linearnih značilnosti, kot je prikazano na spodnji sliki. Vendar pa ne zajamejo zapletenih ukrivljenih vzorcev, kar je lastna zmogljivost LLE.

Izboljšana računalniška učinkovitost z LLE. LLE ponuja vrhunsko računsko učinkovitost zaradi ravnanja z redko matriko, ki prekaša druge algoritme.

Implementacija lokalno linearne vdelave

Uvažanje knjižnic

Python3

#importing Libraries> import> numpy as np> import> matplotlib.pyplot as plt> from> sklearn.datasets>import> make_swiss_roll> from> sklearn.manifold>import> LocallyLinearEmbedding> 
>
>

Koda se začne z uvozom potrebnih knjižnic, vključno z numpy, matplotlib.pyplot , make_swiss_roll iz sklearn.datasets in LocallyLinearEmbedding iz sklearn.razdelilnik .

bash spanje

Ustvarjanje sintetičnega nabora podatkov (Swiss Roll)

Python3

# Code for Generating a synthetic dataset (Swiss Roll)> n_samples>=> 1000> # Define the number of neighbors for LLE> n_neighbors>=> 10> X, _>=> make_swiss_roll(n_samples>=>n_samples)> 
>
>

Z uporabo funkcije make_swiss_roll iz scikit-learn ustvari sintetični nabor podatkov, ki spominja na Swiss Roll.

n_samples določa število podatkovnih točk za generiranje.
n_neighbors definira število sosedov, uporabljenih v algoritmu LLE.

Uporaba lokalne linearne vdelave (LLE)

Python3

# Including Locally Linear Embedding> lle>=> LocallyLinearEmbedding(n_neighbors>=>n_neighbors, n_components>=>2>)> X_reduced>=> lle.fit_transform(X)> 
>
>

Primerek algoritma LLE je ustvarjen z LocallyLinearEmbedding. Parameter n_neighbors določa število sosedov, ki jih je treba upoštevati med postopkom vdelave.

Algoritem LLE se nato prilagodi izvirnim podatkom X z uporabo fit_transform metoda. Ta korak zmanjša nabor podatkov na dve dimenziji (n_components=2).

Vizualizacija izvirnih in pomanjšanih podatkov

Python3

# Code for Visualizing the original Versus reduced data> plt.figure(figsize>=>(>12>,>6>))> plt.subplot(>121>)> plt.scatter(X[:,>0>], X[:,>1>], c>=>X[:,>2>], cmap>=>plt.cm.Spectral)> plt.title(>'Original Data'>)> plt.xlabel(>'Feature 1'>)> plt.ylabel(>'Feature 2'>)> plt.subplot(>122>)> plt.scatter(X_reduced[:,>0>], X_reduced[:,>1>], c>=>X[:,>2>], cmap>=>plt.cm.Spectral)> plt.title(>'Reduced Data (LLE)'>)> plt.xlabel(>'Component 1'>)> plt.ylabel(>'Component 2'>)> plt.tight_layout()> plt.show()> 
>
>

Izhod:


Lokalno linearna vdelava



V drugem podgrafu so zmanjšani podatki, pridobljeni iz LLE (X_reduced), vizualizirani na podoben način kot izvirni podatki. Barva podatkovnih točk je še vedno določena s tretjo značilnostjo izvirnih podatkov (X[:, 2]). plt.tight_layout() funkcija se uporablja za zagotavljanje pravilnega razmika med podploskvami.

Prednosti LLE

Metoda zmanjšanja dimenzionalnosti, znana kot lokalno linearna vdelava (LLE), ima številne prednosti za obdelavo in vizualizacijo podatkov. Glavne prednosti LLE so naslednje:

  • Ohranjanje lokalnih struktur : LLE je odličen pri vzdrževanju lokalnih odnosov ali struktur v podatkih. Uspešno zajame inherentno geometrijo nelinearnih kolektorjev z ohranjanjem parnih razdalj med bližnjimi podatkovnimi točkami.
  • Ravnanje z nelinearnostjo : LLE lahko zajame nelinearne vzorce in strukture v podatkih v nasprotju z linearnimi tehnikami, kot je Analiza glavnih komponent (PCA). Pri delu z zapletenimi, ukrivljenimi ali zvitimi nabori podatkov je še posebej koristen.
  • Zmanjšanje dimenzionalnosti : LLE zmanjša dimenzionalnost podatkov, hkrati pa ohrani njihove temeljne lastnosti. Zlasti pri delu z visokodimenzionalnimi nabori podatkov to zmanjšanje poenostavi predstavitev podatkov, raziskovanje in analizo.

Slabosti LLE

  • Prekletstvo dimenzionalnosti : LLE lahko doživi prekletstvo dimenzionalnosti pri uporabi z izredno visokodimenzionalnimi podatki, tako kot pri mnogih drugih pristopih zmanjševanja dimenzionalnosti. Število sosedov, potrebnih za zajem lokalnih interakcij, narašča z dimenzionalnostjo, kar lahko poveča računske stroške pristopa.
  • Pomnilnik in računalniške zahteve : Za velike nabore podatkov je lahko ustvarjanje tehtane matrike sosednosti kot dela LLE pomnilniško zahtevno. Stopnja dekompozicije lastnih vrednosti je lahko tudi računsko obdavčljiva za velike nabore podatkov.
  • Izstopajoči in šumni podatki : LLE je dovzeten za anomalije in nemirne podatkovne točke. Kakovost vdelave je lahko prizadeta, lokalna linearna razmerja pa so lahko popačena zaradi odstopanj.