Strojno učenje je veja umetne inteligence, ki se osredotoča na razvoj algoritmov in statističnih modelov, ki se lahko učijo iz podatkov in jih napovedujejo. Linearna regresija je tudi vrsta algoritma strojnega učenja, natančneje a nadzorovan algoritem strojnega učenja ki se uči iz označenih nizov podatkov in preslika podatkovne točke v najbolj optimizirane linearne funkcije. ki se lahko uporabijo za napovedovanje novih naborov podatkov.

Najprej bi morali vedeti, kaj so nadzorovani algoritmi strojnega učenja. Je vrsta strojnega učenja, kjer se algoritem uči iz označenih podatkov. Označeni podatki pomenijo nabor podatkov, katerega ciljna vrednost je že znana. Nadzorovano učenje ima dve vrsti:

funkcija python chr

• Razvrstitev : Predvidi razred nabora podatkov na podlagi neodvisne vhodne spremenljivke. Razred so kategorične ali diskretne vrednosti. kot je podoba živali mačka ali pes?
• Regresija : Napoveduje zvezne izhodne spremenljivke na podlagi neodvisne vhodne spremenljivke. kot je napovedovanje cen hiš na podlagi različnih parametrov, kot so starost hiše, oddaljenost od glavne ceste, lokacija, površina itd.

Tukaj bomo obravnavali eno najpreprostejših vrst regresije, tj. Linearna regresija.

Kazalo

• Kaj je linearna regresija?
• Vrste linearne regresije
• Katera je najboljša linija Fit?
• Stroškovna funkcija za linearno regresijo
• Predpostavke preproste linearne regresije
• Predpostavke večkratne linearne regresije
• Meritve vrednotenja za linearno regresijo
• Izvedba linearne regresije v Pythonu
• Tehnike regulacije za linearne modele
• Uporaba linearne regresije
• Prednosti in slabosti linearne regresije
• Linearna regresija – pogosta vprašanja (FAQ)

Kaj je linearna regresija?

Linearna regresija je vrsta nadzorovano strojno učenje algoritem, ki izračuna linearno razmerje med odvisno spremenljivko in eno ali več neodvisnimi značilnostmi s prilagajanjem linearne enačbe opazovanim podatkom.

Ko je samo ena neodvisna značilnost, je znana kot Preprosta linearna regresija , in ko je več kot ena funkcija, je znana kot Večkratna linearna regresija .

Podobno se upošteva le ena odvisna spremenljivka Univariatna linearna regresija , ko pa obstaja več kot ena odvisna spremenljivka, je to znano kot Multivariatna regresija .

Zakaj je linearna regresija pomembna?

Interpretabilnost linearne regresije je pomembna prednost. Enačba modela zagotavlja jasne koeficiente, ki pojasnjujejo vpliv vsake neodvisne spremenljivke na odvisno spremenljivko, kar omogoča globlje razumevanje osnovne dinamike. Njena preprostost je vrlina, saj je linearna regresija pregledna, enostavna za implementacijo in služi kot temeljni koncept za kompleksnejše algoritme.

Linearna regresija ni le orodje za napovedovanje; predstavlja osnovo za različne napredne modele. Tehnike, kot so regularizacija in podporni vektorski stroji, črpajo navdih iz linearne regresije, kar povečuje njeno uporabnost. Poleg tega je linearna regresija temeljni kamen pri testiranju predpostavk, ki raziskovalcem omogoča potrditev ključnih predpostavk o podatkih.

Vrste linearne regresije

Obstajata dve glavni vrsti linearne regresije:

Preprosta linearna regresija

To je najpreprostejša oblika linearne regresije in vključuje samo eno neodvisno spremenljivko in eno odvisno spremenljivko. Enačba za preprosto linearno regresijo je:
y=eta_{0}+eta_{1}X
kje:

• Y je odvisna spremenljivka
• X je neodvisna spremenljivka
• β0 je presek
• β1 je naklon

Večkratna linearna regresija

To vključuje več kot eno neodvisno spremenljivko in eno odvisno spremenljivko. Enačba za večkratno linearno regresijo je:
y=eta_{0}+eta_{1}X+eta_{2}X+………eta_{n}X
kje:

• Y je odvisna spremenljivka
• X1, X2, …, Xp so neodvisne spremenljivke
• β0 je presek
• β1, β2, …, βn so nakloni

Cilj algoritma je najti najboljša Fit linija enačba, ki lahko napove vrednosti na podlagi neodvisnih spremenljivk.

V regresiji je nabor zapisov prisoten z vrednostmi X in Y in te vrednosti se uporabljajo za učenje funkcije, tako da, če želite predvideti Y iz neznanega X, lahko uporabite to naučeno funkcijo. Pri regresiji moramo poiskati vrednost Y. Torej je potrebna funkcija, ki napoveduje zvezni Y v primeru regresije, podane kot X kot neodvisne značilnosti.

Katera je najboljša linija Fit?

Naš glavni cilj pri uporabi linearne regresije je poiskati črto, ki se najbolje prilega, kar pomeni, da mora biti napaka med predvidenimi in dejanskimi vrednostmi čim manjša. Najmanjša napaka bo v najprimernejši liniji.

Najboljša enačba Fit Line zagotavlja ravno črto, ki predstavlja razmerje med odvisnimi in neodvisnimi spremenljivkami. Naklon črte kaže, koliko se odvisna spremenljivka spremeni za spremembo enote v neodvisni spremenljivki.

Linearna regresija

Tu se Y imenuje odvisna ali ciljna spremenljivka, X pa neodvisna spremenljivka, znana tudi kot napovedovalec Y. Obstaja veliko vrst funkcij ali modulov, ki jih je mogoče uporabiti za regresijo. Linearna funkcija je najpreprostejša vrsta funkcije. Tu je lahko X ena ali več funkcij, ki predstavljajo težavo.

Linearna regresija opravi nalogo napovedi vrednosti odvisne spremenljivke (y) na podlagi dane neodvisne spremenljivke (x)). Zato je ime linearna regresija. Na zgornji sliki je X (input) delovne izkušnje, Y (output) pa plača osebe. Regresijska premica je najbolj primerna premica za naš model.

Funkcijo stroškov uporabljamo za izračun najboljših vrednosti, da dobimo črto, ki se najbolj prilega, saj različne vrednosti za uteži ali koeficient črt povzročijo različne regresijske črte.

Funkcija hipoteze v linearni regresiji

Kot smo že predpostavili, je naša neodvisna značilnost izkušnje, tj. X in ustrezna plača Y sta odvisna spremenljivka. Predpostavimo, da obstaja linearna povezava med X in Y, potem lahko plačo napovemo z uporabo:

hat{Y} = heta_1 + heta_2X

ALI

hat{y}_i = heta_1 + heta_2x_i

tukaj,

• y_i epsilon Y ;; (i= 1,2, cdots , n) so oznake za podatke (nadzorovano učenje)
• x_i epsilon X ;; (i= 1,2, cdots , n) so vhodni neodvisni podatki o usposabljanju (enovariantni – ena vhodna spremenljivka (parameter))
• hat{y_i} epsilon hat{Y} ;; (i= 1,2, cdots , n) so predvidene vrednosti.

Model dobi najboljšo regresijsko linijo z iskanjem najboljšega θ₁in θ₂vrednote.

pretvoriti niz v celo število

• jaz ₁ : prestreči
• jaz ₂ : koeficient x

Ko najdemo najboljši θ₁in θ₂vrednosti, dobimo linijo, ki se najbolj prilega. Torej, ko bomo končno uporabili naš model za napovedovanje, bo ta napovedal vrednost y za vhodno vrednost x.

Kako posodobiti θ ₁ in θ ₂ vrednosti, da bi dobili najprimernejšo linijo?

Za doseganje regresijske črte, ki se najbolj prilega, želi model napovedati ciljno vrednosthat{Y} tako, da razlika napake med predvideno vrednostjohat{Y} in prava vrednost Y je minimalna. Zato je zelo pomembno posodobiti θ₁in θ₂vrednosti, da dosežete najboljšo vrednost, ki zmanjša napako med predvideno vrednostjo y (pred) in resnično vrednostjo y (y).

minimizefrac{1}{n}sum_{i=1}^{n}(hat{y_i}-y_i)^2

Stroškovna funkcija za linearno regresijo

The stroškovna funkcija ali funkcija izgube ni nič drugega kot napaka ali razlika med predvideno vrednostjohat{Y} in pravo vrednost Y.

V linearni regresiji je Povprečna kvadratna napaka (MSE) uporabljena je stroškovna funkcija, ki izračuna povprečje kvadratov napak med predvidenimi vrednostmihat{y}_i in dejanske vrednosti{y}_i . Namen je določiti optimalne vrednosti za prestrezanje heta_1 in koeficient vhodne lastnosti heta_2 zagotavljanje najprimernejše črte za dane podatkovne točke. Linearna enačba, ki izraža to razmerje, jehat{y}_i = heta_1 + heta_2x_i .

Funkcijo MSE je mogoče izračunati kot:

ext{Cost function}(J) = frac{1}{n}sum_{n}^{i}(hat{y_i}-y_i)^2

Z uporabo funkcije MSE se za posodobitev vrednosti uporabi iterativni postopek gradientnega spuščanja heta_1 & heta_2 . To zagotavlja, da vrednost MSE konvergira k globalnim minimumom, kar pomeni najbolj natančno prileganje črte linearne regresije naboru podatkov.

Ta postopek vključuje stalno prilagajanje parametrov ( heta_1) in ( heta_2) na podlagi gradientov, izračunanih iz MSE. Končni rezultat je linearna regresijska premica, ki minimizira skupne kvadratne razlike med predvidenimi in dejanskimi vrednostmi ter zagotavlja optimalno predstavitev osnovnega razmerja v podatkih.

Gradientni spust za linearno regresijo

Model linearne regresije je mogoče učiti z uporabo optimizacijskega algoritma gradientni spust z iterativnim spreminjanjem parametrov modela za zmanjšanje povprečna kvadratna napaka (MSE) modela na naboru podatkov za usposabljanje. Za posodobitev θ₁in θ₂vrednosti, da bi zmanjšali funkcijo stroškov (minimizirali vrednost RMSE) in dosegli črto, ki se najbolje prilega, model uporablja gradientni spust. Ideja je začeti z naključnim θ₁in θ₂vrednosti in nato iterativno posodablja vrednosti, tako da doseže minimalne stroške.

Gradient ni nič drugega kot izpeljanka, ki definira učinke na izhode funkcije z malo variacijami v vhodih.

Razlikujmo stroškovno funkcijo (J) glede na heta_1

egin {aligned} {J}’_{ heta_1} &=frac{partial J( heta_1, heta_2)}{partial heta_1} &= frac{partial}{partial heta_1} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(1+0-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2 ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) end {aligned}

Razlikujmo stroškovno funkcijo (J) glede na heta_2

egin {aligned} {J}’_{ heta_2} &=frac{partial J( heta_1, heta_2)}{partial heta_2} &= frac{partial}{partial heta_2} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(0+x_i-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2x_i ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i end {aligned}

Cilj linearne regresije je iskanje koeficientov linearne enačbe, ki najbolje ustreza podatkom o usposabljanju. S premikanjem v smeri negativnega gradienta srednje kvadratne napake glede na koeficiente lahko koeficiente spremenite. In ustrezen presek in koeficient X bosta ifalpha je stopnja učenja.

diana ankudinova

Gradientni spust

egin{aligned} heta_1 &= heta_1 – alpha left( {J}’_{ heta_1} ight) &= heta_1 -alpha left( frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) ight) end{aligned} egin{aligned} heta_2 &= heta_2 – alpha left({J}’_{ heta_2} ight) &= heta_2 – alpha left(frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i ight) end{aligned}

Predpostavke preproste linearne regresije

Linearna regresija je močno orodje za razumevanje in napovedovanje obnašanja spremenljivke, vendar mora izpolnjevati nekaj pogojev, da je natančna in zanesljiva rešitev.

1. Linearnost : Neodvisna in odvisna spremenljivka sta med seboj linearno povezani. To pomeni, da spremembe v odvisni spremenljivki sledijo spremembam v neodvisni spremenljivki na linearen način. To pomeni, da mora obstajati ravna črta, ki jo je mogoče narisati skozi podatkovne točke. Če razmerje ni linearno, potem linearna regresija ne bo natančen model.
   
2. Neodvisnost : Opazovanja v naboru podatkov so neodvisna druga od druge. To pomeni, da vrednost odvisne spremenljivke za eno opazovanje ni odvisna od vrednosti odvisne spremenljivke za drugo opazovanje. Če opazovanja niso neodvisna, potem linearna regresija ne bo natančen model.
3. Homoskedastičnost : Na vseh ravneh neodvisnih spremenljivk je varianca napak konstantna. To pomeni, da količina neodvisnih spremenljivk nima vpliva na varianco napak. Če varianca ostankov ni konstantna, potem linearna regresija ne bo natančen model.
   

   Homoskedastičnost v linearni regresiji

4. Normalnost : Ostanki morajo biti normalno porazdeljeni. To pomeni, da morajo ostanki slediti zvonasti krivulji. Če ostanki niso normalno porazdeljeni, linearna regresija ne bo natančen model.

Predpostavke večkratne linearne regresije

Za večkratno linearno regresijo veljajo vse štiri predpostavke iz preproste linearne regresije. Poleg tega je spodaj še nekaj:

1. Brez multikolinearnosti : Med neodvisnimi spremenljivkami ni visoke korelacije. To pomeni, da je med neodvisnimi spremenljivkami malo ali nič korelacije. Multikolinearnost se pojavi, ko sta dve ali več neodvisnih spremenljivk močno povezani med seboj, kar lahko oteži določitev posameznega učinka vsake spremenljivke na odvisno spremenljivko. Če obstaja multikolinearnost, večkratna linearna regresija ne bo natančen model.
2. Aditivnost: Model predpostavlja, da je učinek sprememb napovedne spremenljivke na spremenljivko odziva dosleden ne glede na vrednosti drugih spremenljivk. Ta predpostavka pomeni, da med spremenljivkami ni interakcije v njihovih učinkih na odvisno spremenljivko.
3. Izbira funkcij: Pri multipli linearni regresiji je nujno skrbno izbrati neodvisne spremenljivke, ki bodo vključene v model. Vključitev nepomembnih ali odvečnih spremenljivk lahko privede do prekomernega opremljanja in zaplete razlago modela.
4. Prekomerno opremljanje: Prekomerno opremljanje se pojavi, ko se model preveč prilega podatkom o usposabljanju in zajame šum ali naključna nihanja, ki ne predstavljajo pravega osnovnega razmerja med spremenljivkami. To lahko vodi do slabe učinkovitosti posploševanja novih, nevidenih podatkov.

Multikolinearnost

Multikolinearnost je statistični pojav, ki se pojavi, ko sta dve ali več neodvisnih spremenljivk v modelu multiple regresije visoko korelirani, zaradi česar je težko oceniti posamezne učinke vsake spremenljivke na odvisno spremenljivko.

Odkrivanje multikolinearnosti vključuje dve tehniki:

• Korelacijska matrika: Preučevanje korelacijske matrike med neodvisnimi spremenljivkami je običajen način za odkrivanje multikolinearnosti. Visoke korelacije (blizu 1 ali -1) kažejo na potencialno multikolinearnost.
• VIF (faktor inflacije variance): VIF je mera, ki kvantificira, koliko se poveča varianca ocenjenega regresijskega koeficienta, če so vaši napovedniki povezani. Visok VIF (običajno nad 10) kaže na multikolinearnost.

Meritve vrednotenja za linearno regresijo

Raznolikost ocenjevalni ukrepi se lahko uporabi za določitev moči katerega koli modela linearne regresije. Te metrike ocenjevanja pogosto nakazujejo, kako dobro model ustvarja opazovane rezultate.

Najpogostejše meritve so:

Povprečna kvadratna napaka (MSE)

Povprečna kvadratna napaka (MSE) je metrika vrednotenja, ki izračuna povprečje kvadratov razlik med dejanskimi in predvidenimi vrednostmi za vse podatkovne točke. Razlika je na kvadrat, da se zagotovi, da se negativne in pozitivne razlike med seboj ne izničijo.

MSE = frac{1}{n}sum_{i=1}^{n}left ( y_i – widehat{y_{i}} ight )^2

tukaj,

• n je število podatkovnih točk.
• in_jazje dejanska ali opažena vrednost za i^thpodatkovna točka.
• widehat{y_{i}} je predvidena vrednost za i^thpodatkovna točka.

MSE je način za količinsko opredelitev natančnosti napovedi modela. MSE je občutljiv na odstopanja, saj velike napake pomembno prispevajo k skupni oceni.

Povprečna absolutna napaka (MAE)

Povprečna absolutna napaka je metrika vrednotenja, ki se uporablja za izračun natančnosti regresijskega modela. MAE meri povprečno absolutno razliko med predvidenimi in dejanskimi vrednostmi.

Matematično je MAE izražen kot:

mysql seznam vseh uporabnikov

MAE =frac{1}{n} sum_{i=1}^{n}|Y_i – widehat{Y_i}|

tukaj,

• n je število opazovanj
• IN_jazpredstavlja dejanske vrednosti.
• widehat{Y_i} predstavlja predvidene vrednosti

Nižja vrednost MAE kaže boljšo zmogljivost modela. Ni občutljiv na odstopanja, saj upoštevamo absolutne razlike.

Koren srednje kvadratne napake (RMSE)

Kvadratni koren variance ostankov je Koren srednje kvadratne napake . Opisuje, kako dobro se opazovane podatkovne točke ujemajo s pričakovanimi vrednostmi ali absolutno prileganje modela podatkom.

V matematičnem zapisu se lahko izrazi kot:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{n}
Namesto da bi celotno število podatkovnih točk v modelu delili s številom prostostnih stopenj, je treba deliti vsoto kvadratov ostankov, da dobimo nepristransko oceno. Potem se ta številka imenuje preostala standardna napaka (RSE).

V matematičnem zapisu se lahko izrazi kot:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{(n-2)}

RSME ni tako dobra metrika kot R-kvadrat. Korenska povprečna kvadratna napaka lahko niha, ko se enote spremenljivk razlikujejo, saj je njena vrednost odvisna od enot spremenljivk (ni normalizirana mera).

Koeficient determinacije (R-kvadrat)

R-na kvadrat je statistika, ki kaže, koliko variacij lahko razviti model pojasni ali zajame. Vedno je v območju od 0 do 1. Na splošno velja, da čim bolje se model ujema s podatki, tem večje je število R-kvadrat.
V matematičnem zapisu se lahko izrazi kot:
R^{2}=1-(^{frac{RSS}{TSS}})

• Preostala vsota kvadratov (RSS): The vsota kvadratov ostanka za vsako podatkovno točko na grafu ali podatku je znana kot vsota kvadratov ostanka ali RSS. Je meritev razlike med izhodom, ki je bil opažen, in tistim, kar je bilo pričakovano.
  RSS=sum_{i=2}^{n}(y_{i}-b_{0}-b_{1}x_{i})^{2}
• Skupna vsota kvadratov (TSS): Vsota napak podatkovnih točk glede na povprečje spremenljivke odgovora je znana kot skupna vsota kvadratov ali TSS.
  TSS= sum_{}^{}(y-overline{y_{i}})^2

R kvadratna metrika je merilo deleža variance v odvisni spremenljivki, ki je razložena z neodvisnimi spremenljivkami v modelu.

Prilagojena napaka R-kvadrat

Prilagojeno R²meri delež variance v odvisni spremenljivki, ki je razložen z neodvisnimi spremenljivkami v regresijskem modelu. Prilagojeni R-kvadrat upošteva število napovedovalcev v modelu in kaznuje model, ker vključuje nepomembne napovedovalce, ki ne prispevajo bistveno k razlagi variance v odvisnih spremenljivkah.

Matematično prilagojeno R²se izraža kot:

Adjusted , R^2 = 1 – (frac{(1-R^2).(n-1)}{n-k-1})

tukaj,

• n je število opazovanj
• k je število napovedovalcev v modelu
• R²je koeficient determinacije

Prilagojen R-kvadrat pomaga preprečiti prekomerno opremljanje. Model kaznuje z dodatnimi napovedovalci, ki ne prispevajo bistveno k razlagi variance v odvisni spremenljivki.

Izvedba linearne regresije v Pythonu

Uvozite potrebne knjižnice:

Naložite nabor podatkov in ločite vhodne in ciljne spremenljivke

Tukaj je povezava za nabor podatkov: Povezava na nabor podatkov

Zgradite model linearne regresije in narišite regresijsko črto

Koraki:

• Pri širjenju naprej se linearna regresijska funkcija Y=mx+c uporabi tako, da se na začetku dodeli naključna vrednost parametra (m & c).
• Napisali smo funkcijo za iskanje stroškovne funkcije, tj. povprečja