Hiperparametri v strojnem učenju so tisti parametri, ki jih izrecno določi uporabnik za nadzor učnega procesa. Ti hiperparametri se uporabljajo za izboljšanje učenja modela, njihove vrednosti pa so nastavljene pred začetkom procesa učenja modela.

V tej temi bomo razpravljali o enem najpomembnejših konceptov strojnega učenja, tj. o hiperparametrih, njihovih primerih, prilagajanju hiperparametrov, kategorijah hiperparametrov, kako se hiperparameter razlikuje od parametra v strojnem učenju? Toda preden začnemo, najprej razumejmo hiperparameter.

Kaj so hiperparametri?

Pri strojnem/globokem učenju model predstavljajo njegovi parametri. Nasprotno pa proces usposabljanja vključuje izbiro najboljših/optimalnih hiperparametrov, ki jih učni algoritmi uporabljajo za zagotavljanje najboljšega rezultata. Torej, kaj so ti hiperparametri? Odgovor je, ' Hiperparametri so definirani kot parametri, ki jih izrecno določi uporabnik za nadzor učnega procesa.'

Tukaj predpona 'hiper' nakazuje, da so parametri parametri najvišje ravni, ki se uporabljajo pri nadzoru učnega procesa. Vrednost hiperparametra izbere in nastavi inženir strojnega učenja, preden učni algoritem začne učiti model. Zato so ti zunanji modelu in njihovih vrednosti med procesom usposabljanja ni mogoče spreminjati .

distribucijski zakon Boolov algebra

Nekaj ​​primerov hiperparametrov v strojnem učenju

• K v algoritmu kNN ali K-najbližjega soseda
• Stopnja učenja za usposabljanje nevronske mreže
• Delitveno razmerje vlak-test
• Velikost serije
• Število epoh
• Veje v drevesu odločanja
• Število gruč v algoritmu združevanja v gruče

Razlika med parametrom in hiperparametrom?

Vedno obstaja velika zmeda med parametri in hiperparametri ali hiperparametri modela. Torej, da bi odpravili to zmedo, razumejmo razliko med obema in kako sta med seboj povezana.

Parametri modela:

Parametri modela so konfiguracijske spremenljivke, ki so notranje za model in model se jih nauči sam. Na primer , W Uteži ali koeficienti neodvisnih spremenljivk v modelu linearne regresije . oz Uteži ali koeficienti neodvisnih spremenljivk v SVM, uteži in pristranskosti nevronske mreže, centroid grozda v grozdenju. Nekatere ključne točke za parametre modela so naslednje:

• Model jih uporablja za napovedovanje.
• Model se jih nauči iz samih podatkov
• Te običajno niso nastavljene ročno.
• To so del modela in ključ do algoritma strojnega učenja.

Hiperparametri modela:

Hiperparametri so tisti parametri, ki jih uporabnik eksplicitno določi za nadzor učnega procesa. Nekatere ključne točke za parametre modela so naslednje:

• Običajno jih ročno določi inženir strojnega učenja.
• Za dano težavo ni mogoče vedeti natančne najboljše vrednosti hiperparametrov. Najboljšo vrednost je mogoče določiti bodisi s splošnim pravilom bodisi s poskusi in napakami.
• Nekaj ​​primerov hiperparametrov je hitrost učenja za usposabljanje nevronske mreže, K v algoritmu KNN,

Kategorije hiperparametrov

Na splošno lahko hiperparametre razdelimo v dve kategoriji, ki sta navedeni spodaj:

Hiperparameter za optimizacijo Hiperparameter za posebne modele

Hiperparameter za optimizacijo

Postopek izbire najboljših hiperparametrov za uporabo je znan kot uravnavanje hiperparametrov, postopek uglaševanja pa je znan tudi kot optimizacija hiperparametrov. Optimizacijski parametri se uporabljajo za optimizacijo modela.

Nekaj ​​priljubljenih optimizacijskih parametrov je navedenih spodaj:

Stopnja učenja:Stopnja učenja je hiperparameter v optimizacijskih algoritmih, ki nadzira, koliko se mora model spremeniti kot odgovor na ocenjeno napako vsakič, ko se posodobijo uteži modela. Je eden od ključnih parametrov pri gradnji nevronske mreže, poleg tega pa določa pogostost navzkrižnega preverjanja s parametri modela. Izbira optimizirane stopnje učenja je zahtevna naloga, saj če je stopnja učenja zelo nizka, lahko upočasni proces usposabljanja. Po drugi strani pa, če je stopnja učenja prevelika, morda ne bo pravilno optimizirala modela.

Opomba: Hitrost učenja je ključni hiperparameter za optimizacijo modela, tako da, če obstaja zahteva po nastavitvi samo enega hiperparametra, se priporoča prilagoditev stopnje učenja.

Velikost serije:Za povečanje hitrosti učnega procesa je vadbeni niz razdeljen na različne podskupine, ki so znane kot serija. Število epoh: Epoho lahko definiramo kot celoten cikel za usposabljanje modela strojnega učenja. Epoha predstavlja ponavljajoč se proces učenja. Število epoh se razlikuje od modela do modela in različni modeli so ustvarjeni z več kot eno epoho. Za določitev pravega števila epoh se upošteva napaka pri validaciji. Število epoh se povečuje, dokler se napaka pri preverjanju ne zmanjša. Če ni izboljšanja napake zmanjšanja za zaporedne epohe, potem to pomeni, da je treba ustaviti povečevanje števila epoh.

Hiperparameter za posebne modele

Hiperparametri, ki so vključeni v strukturo modela, so znani kot hiperparametri za specifične modele. Ti so navedeni spodaj:

Število skritih enot:Skrite enote so del nevronskih mrež, ki se nanašajo na komponente, ki sestavljajo plasti procesorjev med vhodnimi in izhodnimi enotami v nevronski mreži.

Pomembno je določiti hiperparameter števila skritih enot za nevronsko mrežo. Mora biti med velikostjo vhodne plasti in velikostjo izhodne plasti. Natančneje, število skritih enot mora biti 2/3 velikosti vhodne plasti plus velikost izhodne plasti.

Pri kompleksnih funkcijah je treba določiti število skritih enot, vendar ne sme pretiravati z modelom.

Število plasti:Nevronska mreža je sestavljena iz vertikalno razporejenih komponent, ki jih imenujemo plasti. Obstajajo predvsem vhodne plasti, skrite plasti in izhodne plasti . 3-slojna nevronska mreža nudi boljše delovanje kot dvoslojna mreža. Za konvolucijsko nevronsko mrežo je večje število plasti boljši model.

Zaključek

Hiperparametri so parametri, ki so izrecno definirani za nadzor učnega procesa pred uporabo algoritma strojnega učenja za nabor podatkov. Ti se uporabljajo za določitev učne zmogljivosti in kompleksnosti modela. Nekateri hiperparametri se uporabljajo za optimizacijo modelov, kot je velikost serije, stopnja učenja itd., nekateri pa so specifični za modele, kot je število skritih slojev itd.