Wprowadzenie do algorytmu zwiększania gradientu

Technika przekształcania tygodniowych uczniów w silnych uczniów jest nazywana wzmocnieniem. Proces algorytmu zwiększania gradientu działa na tej teorii wykonania. Algorytm zwiększania Ady można zilustrować w celu wyjaśnienia i łatwego zrozumienia procesu wstrzykiwania wzmocnienia do zestawów danych.

Drzewo decyzyjne

Drzewo decyzyjne jest narzędziem wspierającym werdykt, które określa decyzje poprzez implikację drzewa i ich prawdopodobnych konsekwencji, wraz z możliwymi wynikami zdarzeń, kosztami zasobów itp. Ta technika pozwala im wyświetlać instrukcje kontrolne, które działają na podstawie wyników warunkowych.

Operacje badawcze szeroko wykorzystują te drzewa decyzyjne, szczególnie w analizie decyzji, pozwala im także osiągnąć cel i jest podziwianym narzędziem w uczeniu maszynowym.

Algorytm AdaBoost

Algorytm AdaBoost rozpoczyna się od przygotowania drzewa decyzyjnego, w którym każdej obserwacji przypisuje się równoważną wagę. Po dokonaniu oceny drzewa podstawowego, zwiększamy wagi tej interpretacji, które są skomplikowane w kategoryzowaniu i podporządkowywanie wag dla tych, którzy bez wysiłku kategoryzują. Drugie drzewo powstaje w wyniku tych uprzedzonych danych. Tutaj celem jest poprawienie proroctwa głównego drzewa.

Następnie oblicz błąd kategoryzacji na podstawie tego innowacyjnego 2-drzewkowego modelu kolekcji i uprawiaj trzecie drzewo, aby przewidzieć zmodyfikowane resztki. Powyższa procedura jest powtarzana w kilku przypadkach. Obserwacje, które nie zostały dobrze zdefiniowane w poprzednich drzewach, są ustalane przy użyciu kolejnych drzew. Prognozy ostatecznego modelu zestawu są zatem negatywną postacią prognoz zakończonych wcześniejszymi modelami drzewa.

Trening modelu GBM

Aby poinstruować model gbm w języku R, biblioteka GBM musi zostać zainstalowana, a instancja wywołująca wywołuje tę zainstalowaną bibliotekę GBM z programu wywołującego. Ponadto należy podać potrzebne argumenty, kluczowe argumenty wymieniono poniżej,

1. Wzór

2. Rozkład zmiennych odpowiedzi

3. Zmienna predykcyjna

4. Zmienna odpowiedzi

Typowe rozkłady używane w modelach GBM to Bernoulli, Poisson itp.

W końcu należy podać argumenty data i n.trees. Domyślnie model gbm przyjmie za pewnik 100 drzew, co może zaoferować dobre przybliżenie jakości naszego koncertu gbm.

Przykładowy kod # 1

install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)

Oto kolejny krok, w którym rzeczywisty zestaw danych jest podzielony na pociąg i zestaw danych testowych, a osiąga się to za pomocą funkcji createDataPartition (). Ten rodzaj podziału będzie bardzo pomocny w dalszej części do szkolenia zestawu testowego przy użyciu wyszkolonego zestawu pociągów i na górze tego, które są określone rzeczywiste prognozy dla oryginalnych danych.

Przykładowy kod # 2

TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)

Kolejnym krokiem jest trenowanie modelu GBM za pośrednictwem naszego trenera. Chociaż wszystkie dodatkowe argumenty są dokładnie tym, co zostało zgłoszone w powyższych sekcjach. wspomniano jeszcze dwa dodatkowe argumenty - interakcja, głębokość i skurcz.

1. Głębokość interakcji określa największą głębokość każdego drzewa

2. Pomiar szybkości intelektu osiąga się za pomocą Kurczenia. tutaj wszystkie dodatkowe wartości w podstawowych drzewach uczących się są zmniejszane przy użyciu tego skurczu.

Ponadto ta technika umożliwia wyświetlanie instrukcji sterujących, które działają na podstawie wyników warunkowych. Operacje badawcze szeroko wykorzystują te drzewa decyzyjne, szczególnie w analizie decyzji, pozwala nam również osiągnąć cel i jest również podziwianym narzędziem w uczeniu maszynowym.

Model GBM Wyjście

Dane wyjściowe modelu GBM zawierają szczegółowe informacje na temat całkowitej liczby drzew sugerowanych do wykonania. Pomoże to przewidzieć wpływ zmiennej predykcyjnej w modelu, a także tabelę ważności zmiennych i wykres modelu można uzyskać z funkcji podsumowania wyniku GBM.

Metoda przewidywania () przy użyciu modelu GBM

Aby więc wykonać prognozy na górze kluczowych danych w tym modelu, model GBM, podobnie jak inne modele, zakłada się metodę przewidywania. Liczbę całkowitej liczby używanych drzew decyzyjnych należy również ręcznie wymienić w sekcji argumentów metody.

Przykładowy kod

predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)

Ulepszenia modelu GBM

Ograniczenia drzewiaste

  • Znaczące jest to, że słabi uczniowie posiadają umiejętności, ale pozostają słabi.

Ważone aktualizacje

  • Dodawanie sekwencyjne jest stosowane z prognoz każdego drzewa
  • Darowizna każdego drzewa na tę kwotę musi być masowa, aby spowolnić proces uczenia się algorytmu. tym procesem jest kurczenie się połączeń.

Algorytm stochastycznego zwiększania gradientu

Ten ekwiwalentny zysk można wykorzystać do zmniejszenia skojarzenia flankowanego przez drzewa.

Algorytm karanego wzmocnienia gradientu

Drzewa sparametryzowane mogą być wypełnione dodatkowymi ograniczeniami, klasycznego drzewa decyzyjnego nie można wykorzystywać jako słabych uczniów. Zamiast tego używane jest niestandardowe drzewo o nazwie drzewo regresji, które ma wartości liczbowe w węzłach liści.

Polecane artykuły

To był przewodnik po algorytmie zwiększania gradientu. Tutaj omawiamy wprowadzenie, Drzewo decyzyjne, Algorytm AdaBoost, Szkolenie modelu GBM, Ulepszenia modelu GBM wraz z pewnym przykładem kodu. Możesz także przejrzeć nasze inne sugerowane artykuły, aby dowiedzieć się więcej -
  1. Algorytm drzewa decyzyjnego
  2. Algorytmy uczenia maszynowego
  3. Algorytm XGBoost
  4. Algorytmy nauki danych
  5. Algorytm C ++ | Przykłady algorytmu C ++
  6. Wdrażanie regresji Poissona w R.

Kategoria:

Big Data