๐ ์ฌ๋ฌ ๊ฐ์ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ(ํ์)์ ์กฐํฉํด์ ๋ ์ข์ ์ฑ๋ฅ์ ๋ด๋ ๋ฐฉ๋ฒ
โ ๋ง์น ์ถ๊ตฌ์์ ๊ณต๊ฒฉ์, ์๋น์, ๊ณจํคํผ๋ฅผ ๋ฐ๋ก ์ฐ๋ ๊ฒ์ฒ๋ผ!
| ์ ๋ต | ์ค๋ช | ์์ ๋ชจ๋ธ |
|---|---|---|
| Bagging | ๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฌ ์กฐ๊ฐ์ผ๋ก ๋๋ ์ ์ฌ๋ฌ ๋ชจ๋ธ์ ๋์์ ํ์ต์ํด (๋ณ๋ ฌํ์ต) | Random Forest |
| Boosting | ์์์ ํ๋ฆฐ ๊ฑธ ๋ค์ ๋ชจ๋ธ์ด ๋ณด์ํ๊ฒ ๋ง๋ฆ (์์ฐจํ์ต) | XGBoost, LightGBM |
| Voting | ์๋ก ๋ค๋ฅธ ๋ชจ๋ธ๋ค์ ๊ฒฐ๊ณผ๋ฅผ ๋ค์๊ฒฐ ๋๋ ํ๊ท ์ผ๋ก ๊ฒฐ์ | LogReg + SVM + KNN |
| Stacking | ์ฌ๋ฌ ๋ชจ๋ธ์ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์๋ก์ด ์ ๋ ฅ๊ฐ์ผ๋ก โ ์ต์ข ๋ชจ๋ธ์ด ํ์ต | Base + Meta ๋ชจ๋ธ |
| ์ ๋ต | ๋น์ |
|---|---|
| Bagging | ๊ฐ์ ๋ฌธ์ ๋ฅผ ์ฌ๋ฌ ์กฐ๋ณ ๊ณผ์ ๋ก ๋๋ ํ๊ณ , ๊ฒฐ๊ณผ๋ฅผ ํ๊ท ๋ |
| Boosting | ์์ฌ๋์ด ํ๋ฆฐ ๊ฑธ ๋ท์ฌ๋์ด ๊ณ ์น๋ฉด์ ์ ์ ์ ๋ต์ ๊ฐ๊น์์ง |
| Voting | ์๋ก ๋ค๋ฅธ ์๊ฒฌ์ ๊ฐ์ง ์น๊ตฌ๋คํํ ์ค๋ฌธ ๋๋ ค์ ๋ค์๊ฒฐ๋ก ๊ฒฐ์ |
| Stacking | ์ฌ๋ฌ ์ ๋ฌธ๊ฐ๊ฐ ์์ธกํ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ์, ๊ทธ๊ฒ๋ง ์ ๋ฌธ์ผ๋ก ๋ถ์ํ๋ ๋ฉํ ์ ๋ฌธ๊ฐ๊ฐ ์ต์ข ํ๋จ |
| ํญ๋ชฉ | XGBoost | LightGBM |
|---|---|---|
| ํธ๋ฆฌ ์ฑ์ฅ ๋ฐฉ์ | Level-wise (์ํ์ ์ผ๋ก ๊ท ํ์๊ฒ) | Leaf-wise (๊ฐ์ฅ ์์ค ํฐ ๋ฆฌํ๋ถํฐ ์์ง์ ์ผ๋ก) |
| ์๋ | ๋๋ฆฐ ํธ (๊ท ํ ์ ์ง) | ๋น ๋ฆ (์ต์ ๋ ธ๋๋ถํฐ ๊ณต๊ฒฉ) |
| ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ | ๋ ๋ง์ด ์ฌ์ฉ | ๋ ์ ๊ฒ ์ฌ์ฉ |
| ๋ฒ์ฃผํ ์ฒ๋ฆฌ | One-hot ํ์ | ์๋ ์ฒ๋ฆฌ ๊ฐ๋ฅ |
๐ Leaf-wise ๋ฐฉ์์ ์ฑ๋ฅ์ด ๋ฐ์ด๋์ง๋ง ๊ณผ์ ํฉ ์ํ์ด ์์ด.
โ ๋๋์ ๋ฐ์ดํฐ์ผ ๋ LightGBM์ด ๊ฐ๋ ฅํจ!