Random Forest

• 랜덤 포레스트는 결정 트리를 랜덤하게 만들어 결정 트리의 숲을 만듭니다.

1. bootstrap sample을 활용해 100개의 트리를 학습시킨다.

bootstrap sample : 1000중에 100개를 뽑는데 중복이 있게 뽑는 것

1. 노드를 분할할 때에는 n개의 특성중 root n개의 특성만 사용

Extra Trees

• random forest와 비슷하게 동작하나 bootstrap sample을 사용하지 않고 노드 분할 시 좋은 분할을 찾는 것이 아니라 무작위로 분할한다.

Gradient boosting

• 깊이가 얕은 결정 트리를 사요하여 이전 트리의 오차를 보완하는 방식으로 앙상블하는 방법