Қолданылған алгоритмдердің сипаттамасы

17 
Random forest - бұл көптеген шешуші ағаштарның (decision tree) 
жиынтығынан тұрады. Регрессия есебінде олардың жауаптары орташаланады, 
классификация есебінде көпшілік бойынша дауыс беру арқылы шешім 
қабылданады. 
2.2.2 Сурет - Random forest 
XGBoost - градиенттік бустинг алгоритмінің ең танымал және тиімді жүзеге 
асырылуының бірі. Модельдердің сапасына қарсы күрестегі келесі қадам 
алдыңғы шеңберде жасалған қателіктерге ерекше назар аудара отырып, «қатемен 
жұмыс істеуді» жасап және модельдің алдыңғы нұсқасын жете меңгере отырып, 
ағаштарды салумен көп циклдық кіруді жасауға мүмкіндік беретін градиентті 
бустинг болды. XGBoost негізінде шешім ағаштарының градиенттік бустинг 
алгоритмі жатыр.
Градиентті бустинг - бұл жіктеу және регрессия есептері үшін машиналық 
оқыту техникасы,ол ансамбль түрінде болжау моделін жасайды. Ансамбльді 
оқыту, мысалы, бэггингке қарағанда жүйелі түрде жүргізіледі. Əрбір итерацияда 
оқыту үлгісінде оқытылған ансамбльдің болжамдарының ауытқулары есептеледі. 
Ансамбльге қосылатын келесі модель осы ауытқуларды болжайды. Осылайша, 
оқытылған ансамбльдің болжамдарына жаңа ағаштың болжамдарын қосу арқылы 
біз моделідің орташа ауытқуын азайтуға болады. Жаңа ағаштар қате азайғанша 
немесе «ерте тоқтату» ережелерінің бірі орындалғанға дейін ансамбльге 
қосылады.

18 
2.2.3 Сурет - Бустинг иллюстрациясы 

жүктеу 1,96 Mb.

Достарыңызбен бөлісу: