Ұсынылған әдістердің тиімділігін бағалау

Ұсынылған әдістердің тиімділігін бағалау

Біз алдыңғы 3.3-бөлімде Naïve Bayes, Тірек векторлар әдісі, Логистикалық регрессия, Random Forest алгоритмдері бойынша классификатор модельдерін құрған болатынбыз. Осы бөлімде классификация дәлдігін бағалайтын боламыз.

1. 
   BoW және TF-IDF қолданылған Naïve Bayes классификаторының нәтижесі:
   

Суретте көріп тұрғандарыңыздай BoW қолдану да, TF-IDF қолдану да 97% дәлдікті береді. Сонымен бірге, f1_score мәндері де шамалас, яғни 88% құрайды.

Бұл әдістің артықшылықтары: Test жиынтығы класын оңай және тез болжай алады; оқыту үшін көп деректерді қажет етпейді. Бұл сонымен қатар мультиклассты болжамда жақсы жұмыс істейді. Кемшілігі – предикторлардың тәуелсіз болу талабы. Көптеген жағдайларда нақты өмірде предикторлар тәуелді болады, бұл классификатордың өнімділігін төмендетеді.

2. 
   BoW және TF-IDF қолданылған Тірек векторлар әдісінің нәтижесі:
   

Суретте көріп тұрғандарыңыздай BoW қолдану да, TF-IDF қолдану да 97% дәлдікті береді. Сонымен бірге, f1_score мәні 89%-дан 88%-ға төмендеді.

Артықшылығы – SVM классификаторлары жақсы дәлдікті қамтамасыз етеді және аңғал Байес алгоритміне қарағанда жылдам болжауды қамтамасыз етеді. Сондай-ақ, олар жадыны азырақ пайдаланады, өйткені олар шешім қабылдау кезеңінде жаттығу нүктелерінің ішкі жиынтығын пайдаланады. SVM нақты бөлу шекарасымен және үлкен кеңістікпен жақсы жұмыс істейді.

Кемшілігі – жаттығу уақытының ұзақтығына байланысты SVM үлкен деректер жиынтығына жарамайды, сонымен қатар аңғал Байес алгоритміне қарағанда жаттығуға көп уақытты қажет етеді.

3) BoW және TF-IDF қолданылған логистикалық регрессия әдісінің нәтижесі:



27-сурет. Логистикалық регрессия әдісінің нәтижесі

Логистикалық регрессияда BoW қолдану 97% дәлдікті берсе, TF-IDF қолдану 96% дәлдікті береді. Ал f1_score мәні 89%-дан 83%-ға төмендеген.

Тиімді және қарапайым табиғатына байланысты ол жоғары есептеу қуатын қажет етпейді, оны орындау оңай, түсіндіру оңай және оны аналитиктер мен ғалымдар кеңінен қолданады.

Сонымен қатар, логистикалық регрессияны қолдана отырып, сызықтық емес есепті шешу мүмкін емес, сондықтан ол сызықтық емес функциялардың өзгеруін талап етеді. Логистикалық регрессия мақсатты айнымалыға байланысты емес және өте ұқсас немесе бір-бірімен байланысқан тәуелсіз айнымалылармен жақсы жұмыс істемейді.

4) BoW және TF-IDF қолданылған Random Forest классификаторының нәтижесі:



28-сурет. Random Forest классификаторының нәтижесі

Random Forest классификаторында BoW қолдану 97% дәлдікті берсе, TFIDF қолдану 98% дәлдікті береді. Ал f1_score мәні 88%-дан 91%-ға көтерілген. Бұл әдістің артықшылықтары:

• 
  Кездейсоқ ормандар жоғары дәлдікпен және сенімді әдіс болып саналады, бұл процеске қатысатын шешім ағаштарының санына байланысты.
  
• 
  Алгоритмді жіктеу есептерінде де, регрессия кезінде де қолдануға болады.
  
• 
  Кездейсоқ ормандар жетіспейтін мәндерді де өңдей алады. Олармен жұмыс істеудің екі әдісі бар: үздіксіз айнымалыларды алмастыру үшін медианалық мәндерді пайдалану және жетіспейтін шамаларға жақын орналасқан мәндерді есептеу.
  

Біздің тапсырмаға және деректер жиынына байланысты логистикалық регрессия және Naïve Bayes классификаторын қолданған тиімді. Өйткені классификация нәтижесі жоғары дәлдікті көрсетті. Сондай-ақ, модельді оқыту уақыты да басқаларымен салыстырғанда жылдамрақ. Біздің тапсырма бинарлы классификация жасау. Ал логистикалық регрессия – бұл бинарлы класстарды болжаудың статистикалық әдісі.