Дипломдық ЖҰмыс мамандығы 5В100200 «Ақпараттық қауіпсіздік жүйелері»

• 
  Әлеуметтік желілер
  
• 
  Әлеуметтік желілердегі киберқауіптер
  
• 
  Спам және фишинг
  
• 
  Машиналық оқыту әдістері Зерттеу әдістері:
  

• 
  Сөзді қалыпты формаға келтіру – стемминг және лемматизация алгоритмдерін пайдаланып сөздің түбір формасын (негізін) анықтау. Әдістің жүзеге асырылуына байланысты бірқатар оң және теріс аспектілер бар. Теріс аспектілерінің бірі - әртүрлі сөз табындағы түбірлес сөздердің негізін анықтау кезінде түбірі бірдей болып қалуы мүмкін, осылайша оның бірегейлігі төмендейді. Екінші жағынан, егер сүзгілеу жеткіліксіз болса, сіз жазылуы жағынан әр түрлі бірақ мағынасы жағынан бірдей сөздерді ала аласыз.
  
• 
  Семантикалық жүктемесі төмен сөздерді жою – бұл әдіс жоюға алдынала дайындалған сөздер тізімін қолдануды қарастырады, әдетте шылау, одағай және кейбір үстеулер, орыс тілінде предлогтар, ағылшын тілінде артикльдер жоюға жіберіледі, сонымен қатар мағынасы классификация моделінің жұмысына әсер етпейтін тежеуіш сөздер жойылады.
  

Мәтінді келесі алгоритм көмегімен сүзгілеуден бастайық:

1. 
   Барлық таңбаларды бірдей регистрге келтіру, қысқартылған және ұзындығы 3 әріптен аспайтын қысқа сөздерді, сөз емес(яғни алфавитке жатпайтын) әртүрлі таңбаларды, сандарды жою.
   
2. 
   Жалпы сөздерді алып тастау (тежеуіш сөздерді).
   
3. 
   Стемминг және лемматизация алгоритмдерін қолдану.
   
4. 
   Токенизация шаблонын (мәтінді жеке токендерге бөлу) көрсету.