Дипломдық ЖҰмыс мамандығы 5В100200 «Ақпараттық қауіпсіздік жүйелері»

жүктеу 0,94 Mb.

бет	9/13
Дата	29.04.2022
өлшемі	0,94 Mb.
	#38353
түрі	Диплом

1 ... 5 6 7 8 9 10 11 12 13

Диплом испр

Деректерді алдын-ала өңдеу

Мәтіндерді таңбалау

Мәтінді классификация жасайтын модельді оқыту үшін ең алдымен оны таңбалау керек. Біз спам емес мәтінді 0, спамды 1 деп таңбаладық.

Деректерді алдын-ала өңдеу

Деректер таңбалар, сілтемелер және тыныс белгілері түріндегі «шу» немесе «керексіз деректерден» тұратын өңделмеген түрінде болады. Деректердегі керек емес артық символдар модель үшін пайдасыз және классификаторлардың көрсеткішін төмендетуі мүмкін. Мұндай қажетсіз символдарды корпустан алып тастау үшін, біз төменде сипатталған деректерді өңдеудің бірнеше тапсырмаларын орындаймыз.

Токенизация – мәтінді сөздердің сегментіне түрлендіру. Модель үшін қажетсіз символдарды жою және сөздердің векторын құру үшін әрбір мәтінді токендерге бөлдік. Сөздердің токенизациясы (кейде сегментациясы) дегеніміз - сөйлемдерді құрамдас сөздерге бөлу процесі. Ағылшын және басқа да көптеген тілдерде бос орын (пробел) - сөз бөлгіш болып табылады.

Сөздерді кіші регистрге ауыстыру – әр түрлі регистрдегі(үлкен немесе кіші) бірдей сөздердің қайталануын болдырмау үшін барлық токенді кіші регистрге түрлендірдік.

Бізге мәтіннің мағыналы бөлігі қажет, сондықтан тыныс белгілерін, алфавитке жатпайтын таңбаларды, сандарды алып тастадық.

Мәтінде тежеуіш сөздер, яғни бұл сөзді алып тастағанымен сөйлемнің мағынасы өзгермейтін сөздер, кездеседі. Бұндай сөздер оқу уақытын ұзартады және модельдің дәлдік көрсеткішін төмендетуі мүмкін. Сондықтан тежеуіш сөздерді алып тастадық.

Стемминг – сөздерден аффикстерді (жұрнақтар мен жалғауларды) жойып, сөзді бір формаға келтіру.

жүктеу 0,94 Mb.

Достарыңызбен бөлісу:

1 ... 5 6 7 8 9 10 11 12 13