Дәріс Web технологиялар негіздері

Іздеу машинасының жұмыс механизмі 

Іздеу  жүйелерін  анықтама    қызметімен  салыстыруға  болады,  онда  агенттер 

кәсіпорындарды  аралап,  мәліметтерді  деректер  базасына  жинайды.  Клиент  анықтама 

қызметіне  жолыққанда  ақпарат  сол  деректер  базасынан  алынады.  Мәліметтер  базада 

ескіріп  отырады,  сондықтан  агенттер  оларды  оқтын-оқтын  жаңартады.  Кейбір 

кәсіпорындар  мәліметтерді өздері жібереді, сондықтан агенттердің оларға барудың қажеті 

болмайды.  Басқаша айтқанда, анықтама  қызметінің екі функциясы болады : жасау және 

деректер базасын тұрақты жаңарту және клиент сұранысы бойынша  базадан хабар іздеу. 

Сол  сияқты,  іздеу  машинасы  да  екі  бөлімнен  тұрады:  робот  -  ол  берілген  серверлерді 

аралап  деректер  базасын  қалыптастырады,  және  іздеу  механизмі.  Робот  терминінің 

көптеген  синонимдері  бар,  роботтан  басқа  оны  желілі  агент  немесе  торапта  жүргеніне 

байланысты құрт немесе өрмекші дейді. 

Робот  базасы  негізі  роботтың  өзімен  (робот  өзі  жаңа  қорларға  сілтемелер  тауып 

алады)  және  аз  дәрежеде  өз  сайттарын  іздеу  машиналарында  тіркейтін  қор  иелерімен 

қалыптасады. Деректер базасын қалыптастыратын роботтан басқа табылған сілтемелердің 

рейтингісін анықтайтын программа бар.  

Іздеу машинасының жұмыс принципі пайдаланушы көрсеткен кілттік сөздер арқылы 

ішкі  каталогтан  (деректер  базасы)  релеванттігі  бойынша  сұрыпталған  сілтемелер  тізімін  

беру арқылы іске асырылады.  

Іздеу  жүйесі  тек  ішкі  каталогтармен  операциялайтынын  атап  айтқан  жөн.  Іздеу 

машинасының  мәліметтер  базасы  жүйедегі  түйіндік  адрестерді  сұрау  арқылы  әрдайым 

жаңартылатынына  қарамастан,  іздеу  машинасының  ішкі  қорларын  және  желі  қорларын 

салыстыруға келмейді, сондықтан әрқашан машина ескірген адрес немесе қажетсіз ресурс 

табатыны  өте  ықтимал.  Проблема  тек  қана  ішкі  қорлардың  шектілігінде  ғана  емес,  тағы 

роботтың  жылдамдығының  шектілігінде  тұр.  Іздеу  машинасының  ішкі  қорларының 

көбеюі  проблеманы  шешпейді,  себебі  аралау  жылдамдығы  ақырлы.бірақ  іздеу 

машинасының  ішінде  каталогтарға  бөлінген  Интернеттің  кіріс  қорларының  белгілі 

бөлігінің  көшірмесі  болады  деуге  болмайды.  Толық  ақпарат  (кіріс  құжаттар)  бәрі  бірдей 

сақталмайды, көбіне жиі тек оның бөлігі – индекстенген тізім немесе индекс деп аталатын, 

құжат жолынан шағын бөлігі сақталады.   

Индекс  құрау  үшін  кіріс  мәліметтер  қор  көлемі  минималды,  ал  іздеу  тез  әрі 

максималды  пайдалы  ақпарат  беретіндей  түрлендіріледі.  Индекстелген  тізімді  түсіндіру 

үшін  оның  қағаз  аналогы  –  конкорданс,  яғни  сөздікті  келтіруге  болады,  онда  белгілі 

жасушымен  қолданылатын  сөздер  алфавиттік  тәртіпте  болады,  және  де  жазушы 

шығармасында келтірілгеніне сілтеме болады. 

 Айтпаса  да  түсінікті,  конкорданс  (сөздік)  шығарма  тексінен  шағын  және  одан 

керекті сөзді іздеген кітапты түгел парақтағаннан көп жеңіл.  

Индексті құру 

Желілік  агенттер  немесе  робот-өрмекшілер  Желі  бойымен  «өрмелейді»,  Web  – 

беттерді  талдайды  және  не  әрі  қай  парақта табылғаны  туралы  ақпарат  жинайды.  Кезекті 

HTML-парақтарды  табысымен  көптеген  іздеу  машиналары  (әр  іздеу  машиналарында 

әртүрлі)  сөздерді,  суреттерді,  сілтемелерді  және  де  басқа  да  элементтерді  белгілейді. 

Сөздердің  парақта  барлығы  ғана  емес,  әрі  оның  орналасуы,  яғни  бұл  сөздің  қайда 

орналасқаны: тақырыпта (title), тақырыпшаларда ( subtitles ), метатэгте ( meta tags ) немесе 

басқа  орындарда.  Әдетте  негізгі  сөз  ескеріледі  де,  шылау  мен  одағайлар:  «ал»,«бірақ» 

және «немесе» еленбейді. Метатегтер парақ иелерінің өзіне сол арқылы ізделінетін кілттік 

сөздер  мен  тақырыпты  анықтауға  мүмкіндік  береді.  Бұл  әсіресе  кілттік  сөздің  бірнеше 

мағынасы  болғанда  қажет.  Метатегтер  іздеу  машинасын  сөдердің  бірнеше  мағынасынан 

дұрысын  таңдауға  көмектеседі.  Алайда  метатегтер  адал  толтырылғанда  ғана  сенімді 

жұмыс  істей  алады.  Web-парақтардың  кейбір  иелері  өздерінің  метатегтеріне  Желіде  көп 

аталатын өз сайт тақырыбына қатысы жоқ сөздермен толтырады, сол арқылы өзінің жаңа 

келушілерін  тарту  әрі  қор  қатысуы  рейтингісін  жоғарылату  үшін  жасайды.  Іздеуден  осы 

сияқты сайттарды шығару – жақсы іздеу жүйесінің тағы бір тапсырмасы. әрбір роботтың 

өз қараниетті жарнама үшін жазаланған қор тізімі бар. 

Тапсырма  берілген  Web-парақтарда  ақпарат  жиналғаннан  кейін  алынған 

мәліметтерді  индекстеу  жүреді.  Робот-өрмекшілер  Web-парақтардың  ақпараттарын 

қарастырып,  кілттік  сөздер  арқылы  индекстенген  іздеу  базасын  құрады,  содан  кейін 

пайдаланушы  сұранысы  арқылы  жүйе  дұрыстығына  (релевантты)  қарай  сайттар  тізімін 

береді. Айқын, егер сіз сайтты «гүл» деген кілттік сөзбен іздесеңіз, онда іздеу машинасы 

сол  сөз  бар  парақтарды  тауып  қана  қоймай,  бұл  сөздің  қай  жерде  сайт  тақырыбына 

қатыстылығын  анықтай  алуы  керек.  Сөздің  Web-парақтың  профиліне  қатыстығын 

анықтау  үшін  оның  парақта  қаншалықты  жиі  ұшырасатынын,  берілген  сөз  туралы 

сілтемелердің бар-жоқтығын бағалау керек. Қысқаша айтқанда, парақта табылған сөздерді 

маңыздылық дәрежесіне қарай рангілеу керек.  

Сөздерге салмақтылық коэфициенттері  оның қанша және қайда кездесетініне қарай 

(парақ тақырыбында, беттің басы не аяғында, сілтемеде, метатегте және т.б) меншіктеледі. 

әрбір іздеу механизмі салмақ коэфициенттерін берудің өз алгоритмдері бар – бұл әртүрлі 

іздеу  машиналарының  бір  кілттік  сөз  арқылы  сұрауға  әртүрлі  қорлар  тізімін  берудің  бір 

себебі.  Парақтар  әрдайым  жаңартылып  отыратындықтан,  онда  индекстеу  үрдісі  де    жиі 

орындалып  отырылуы  керек.  Робот-өрмекшілер  сілтемелерді  аралай  жүріп,  индекстен 

тұратын  файлды  құрады,  ол  үлкен  болуы  мүмкін.  Оның  көлемін  азайту  үшін  ақпарат 

көлемін  минимизациялау  мен  файлды  сығуға  жүгінеді.  өңделгеннен  кейін  мәліметтер 

үнемі  жанарып  отыратын  базада  сақталады.  Бірнеше  роботтары  бар  іздеу  машинасы 

секундына жүздеген парақтарды өңдей алады. Бүгінде мықты іздеу машиналары жүздеген 

миллион парақты сақтайды және күніне ондаған миллион сұранысты қабылдайды. 

Индексті  құруда  көшірмелердің  санын  азайту  тапсырмасы  да  шешіледі  –  қатесіз 

салыстыру үшін алдымен құжаттың кодировкасын анықтау қажеттігін ескерсек, тапсырма 

оңай  емес.  Бұдан  да  қиын  тапсырмаға  өте  ұқсас  құжаттарды  айыру  жатады  (оларды 

«көшірме дерлік» деп атайды), мысалы оларға мазмұны бір  ал тақырыбы әртүрлі болып 

келеді. Бұл сияқты құжаттар Желіде өте көп  – мысалы біреу рефератты көшіріп алып өз 

сайтында басқа атпен басып шығаруы мүмкін. Қазіргі заманғы іздеу машиналары барлық 

бұл проблемаларды шешуге мүмкіндік береді. 

Индекс арқылы іздеу 

Индекс  арқылы  іздеу  мынадан  құралады,  яғни  пайдаланушы  сұраныс  құрастырып 

оны  іздеу  машинасына  береді.  Бірнеше  кілттік  сөздерді  қолдануда  сұраныс  тілін 

пайдаланған пайдалы, оның негізін буль операторлары құрайды.  

Ең жиі қолданылатын буль операторлары: 

- 

AND  –  бұл  арқылы  біріктірілген  барлық  терминдер  ұсынылған  құжатта  қатысуы 

керек. Кейбір іздеу жүйелері «+» белгісін «AND» орнына қолданады; 

- 

OR  –  кем  дегенде  бір  кілттік  сөз  «OR  »-мен  қатысты,  ізделінетін  құжатта  болуы 

керек; 

- 

NOT-  «NOT»-тан  кейінгі  кілттік  сөз  ізделінетін  құжатта  кездеспеуі  керек.  Кейбір 

іздеу жүйелері «-» белгісін  «NOT» орнына пайдаланады; 

- 

FOLLOWED BY – кілттік сөздер бірінен кейін бірі кезектесіп келуі керек; 

- 

NEAR – сөздердің бірі екінші сөзден белгілі санды сөздерден кейін келуі керек; 

- 

Тырнақшалар – тырнақша ішіндегі сөздер- бұл текст фрагменті құжат немесе файл 

ішінде  кездесуі  тиіс.  Айта  кетейік,  сұраныс  тілі  семантикасы  нақты  бір  іздеу 

машиналарында  бір  біріне  ұқсамауы  мүмкін,  әдетте  ол  туралы  іздеу  машинасының 

нұсқауында мәлімет келтіріледі.  

Шектерінде логикалық комбинация анықталатын мәтін іздеу бірлігі деп аталады. Бұл 

сөйлем,  абзац  не  бүкіл  құжат  болуы  мүмкін.  Түрлі  іздеу  жүйелерінде  әртүрлі  іздеу 

бірліктері  қолданылуы  мүмкін.  Сөйлем  шегіндегі  іздеу  тек  индексінде  толық  мекенжай 

(адрес) бар жүйелерде ғана мүмкін.