Bir browser nədir? Skaner aracı "Yandex" və Google

İnternet Hər gün bir web köhnə web pages yenilənir yaratmaq foto və video yüklemek üçün yeni materialların böyük məbləği var. axtarış robotların gizli olmadan, World Wide Web bu sənədlərin heç biri tapılmadı. hər hansı bir zamanda qutusu proqramları kimi Alternatives yoxdur. axtarış robot necə fəaliyyət üçün və lazımdır nədir?

axtarış robot nədir

Crawler site (search engine) - Bu tez hər hansı operator müdaxiləsi olmadan internet vasitəsilə naviqasiya, web pages milyonlarla ziyarət edə avtomatik proqramdır. Bots daim scan məkan World Wide Web, yeni web pages tapmaq və müntəzəm artıq dizine ziyarət. gəlmələr örümcekleri, keçid, botlara üçün Digər adları.

Niyə axtarış mühərriki örümcekleri var

dizine web pages, eləcə də mətn, şəkillər, audio və onlara olan video faylları - search engine örümcekleri yerinə əsas funksiyaları. Bots istinadlar, güzgü sites (surətləri) və yenilikləri yoxlamaq. robotlar da World Wide Web texnoloji standartlara hazırlayır və həyata keçirir Dünya Təşkilatının Uyğunluq standartlara HTML-kodu nəzarət həyata keçirir.

Nə endeksleme və niyə lazım

Indexing - əslində, axtarış motorları tərəfindən xüsusi web page ziyaret prosesi edir. proqramı bu saytda mətn tarar, şəkillər, video, giden links, onda səhifə search results görünür. Bəzi hallarda, site sonra əl webmaster axtarış mühərriki əlavə edə bilərsiniz, avtomatik skanerdən edilə bilməz. Adətən, bu olmadıqda baş verir xarici links xüsusi (tez-tez yalnız bu yaxınlarda yaradılmışdır) səhifə.

örümceklerinin axtarış edirsiniz

Hər search engine oxşar proqram "Yandex" və ya digər sistemləri üzərində işləyir mexanizmi görə əhəmiyyətli dərəcədə dəyişə bilər Google axtarış robot öz bot var.

proqram saytda "gəlir" və əsas səhifə xarici links, (istifadəçi görmür o axtarır yerüstü daxil olmaqla) Web resurs "deyilir" Ümumiyyətlə, robot iş prinsipi belədir. Boat bir site pages arasında gezinmek və digər hərəkət necə.

proqram index olan sayt seçəcək? Daha çox heç-dən spider böyük arayış çəki ilə xəbər saytları və ya əsas resurs rehberler və toplayıcılar ilə başlayır "səfər". Crawler davamlı dərəcəsi və aşağıdakı amilləri indeksasiyası ardıcıllıq pages bir-bir, tarar:

• Daxili: perelinovka, site ölçüsü, düzgün kodu, istifadəçi dostu belə və (eyni resurs pages arasında daxili keçidlər);
• Xarici: site çıxarır ümumi arayış çəki.

ilk şey robots.txt ilə hər hansı bir web axtarış robot axtarış. Əlavə resurs endeksleme məlumat bu sənəd aldı əsasında həyata keçirilir. Bu fayl "Yandex" və ya Google erkən hit saytı nail olmaq üçün, nəticədə, axtarış motorları tərəfindən səhifə səfərlərin şansını artırmaq, və bilər "örümcekleri" üçün xüsusi təlimat var.

Program tarayıcılarının analoqu

Tez-tez termini "axtarış robot" ağıllı, istifadəçi və ya muxtar agentləri, "ants" və ya "qurdlar" ilə səhv edir. yalnız agentləri ilə müqayisədə batırılır əhəmiyyətli fərqlər, digər anlayışlar robotlar analoji baxın.

Məsələn, agentləri ola bilər:

• intellektual: sayta site köçürülüb proqram, müstəqil davam necə qərar; Onlar İnternet çox ümumi deyil;
• . Muxtar: Bu agentləri məhsul, axtarış seçilməsi, və ya formaları, şəbəkə proqramları az bağlıdır deyilən filtreler, dolduraraq istifadəçi kömək edir;
• user: proqram, World Wide Web istifadəçi qarşılıqlı üçün bir browser qatqı (məsələn, Opera, IE, Google Chrome, Firefox), peyğəmbərlər (Viber, Telegram) və ya e-mail proqramları (MS Outlook və Qualcomm).

"Ants" və "qurdlar" axtarış mühərriki "örümcekleri" daha çox oxşardır. şəbəkə və ardıcıl arasında ilk forması bu qarışqa koloniyası kimi qarşılıqlı "qurdlar" standart browser kimi eyni digər aspektlərdə kopya edə bilər.

search engine robotlar Variety

çərşənbə bir çox növləri arasında fərqləndirir. Proqramın məqsədi asılı olaraq, onlar:

• "Zerkalo" - Çiftleri web gəzən olunur.
• Mobile - web pages mobil versiyasını diqqət.
• Quick - Son yenilikləri görüntüleyerek tez yeni məlumatlar düzeltmek.
• Reference - arayış index, onların nömrələri saymaq.
• Indexers content müxtəlif növləri - mətn, audio, video, şəkillər üçün xüsusi proqramları.
• "Spyware" - hələ axtarış mühərriki nümayiş deyil pages axtarır.
• "Ağacdələn" - vaxtaşırı öz aktuallığını və səmərəliliyini yoxlamaq üçün sites ziyarət edin.
• Milli - ölkə alan biri yerləşir Web resursları gəzən (məsələn, Mobi, və ya .kz .UA).
• Global - index bütün milli sites.

Robotlar böyük axtarış motorları

Bəzi axtarış örümceklerinin var. Nəzəri olaraq, onların funksionallığı geniş fərqli ola bilər, amma praktikada proqramları demək olar ki, eynidir. web pages indeksasiyası əsas fərqlər aşağıdakılardır iki böyük axtarış motorları var robotlar:

• test ciddilik. Bu hesab edilir ki, browser mexanizmi "Yandex" qədər ciddi təxminlər World Wide Web standartlarına uyğun site.
• saytın bütövlüyünün qorunması. Google browser indeksləri (media məzmunu daxil olmaqla) bütün site, "Yandex" də seçilmiş content bilərsiniz.
• Speed test yeni pages. Google iki həftə və ya daha çox bilər "Yandex tərəfindən" prosesinin halda, bir neçə gün ərzində axtarış nəticələri yeni resurs edir.
• yenidən endeksleme tezliyi. həftədə iki dəfə güncellemeleri kontrol "Yandex" Crawler və Google - bir hər 14 gün.

Internet, əlbəttə, iki axtarış motorları ilə məhdudlaşmır. Digər axtarış motorları öz endeksleme parametrləri əməl onların robotlar var. Bundan əlavə, heç böyük axtarış resursları nəzərdə tutulmuşdur bir neçə "örümcekleri" və fərdi komanda və ya webmasters var.

ümumi misconceptions

Əksinə məşhur inam "örümcekleri" informasiya emal yoxdur. proqram yalnız tarar və web pages mağazalar və daha emal tam fərqli bir robotlar edir.

Həmçinin, bir çox istifadəçi search örümceklerinin mənfi təsir və "zərərli" İnternet inanıram. Əslində, "örümcekleri" bəzi versiyaları əhəmiyyətli dərəcədə server yükləməyə bilər. robot konfiqurasiya səhv edə bilər proqram yaratmışdır webmaster - bir insan faktoru da var. Lakin mövcud proqramların ən yaxşı dizayn və peşəkar idarə və hər hansı bir inkişaf etməkdə olan problemlər dərhal aradan.

Necə endeksleme idarə etmək

Axtarış mühərriki robotlar avtomatlaşdırılmış proqramları, lakin endeksleme proses qismən webmaster tərəfindən nəzarət oluna bilər. Bu çox xarici və kömək edir daxili optimallaşdırılması resurs. Bundan əlavə, siz özünüz bir axtarış mühərriki yeni bir site əlavə edə bilərsiniz: böyük resursları Web pages qeydiyyatı xüsusi forma var.