MENU

Co je to robot, pavouk ...

Roboty používají vyhledávače k tomu, aby plnili své databáze odkazů. Tím se vyhledávače liší od katalogů, protože katalogy spoléhají na ruční zápisy. Roboti sami aktivně navštěvují webové stránky, prohledávají je, sbírají jejich odkazy (aby měli cesty k novým stránkám) a ukládají si obsah stránek (aby věděli, o čem stránka pojednává). Když pak návštěvník vyhledávače zadá nějaké slovo (nebo slovní spojení) do pole vyhledávání, tak mu vyhledávač velice rychle nabídne seznam odkazů na webové stránky, které by podle jeho názoru měly být ty, jež návštěvník hledá.

Dále se dočtete: o výsledcích vyhledávání, jak roboti fungují, jak s roboty informovat o novém webu, jak s nimi komunikovat a co dělat, aby měli roboti váš web rádi.

 O výsledcích vyhledávání

Nalezení odkazů a uložení si obsahu je pochopitelně důležité, ale rozdíl mezi úspěšným a neúspěšným vyhledávačem je v řazení výsledků vyhledávání v tzv. SERP. Na jeden slovní výraz může mít vyhledávač v databázi řádově tisíce internetových odkazů. Ale které nabídnou v první desítce, které v první stovce a které na pozicích, jež prakticky žádný návštěvník nenavštíví? Toto je opravdová alchymie vyhledávačů. Každý vyhledávač to dělá jinak a svůj postup si bedlivě střeží. Ale v principu se vždy jedná o jakýsi matematický vzorec.

 Jak roboti fungují

Roboti každého vyhledávače fungují sice odlišně, ale podle stejných nebo podobných principů a logik.

Jak vypadá robot vyhledávače

Vždy se jedná o nějakou softwarovou aplikaci umístěnou na serveru (serverech). Pojmem robot nebo pavouk je malinko zavádějící, protože vyvolává představu něčeho hmotného, což není přesné.

Jak se roboti pohybují

Tito roboti (SW aplikace) navštěvují odkazy, které buď znají, nebo je objevily na webových stránkách, jež navštěvují. Jinými slovy to znamená, že roboti (a potažmo i vyhledávače) neznají takové stránky na které nevede žádný odkaz. Odkaz = cesta pro robota.

 Jak roboty informovat o novém webu

V případě nových webových stránek o kterých vyhledávače nemají tušení, je možné vyhledávače informovat. V případě Seznamu tak můžete učinit přímo ve výsledcích vyhledávání tzv. SERP (dole v zápatí naleznete odkaz „Přidat stránku do hledání"). Pokud jde o Google, k tomuto účelu (ale nejen k němu) slouží nástroj zvaný Google Webmaster Tools, který naleznete na:
https://www.google.com/webmasters/tools/

Co roboti vlastně dělají

 Takový robot přijde na vaše webové stránky, jestliže je vaše URL adresa v databázi URL adres vyhledávače (jak se tam dostat jste se mohli dočíst zde). Robot se pokusí zjistit informace určené pro něj.

  1. Prvotním vodítkem pro robota je tzv. robots.txt. Jedná se o obyčejný textový soubor, ve kterém mohou být různé instrukce pro robota například i to, kde nalezne na jediném místě všechny aktuální URL adresy vašeho webu tzv. sitemap xml. Tím robotovi usnadníte práci. Robots.txt může robota také upozornit na URL adresy, které navštěvovat nemá.
  2. Přímo na každé jednotlivé stránce může být tzv. meta tag (name="robots"), který robotovi sdělí, zda má tuto stránku takzvaně indexovat a zda následovat odkazy uvedené na stránce, nebo ne. Jestliže má vše povoleno vypadá tento meta tag následovně:

  metatag robots

Pokud jste robotovi v robots.txt nebo v meta tagu nezakázali indexovat a následovat (follow), tak se pustí do stahování (X)HTML kódu dané stránky. Zajímají ho především odkazy (coby cesty k dalším stránkám), texty (např. v titulku, popisu, nadpisech, odstavcích, seznamech, tabulkách), obrázky a videa (přesněji jejich popisy). Jiný obsah jej naopak nezajímá, např. flashové animace.

Pro robota je „potravou" text. Tento textový obsah se takzvaně parsuje. Stručně řečeno: převede se do řeči vyhledávače. Jednotlivá slova se přiřadí do slovníku slov vyhledávače a označí se jejich počet, umístění (např. v titulku, nadpisu, zvýraznění ...) a pozice v obsahu textu (slovní vazby).

 Co mají roboti rádi a co naopak ne

Proč se chtít robotům „zalíbit"? Roboti jsou sice stroje, ale vlastní je firmy (majitelé vyhledávačů). Jejich výkon je limitován výkonem serverů a navýšení tohoto výkonu stojí peníze. Proto majitelé vyhledávačů odměňují ty provozovatele webů, kteří usnadňují robotům práci, a to tím, že odkazy na jejich weby umisťují na lepší pozice, než jejich konkurenční weby s obdobným obsahem.

Jelikož roboti musejí obsah vašeho webu stahovat, prohledávat a následně bude zpracován pro potřeby vyhledávače, je dobré tuto práci robotům usnadnit. Zde naleznete jak:

  • vytvořit a umístit robots.txt jako informaci pro pohyb robotů,
  • u rozsáhlejších webů nabídnout robotům sitemap xml, která bude pravidelně aktualizována nejlépe automaticky redakčním systémem CMS,
  • na každé stránce uvádět meta tag týkající se robotů,
  • oddělit vzhled od obsahuCSS styly v samostatných souborech a nevkládání stylů do HTML kódu,
  • nepoužívat vnořené tabulky k layout webu – tabulky k sdělení dat, případně k zarovnání, jsou v naprostém pořádku, ale neměly by se používat k zobrazování prvků grafiky webu, protože to navyšuje objem HTML kódu a ztěžuje robotům práci,
  • nevytvářet weby pomocí rámců – rámce jsou zastaralá metoda tvorby webů, roboti si s ní sice dokážou poradit, ale výrazně to ztěžuje jejich práci,
  • mít validní HTML kód – bez závažných chyb,
  • vkládat data raději v HTML kódu, než v souborech jako např. PDF, DOC, XLS ... Vyhledávače si sice umějí poradit i s těmito uvedenými soubory, ale dá jim to více práce.

Kam dál

Pokud nevíte, neváhejte se zeptat

© HelpMark | Tomáš Herout | Tel: +420 739 719 548