Pro procházení webových stránek má internetový vyhledávač automatický program, tzv. vyhledávací robot, který se pomocí hypertextových odkazů snaží navštívit všechny webové stránky na Internetu. Robot pracuje tak, že dostane na začátku seznam atraktivních stránek (tj. vstupních míst, resp. seznam URL odkazů). Robot každou stránku stáhne na svůj pevný disk a poznamená si její URL adresu, aby ji nenavštěvoval opakovaně. V uložené stránce přečte všechny hypertextové odkazy na další webové stránky, čímž získá další místa, která stejným způsobem navštíví. Robot pracuje cyklicky, takže se po určitém čase na stránky vrací, aby zjistil jejich případné změny.
Zaručuje správné zobrazení ve všech vyhledávačích a posloupnost textových nadpisů. Pokud budou Vaše stránky nesémantické Váš web nebude nikdy SEO-friendly a jen těžko se budete prokousávat na přední místa ve vyhledávačích.