přejít na obsah přejít na navigaci

Linux E X P R E S, Seriál o Elasticsearch: 1. Základní pojmy

Control

Seriál o Elasticsearch: 1. Základní pojmy

Elasticsearch

Než se pustíme do instalace a budování vyhledávání, považuji za důležité se seznámit se základními pojmy a principy, které nás budou celým seriálem provázet. V této kapitole vysvětluji jak pojmy, které souvisí s fulltextovým vyhledáváním, tak také ty, které jsou důležité při práci s nástrojem Elasticsearch.


reklama

Specializuji se na Elasticsearch a jsem fanouškem DevOps. Nabízím konzultace a školení Elasticsearch - pokud jej chcete poznat důkladněji, zjistit, zda se hodí pro váš projekt, nebo uspořádat školení ve vaší firmě, neváhejte se mi ozvat.

Indexy, dokumeny, pole, typy

Elasticsearch ale není relační databáze, jde o dokumentové úložiště, zařadit jej můžeme do NoSQL databází.

Tak jako se v relační databázi setkáváme s tabulkami, sloupci a řádky, tak zde se setkáváme s obdobnými pojmy.

Dokument je textový soubor, který obsahuje informace, v nichž bude probíhat vyhledávání. V případě Elasticsearch jde konkrétně o soubor formátu JSON. Pokud bychom mluvili o produktu prodávaném v e-shopu, dokument uložený v Elasticsearch by mohl v nejjednodušší podobě vypadat následovně:

{
  "id": 102146,
  "title": "Apple iPhone 8 64GB bílý",
  "brand": "Apple",
  "price": 21190
}

Dokument je tvořen poli (fields) různých datových typů. V případě Elasticsearch není nutné je definovat předem, Elasticsearch je ve výchozím stavu vytvoří sám na základě struktury dokumentu. Proto je označován jako bezschémové úložiště. V rámci indexu však musí mít jedno pole vždy totožný datový typ. Není možné například uložit id v jednom dokumentu jako integer a v druhém jako string - na to je třeba pamatovat, pokud data kopírujete z jiné databáze typu MongoDB.

Dokumenty jsou ukládány do indexu, což je obdoba databázového schématu ve světě relačních databází. Na jeho úrovni je možné nastavovat parametry úložiště společné pro celou sadu dokumentů. V rámci indexu jsou pak definovány typy (type), což označuje skupinu dokumentů obdobného tvaru. Pokud bychom chtěli do Elasticsearche ukládat produkty a objednávky, bylo by možné je uložit do jednoho indexu a vytvořit dva typy - orders a products. V praxi je však výhodnější takto odlišné dokumenty uložit do různých indexů, protože většina konfigurace je dostupná právě na úrovni indexu. Pokud by měl produkt a objednávka pole se stejným názvem, ale různým datovým typem, nebylo by vůbec možné je do společného indexu uložit.

Můžeme zde nalézt analogii k přístupu relačních databází. Pro představu by se dal vztah mezi pojmy Elasticsearch a relační databáze vyjádřit následovně:

ElasticsearchRelační databáze
Index Databáze
Typ (type) Tabulka
Dokument (document) Záznam (řádek tabulky)
Pole (field) Atribut (sloupec tabulky)

Cluster, repliky, shardy

Elasticsearch je od počátku navržen tak, aby běžel v cloudu. Při produkčním nasazení tak budete pravděpodobně chtít vytvořit cluster - nasadit jej na více serverů, což umožní distribuovat zátěž a zvýšit dostupnost služby.

K tomu, aby mohl být index dostupný na více serverech, jsou využívány shardy, což označuje fyzické rozdělení indexu na více částí. Při rozdělení indexu na shardy lze urychlit vyhledávání - dotazy jsou spouštěny na každém shardu zvlášť, dochází tak k jejich paralelizaci.

Aby bylo zajištěno, že nedojde ke ztrátě dat, jsou k shardům vytvářeny jejich repliky. Pokud tak dojde k výpadku serveru, pravděpodobně se nachází kopie ztracených dat na některém z dalších serverů (nodů), která je ihned využita a automaticky replikována na zdravé servery.

V rámci tohoto tutoriálu se nastavení shardů a replik budeme věnovat až v samém závěru, pro lokální vývoj je dostačující vytvoření jediného shardu bez replik. Takové nastavení pravděpodobně postačí i na první produkční spuštění, je však třeba počítat s tím, že data nejsou nikde replikována.

Fulltextové vyhledávání

Přestože to může znít triviálně, definujme ještě pojem fulltextové vyhledávání. Uživatel si nejprve musí představit, co chce vlastně vyhledávat a na základě této představy zformulovat dotaz, který zadá do vyhledávacího pole. Vyhledávač musí následně vyhodnotit, co chtěl uživatel vyhledat a vrátit mu co nejrelevantnější výsledky. A právě to je to obtížné na celém vyhledávání - výsledky jsou psané člověkem přirozeným jazykem se všemi chybami a nepřesnostmi, které jsou s tím spojeny. Naším cílem je však dodat takové výsledky, které jej uspokojí a dodají mu tak určitý zážitek z proběhlého vyhledávání. Lidsky řečeno - uživatel najde to, co hledá.

Schéma vyhledávání

Indexace

Indexace je proces, při kterém jsou dokumenty ukládány do (invertovaného) indexu. Nejde o nějakou specialitu Elasticsearch, pojem jako takový je znám mnohem déle a označuje proces, při kterém jsou textové dokumenty ukládány do speciálního úložiště (indexu), ve tvaru optimalizovaném pro vyhledávání. Představte si to jako rejstřík knihy, ve kterém jsou uspořádány důležité termíny v základním tvaru, seřazeny podle abecedy. Bylo by totiž nemyslitelné pro nalezení hledaného termínu procházet celou knihu, stránku po stránce.

Při indexaci se tedy dokument transformuje do tvaru, který umožňuje vyhledávání. Takové transformace jsou například použití pouze relevantních slov (a vypuštění těch nedůležitých), jejich převedení na základní tvar (jednotné číslo, první pád...) a následné uložení do vhodného úložiště.

Tímto jsme se seznámili s základními pojmy a můžeme se pustit do instalace Elasticsearch a dalších potřebných nástrojů.

Nahoru

Přidat téma diskuse

Nejsou podporovány žádné značky, komentáře jsou jen čistě textové. Více o diskuzích a pravidlech najdete v nápovědě.
Diskuzi můžete sledovat pomocí RSS kanálu rss



 
 

Top články z OpenOffice.cz

Luděk Veselý

Luděk Veselý

Pracuji jako vývojář ve Vodafone. Specializuji se na Elasticsearch a jsem fanouškem DevOps.
www.ludekvesely.cz


| blog