Aproximace KNN problému

Abstract

Vyhledávání k nejbližších sousedů prvku v prostoru je v informatice všudypřítomný problém, u kterého dosahují exaktní řešení lineární časové složitosti. Z tohoto důvodu se u případů užití, které vyžadují velmi efektivní vyhledávání sousedů, přistupuje k aproximaci tohoto problému. Aproximace vrací výsledek, kde mohou být vektory, které nejsou skutečně nejbližšími, a jejich množství určuje velikost chyby. Výkon řešení aproximace vypočítáváme z časové náročnosti, velikosti chyby a dalších metrik.

Práce je zaměřena na techniku Hierarchical navigable small worlds (dále jen HNSW), která řeší problém aproximace a v současné době je její poměr rychlosti vyhledávání a přesnosti jeden z nejvyšších. HNSW sestavuje z prvků v prostoru orientované grafy, které jsou pomyslně nad sebou ve vrstvách. Vyhledávání sousedů je tedy založeno na průchodu těmito grafy.

Práce se také zabývá implementací techniky HNSW. V závěru práce jsou původní a nová implementace srovnány na základě několika kritérií. Tato srovnání ukazují, že nová implementace dosahuje podobného výkonu při vyhledávání jako ta původní.

Search for k nearest neighbors of an element in a space is ubiquitous problem in informatics. Exact solutions to the problem reach linear time complexity. Because of this, use cases requiring very efective search allow an approximation of the problem. Approximation returns a result where vectors that aren't truly nearest can be present. A value of an error is based on the number of such vectors. Performance of a solution of the approximation is computed from elapsed execution time, error and other metrics.

The thesis focuses on Hierarchical navigable small worlds technique (HNSW) which is a solution to the problem of approximation with one of the best ratios of speed and recall. HNSW builds from the elements of the space a series of directed graphs which are arranged into a stack of imaginary layers. Therefore the search is based on a graph traversal.

As a part of the thesis an implementation of the technique was developed. In the end, the original implementation and the new one are both benchmarked and compared against each other. The benchmarks show that the new implementation achieves similar query performance as the original one.