Zoekmachines, overal zoekmachines

Zoeken en vinden

Wat is de overeenkomst tussen sites als Funda, Booking.com, Marktplaats, Autotrader, Gaslicht.com (en andere Bencoms), Thuisbezorgd, Independer en vele andere vergelijking-, marktplaats- en boeking-sites? Ze zijn gespecialiseerde zoekmachine zien, waar je in tegenstelling tot google, bing of duckduckgo kunt zoeken naar specifieke producten of diensten.
Daarnaast hebben de sites extra functionaliteit om wat met zoekresultaat te doen, zoals een reis boeken, abonnement afsluiten of bericht sturen naar verkoper, maar dat is niet de belangrijkste reden om ze te gebruiken.

Everything is search

Al die websites hebben, net als Google, een onderliggende database waar al hun informatie in staat, en interface om query’s (e.g. zoekvragen) te maken op die database.

Sites als Funda, Marktplaats en Autotrader voegen mensen zelf informatie toe aan hun database en betalen daar voor. Andere sites als Gaslicht.com, Independer en Vergelijk.nl importeren productgegevens van telecombedrijven als T-Mobile en KPN, nutsbedrijven als Essent en Eneco, webwinkels als BCC en Wehkamp of verzekeraars als Ohra of Centraalbeheer. Daarna krijgen ze hiervoor betaald zo’n bedrijf een maandelijks bedrag en ze krijgen betaald voor iedere geslaagde zoekopdracht (een zoekopdracht die leidt tot een lead of geslaagde verkoop of boeking). Bij Booking.com, Thuisbezorgd en Autotrader voegen bedrijven zelf hun informatie toe aan hun database, en daarna krijgen ze ook betaald voor iedere geslaagde zoekopdracht.

Onderscheid


Wat onderscheid deze sites van een algemene zoekmachine als Google?

  • Zoekresultaten van een specifiek onderwerp: alleen verzekeringen, huizen, telefoonabonnementen, tweedehands auto’s, energiebedrijven, etc.
  • Gericht filteren op eigenschappen zoals prijs, kwaliteit, duurzaamheid, brandstofsoort, merk, brandstofsoort of polisvoorwaarden.
  • Zoekresultaten met elkaar vergelijken op zelf geselecteerde eigenschappen.
    In plaats van doornemen van folders, voorwaarden, brochures, of verkooppraatjes kun je de eigenschappen makkelijk naast elkaar zetten.
  • Iets met een zoekresultaat doen, als afsluiten, boeken of contact opnemen met een verkoper.

Zelf maken

Het lijkt makkelijk geld verdienen, alle producten in een zoekdatabase zetten en vervolgens loopt het geld binnen – de aanbieders van producten betalen je. Wat maakt het moeilijk zelf zo’n zoekmachine te beginnen?

Infrastructuur
Databases als Elasticsearch, Bigtable of DynamoDB en servercapaciteit voor de software achter je site kun je afnemen bij de cloud van Amazon, Microsoft of Google. Je betaalt per gebruik. Zodra je een goed verdienmodel hebt, zouden de kosten voor infrastructuur moeten meegroeien (of krimpen) met je inkomsten per zoekopdracht.

Inhoud
Een van de grootste uitdagingen zal het vullen van je database zijn, en deze up-to-date houden. Hoe krijg je mensen zover om productadvertenties te gaan plaatsen? Hoe kun je bedrijven overtuigen hun productdatabase bij jou beschikbaar te maken? Hoe krijg je de informatie van complexe producten van verzekeraars, nutsbedrijven, telecomproviders zodat iemand met een paar muisklikken een keuze kan maken?
Gedeeltelijk is de uitdaging technisch, maar grootste deel van het werk zal zijn in overtuigen van bedrijven of personen om hun gegevens in jouw database te plaatsen.
En het helpt natuurlijk als je een van de eerste bent binnen je branche of sector. Voor wat voor soort product of dienst is er nog geen gespecialiseerde zoekmachine?

Structureren, categoriseren, labelen, ranking
De gegevens in je zoekdatabase moeten wel gestructureerd zijn, met extra data en metadata in te vorm van categorieën, tags, score, ranking, beoordelingen en alle allerhande uniforme eigenschappen. Mogelijk kun je dat overlaten aan de bedrijven die je de gegevens aan aanleveren, maar waarschijnlijk zul je veel werk zelf moeten verzetten. Achter zoekmachines (en vergelijkers) als Independer, Bencom, Hiiper, Tweakers zit heel veel werk om al die producten zo te structureren dat je ze kunt filteren op de manier die nu kan op die sites.
Je kunt beginnen handmatig data te corrigeren, ordenen, labelen, scores toewijzen, ranking. Op die manier heb je ook snel iets om te demonstreren en kun je uitproberen of mensen wel zitten te wachten op je idee.

Als je iedere maand personeel moet inhuren om alle data handmatig te categoriseren en labelen moet je gaan kijken hoe je machine-learning, AI of software-engineering in het algemeen kunt inzetten om dit werk automatisch uit te voeren.
Gelukkig bieden eerder genoemde cloud-providers als Microsoft Azure, Google of AWS hiervoor oplossingen. Desalniettemin zal hiervoor heel veel custom development werk inzitten.

De zoekmachine
Als een database gevuld en geordend hebt, moeten gebruikers van je website die database kunnen gebruiken. Een goede user-interface is simpel in gebruik, maakt het mogelijk om eerste bezoekers al snel iets te vinden, en maakt het ook mogelijk zeer gedetailleerd te zoeken als iemand al weet wat hij of zij wil
Het makkelijkst voor je klanten (of is het gebruikers? ) is simpelweg een tekstveld.

Search box
Om zo’n zoekveld goed te laten werken zal de backend, de achterkant van je website gebruik maken taalherkenning, goede ranking en andere technieken van machine-learning. Ofwel, de eenvoudigste interface heeft ook de meest geavanceerde backend.

Waarschijnlijk ontkom je er niet aan om ook via een UI het mogelijk te maken het zoekresultaat te filteren op productsoort, categorie, ranking of andere eigenschappen.

Search and filter
API

Denk er ook aan om je zoekmachine ook beschikbaar te maken voor andere software door middel van een API, ofwel een programmeerinterface. (Andere) softwareontwikkelaars kunnen dan jou product gebruiken en integreren in hun product. Met het juiste verdienmodel hoef je zelf geen tijd te steken in reclame voor je zoekmachine.
Bedrijven als Zorgweb hebben zorgen ervoor dat je ieder jaar zorgverzekeraars met elkaar kan vergelijken, zelfs als een zorgverzekeraar tien fysio-behandelingen vergoedt en de ander maximaal voor maximaal €400,– of dat bij de een homeopathie vergoed wordt en bij de ander accupuntuur uitgesloten is – maar laten het gebruik over aan bedrijven als Independer of Consumentenbond.

Mesh en slot
Als alle genoemde zoekmachines ook hun data als API gaan aanbieden, zou je zelfs die zoekmachines kunnen combineren.
Als b.v. Autotrader en Funda beide een API zouden aanbieden, zou je en nieuwe zoekmachine kunnen maken die beide combineert, een mesh. Dan wordt het mogelijk een vraag te stellen als ‘tweedehands auto voor minimaal vijf personen met laagste verzekeringspremie’.
Of een zoekmachine die al die zoekmachines met elkaar combineert? Dan hoeft iemand maar naar een site toe te gaan om welk product ook te zoeken. Of zou een bedrijf als Google of Tencent hier al aan werken?