Evaluatie - Anne-Ruth/zoekmachines GitHub Wiki

Om Cohen's kappa uit te rekenen hebben wij de volgende formule gebruikt:

Waarbij P(E) = P(niet relevant)² + P(relevant)².

Wij hebben de volgende 5 queries gebruikt voor de evaluatie:

• Query 1: Hoe werkt houdbaarheidsdatum

• • Ik zoek informatie over hoe een houdbaarheidsdatum werkt en hoe dit berekend wordt. (makkelijk)

• Query 2: nieuwe muziek metal

• • Ik zoek nieuwe muziek om te luisteren, van het genre metal. (moeilijk)

• Query 3: Activiteiten amsterdam

• • Informatie over activiteiten in en nabij Amsterdam. (moeilijk)

• Query 4: Stemmen gitaar

• • Ik zoek informatie over hoe je een gitaar moet stemmen, of waar je dat kan laten doen. (makkelijk)

• Query 5: Computer vastgelopen

• • Informatie over wat je moet doen wanneer je computer is vastgelopen. (makkelijk)

Vervolgens hebben twee mensen de eerste 10 resultaten van deze queries bekeken, en gekeken naar de relevantie van de documenten. Daaruit is de volgende tabel ontstaan:

P(A) = (10+33)/50 = 43/50 = 0.86

P(niet relevant) = (36+37)/(50+50) = 73/100 = 0.73

P(relevant) = (14+13)/(50+50) = 27/100 = 0.27

P(E) = P(niet relevant)² + P(relevant)² = 0.73² + 0.27² = 0.6058

kappa = (0.86-0.6058)/(1-0.6058) = 0.6449

De gemiddelde precisie van de eerste 10 documenten voor persoon 1 = 14/50 = 0.28. De gemiddelde precisie van de eerste 10 documenten voor persoon 2 = 13/50 = 0.26. De totale gemiddelde precisie is dus 0.27.

Hieronder is de precisie op 10 van allebei de personen in een grafiek te zien.

Wat ons niet meer is gelukt is het aanpassen van de ranking in elasticsearch. Wij hebben een aantal dingen geprobeerd, zoals het beinvloeden van de score en de booleans aanpassen, maar dit leverde geen verschil in ranking op.

Onze kappa is niet heel erg hoog. Dit komt waarschijnlijk doordat sommige van de zoekopdrachten een beetje ambigu waren, waardoor de twee personen het niet altijd met elkaar eens waren over wat relevant was. Verder heeft onze zoekmachine een vrij lage precisie. Dit komt mede doordat de vragen op goeievraag.nl vrij specifiek zijn, en er maar een paar relevante documenten per zoekopdracht bestaan.