Het geheim van Spotify zit 'm in een mix van verschillende strategieën, gebruikt door andere muziek services, om een eigen krachtige 'discovery engine' te maken:

• Collaborative Filtering modellen. Deze worden ook gebruikt door Last.fm. Hierbij wordt jouw en andermans gedrag geanalyseerd.
• Natural Language Processing (NLP) modellen. Waarbij tekst wordt geanalyseerd.
• Audio modellen, waarbij rauwe audio tracks worden geanalyseerd.

Oorspronkelijk komt dit van Netflix, waarbij de rating van gebruikers wordt gebruikt om aanbevelingen te genereren voor anderen. Bij Spotify werkt dit met impliciete feedback. Zoals of een gebruiker een nummer opslaat, de pagina van de artiest daarna bezoekt, het nummer vaak luistert, etc. In het kort werkt dit zo:

“Hmmm… You both like three of the same tracks — Q, R, and S — so you are probably similar users. Therefore, you’re each likely to enjoy other tracks that the other person has listened to, that you haven’t heard yet.”

Spotify doet dit op grote schaal door met een complexe wiskundige formule van elke gebruiker en elk nummer een vector te creëeren (Een grootheid die zowel een grootte als een richting heeft; afkomstig uit de wiskunde). Zo worden alle vectors vergeleken en de meest vergelijkbare gematcht.

Dit slaat op track metadata, nieuwsartikelen, blogs, en andere tekstvormen. Deze techniek is een verhaal opzich, maar in de kern crawlt Spotify het hele web en probeert te ontdekken op welke manier over muziek wordt gesproken (sentiment), welke muziek en artiesten ermee worden vergeleken, etc. Zo wordt er een lijst gemaakt met veelgebruikte woorden van een nummer of artiest en wordt per woord een score gegeven.

Bij nieuwere nummers die niet in de andere twee modellen worden meegenomen, gebeurt dat hierbij wel. Dit is mogelijk door convolutional neural networks. Een techniek die ook bij gezichtsherkenning wordt gebruikt.

Dit ziet er zo uit:

De audio frames (spectogram links) gaan door de convolutional layers (de dikke staven). Om vervolgens door de 'global temporal pooling' laag te gaan, waarbij over de hele tijd as wordt gegaan en statistieken worden berekend over de geleerde features van de tijd van het nummer (ziek ingewikkeld). Na de berekening door het neural network, komt de time signature, key, mode, tempo, en loudness eruit. Hiermee kunnen nummers vergeleken worden.

Eric Boam | Jan 14, 2019

De Spotify Release radar heeft in de afgelopen jaren de muziek industrie overmeesterd. Verschillende muziek blogs hebben daardoor zijn deuren moeten sluiten. Boam is de data ingedoken en heeft alle aanbevelingen die hij ontving nagelopen, en schreef dit op papier.



Hij spitte alle gegevens helemaal door om te ontdekken welke bronnen sterker mee telde dan andere . De gegevens zijn vergeleken met zijn streamingsgeschiedenis om patronen te ontdekken. De aanbevelingen die hij ontving heeft hij onderverdeeld in drie groepen;

• Mensen die ik persoonlijk kende
• Mediabronnen zoals muzieksites of podcasts
• Algoritmemegestuurde afspeellijsten in Spotify

Het grootste verschil tussen de groepen is het ritme waarin de aanbevelingen binnen kwamen. Er is een dagelijkse aanval van aanbevelingen door zijn social media gedrag.

Aanbevelingen afkomstig van Machines kwamen redelijk consistent. Er was weinig wrijving tussen het ontvangen en beluisteren van de aanbeveling (enige wat hij deed was op play klikken), hierdoor lijkt het erop dat de Spotify algoritmische aanbevelingen het meest dominant zijn. Ze domineren qua kwantiteit, kwaliteit is lastiger te zeggen.



Aanbevelingen zijn belangrijk om naar artiesten te luisteren die hij nog nooit eerder had gehoord. Er zijn 162 nieuwe artiesten waar hij naar heb geluisterd via aanbevelingen. Uiteindelijk kwamen de meeste hiervan uit media en machinebronnen. Menselijke bronnen waren succesvoller in het introduceren van nieuwe bands of albums die uiteindelijk ook in zijn favorieten belandde.

Dankzij spotify is ons luistergedrag in afspeellijsten sterk toegenomen. Boam ging uitzoeken of het luisteren naar afspeellijsten hen op de een of andere manier een voordeel opleverde. Er werden 134 nummers beluisterd op dezelfde dag dat ze werden aanbevolen. Ongeveer de helft daarvan was afkomstig van afspeellijsten. Bij het bekijken van de aanbevelingen waar hij wel en niet naar luisterde leek er geen merkbare discriminatie te zijn tussen soorten bronnen. Het lijst erop dat afspeellijsten toch niet al te veel ingebouwde voordelen hadden.

Boam heeft een aantal productregels kunnen afleiding uit het analyseren van de Release Radar-afspeellijst:

• Plaats de afspeellijst om middernacht, zodat hij optijd is voor het luisteren op de volgende dag
• Bewaar het nummer voor maximaal 4 weken als er niet naar geluisterd is
• Geef de voorkeur aan artiesten waar eerder naar is geluisterd
• Gebruik remixen en Spotify live-opnames wanneer nieuwe muziek dun wordt
• Probeer alle soorten nummers om de afspeellijst fris en spannend te houden

The Missing Piece Spotify aanbevelingen zijn leuk, gemakkelijk te bereiken en komen overeen met de huidige muziek smaak. In de data zag ik dat ze niet veel moeite doen om je uit je comfortzone te halen. Hier zouden ze nog meer op kunnen inspelen.

Spotify is één van de meestgebruikte producten geworden waarmee mensen muziek luisteren. Er zitten hier twee voordelen aan: Het slaat de geluisterde muziek op. Op basis van deze “geschiedenis” van geluisterde muziek, worden er afspeellijsten gegenereerd. Deze sluiten dan aan bij de muziekvoorkeuren van de gebruiker. Er staat heel veel muziek op Spotify, dus de gebruiker hoeven zich geen zorgen te maken over te weinig muziek.

Mohith Subbarao, de schrijver van dit artikel, heeft een app gebouwd met de Spotify API. Deze app gebruikt een algoritme om mood-gegenereerde afspeellijsten te creëren die gebaseerd zijn op de mood en de luistergeschiedenis van de gebruiker. Hij noemt ze ook wel “moodtapes”.

Deze app is gemaakt in 6 stappen:

1. Authenticating and Using Spotipy

Om data van Spotify te importeren, heeft Mohith Spotipy gebruikt: een python framework die speciaal met Spotify werkt. Op deze manier kan hij de bibliotheek, de meest geluisterde en gevolgde artiesten gebruiken om afspeellijsten te genereren. De mood schaal is van 0.0 tot 1.0 warbij 0.0 een negatieve mood is en 1.0 een positieve.

2. Creating a list of your favorite artists

Hierbij zijn de favoriete artiesten van de gebruiker opgehaald. Hierbij heeft Mohith twee features van de Spotify API gebruikt:

• Get a User’s Top Artists
  
• Get a User’s Followed Artists

Op deze manier kan je het “type” muziek beter inschatten. Waarschijnlijk kent de gebruiker ook niet specifiek elk nummer van deze artiest, waardoor je ook weer afspeellijst kan genereren met onbekende nummers. Dit kan natuurlijk verzameld worden in verschillende tijdintervallen.

3. For each of the artists, get all tracks for each artist.

Hier zijn de top 10 muzieknummers van elke favoriete artiest verzameld. Dit kan met de feature: ‘Get an Artist’s Top Tracks’. Met deze data kan weer een nieuwe afspeellijst gegenereerd worden die nog beter bij de gebruiker past!

4. From top tracks, select tracks that are within a certain mood.

Bij dit gedeelte wordt er door de database heen gezocht, op basis van de mood. Dan worden er nummers toegevoegd aan de afspeellijst. Hierbij kan de feature ‘Get Audio Features for Several Tracks’ gebruiken om de attributen van elk nummer te gebruiken. Er wordt gelet op drie attributen: valentie (de positiviteit van de muziek), dansbaarheid en energie. De attributen hebben ook een schaal van 0.0 tot 1.0. Hierbij is valentie het primaire attribuut en dansbaarheid en energie de secondaire attributen.

5. From these tracks, create a playlist for the user.

Hier wordt er daadwerkelijk een afspeellijst gemaakt met de features “Create a Playlist” en “Add Tracks to a Playlist”. Deze afspeellijst heeft 30 nummers, waardoor die 90-120 minuten duurt. Ongeveer net zolang als je eigenlijk een mood zit.

Kortom: hoe beter het algoritme, hoe beter de moodtape! Hier een voorbeeld van een moodtape met een "negatieve" mood:

Hij droeg het apparaat 113 dagen lang, van 1 januari tot 23 april. Gedurende die tijd registreerde de Embrace 52 verschillende evenementen die als zeer opgewonden of gestrest zouden worden aangemerkt. Deze gebeurtenissen betekenen dat hij een hoger niveau van 'opwinding of stress ervoer, zowel fysiek, emotioneel als cognitief'.

Naast het dragen van het apparaat, volgde hij ook andere persoonlijke gegevens in de hoop de context te geven aan de gebeurtenissen die door het apparaat werden gemeten. Van de 52 geregistreerde gebeurtenissen kon hij 29 van die gebeurtenissen correleren met andere dingen die hij deed.

• 11 waren specifiek voor muziek.
• 9 daarvan waren live concerten.
• 2 nummers waar hij naar luisterde ("Kennedy" van The Wedding Present en "All Night" van Big Boi).   - De eerste keer dat hij het nummer "All Night" hoorde en sindsdien niet meer heeft geluisterd. "All Night" werd voorafgegaan door drie opeenvolgende toneelstukken van een Tee Grizzley-nummer genaamd "First Day Out". dus het zou de reeks nummers kunnen zijn die eraan voorafgingen.   - Kennedy ”van The Wedding Present werd voor de derde keer dat jaar gespeeld om 09.53 uur op zaterdag 17 maart. De avond ervoor was hij naar The Wedding Present gegaan bij SXSW (geregistreerd 2 evenementen). Het was zo dicht mogelijk bij de perfecte liveshow die hij zich kan herinneren. In de periode dat hij het apparaat droeg, luisterde hij naar 2473 nummers. Maar slechts 2 hadden een verhoogde opwinding. En in die periode woonde hij ook 16 concerten bij.

Evenementen tijdens openbare evenementen (met veel mensen die juichen, vergelijkbaar met een concert):

• 8 evenementen hadden betrekking op evenementen van het openbare type.
• 6 waren met zijn gezin op een basketbalwedstrijd van de Universiteit van Texas.
• 1 was tijdens de Mars voor Ons Leven in het Capitool in Austin, ook met zijn gezin.
• En ik was tijdens het live opnemen van een podcast.

23 gebeurtenissen hadden geen traceerbare correlatie, maar 13 daarvan waren op een zaterdag of zondag, toen hij thuis was bij zijn familie.

Resterende 10 gebeurtenissen lijken te correleren met stress op zijn lichaam;

• 7 gebeurde na een run van 10 mijl, allemaal binnen 30 minuten na het beëindigen van zijn run.
• 3 keer op vakantie in Idaho om zijn ouders te bezoeken, waar ze veel buiten hebben doorgebracht bij bitter koud weer (-20F).

Dus de meeste evenementen waren tijdens het UT-basketbalspel, SXSW-concerten en de 10-mijlsloop. Vóór de middag gebeurden er maar heel weinig gebeurtenissen.

Van de 9 concertmomenten vond de opwinding plaats tijdens 5 verschillende shows: Sudan Archives (3 keer verdeeld over 2 shows), Mallrat, The Wedding Present (2 keer in één show) en Rostam (2 keer in één show).

Conclusie:

Een show die perfect voelde, had een meetbare prikkelbaarheid. Maakt het experiment tot een succes. Het bewijst hem dat de gedachten in zijn hoofd in feite verband houden met zijn gevoelens. Er is een verband met zijn intellect en zijn intuïtie. En dat is wat hij wilde leren.

Iets meer context voor de andere evenementen (basketbalspel, koude wandeling, openbare demonstratie, live podcastintroductiesegment) momenten maakten duidelijk dat er iets gemeen was: familie. In elk van die gevallen was ik met ten minste één gezinslid. Hij hoopte dat muziek de rode draad in de data zou zijn. In plaats daarvan bleek het genieten van het leven met andere mensen veel gebruikelijker. Dat is zijn katalysator voor prikkelbaarheid. Bestrooi wat muziek met die mensen en de kans wordt groter.

Bepaalde dagelijkse taken kunnen worden ingesteld zoals afspraken met artsen of etenstijd. Alexa geeft bijvoorbeeld aan dat het tijd is om medicijnen in te nemen. Ze vraagt of je weet waar de medicijnen liggen en zo niet, geeft ze daar antwoord op. Na 5 minuten zal ze vragen of de medicijnen zijn ingenomen. In een bijbehorende app zal deze taak worden afgevinkt.

Ook kan Alexa helpen feiten over familie of vrienden te herinneren. Er wordt bijvoorbeeld aangegeven dat Clare jarig is. Voor mensen met dementie is het lastig namen te onthouden. De patient kan vragen wie Clare is en Alexa zal de relatie benoemen. Nu wordt gevraagd of je een telefoongesprek met Clare wil starten.

Ik denk dat Alexa grote steun kan bieden aan Alzheimer patiënten door simpele vragen te beantwoorden zonder een ingewikkelde interface te hoeven begrijpen.

Het bleek dat de patiënten erg van streek kunnen raken door een onbekende robotstem die hen eraan herinnerde medicijnen te nemen. Ook zijn patiënten bang dat nieuwe gadgets het contact met menselijke verzorgers zullen vervangen en slimme functies niet goed functioneren waardoor er ongelukken zullen ontstaan.

Hoofdonderzoeken Lydia Nicholas zegt dat niet alleen gaat om iemand te helpen herinneren aan zijn medicijnen. Iemand moet soms overtuigd worden die behoorlijk bedroefd is over het feit dat hun medicatie veilig is, of hen eraan te herinneren een glas water te nemen, om er zeker van te zijn dat ze ermee hebben gegeten.

We moeten goed nadenken over hoe we nieuwe technologieën gaan toepassen in het zorgsysteem. We willen dat technologie wordt gebruikt om zorgverleners zo goed mogelijk te ondersteunen. Het zal eerder een "hulpmiddel" worden dan een vervanging voor menselijke werknemers. Het biedt een goede mogelijkheid om langer in hun huizen en gemeenschappen te blijven.

Dit onderzoek is gericht op Alexa die opeens begint te praten over medicijnen. Bij ons concept zal Alexa samen met een verzorgen gebruikt worden waardoor mensen minder schrikken. Het zal waardevol zijn een herkenbare stem te gebruiken in plaats van de robotstem.