Post on 25-Jun-2020
ChallengeEARIA
BenjaminPiwowarski,KarenPinel-Sauvagnat
1Lyon-7-9/11/2016
2
Unpeud’histoire(récente)…
Avantaujourd’huiilyaeu…
• LeCORIA-CIFEDHackday2014(etleEARIAHackevening2014)– But:réaliser/réfléchiràdesprototypesoriginauxdansledomainedelacuisine3.0
3
•ERIAS-ISPED(Bordeaux) •IRIT (Toulouse) •IRSTEA (Clermont-Ferrand)•Laice (Montrouge) •LIG (Grenoble) •LIP6 (Paris 6) •LIPN (Paris 13) •LSIS (Marseille)
Avantaujourd’huiilyaeu…
• LeCORIA-CIFEDHackday2016– But:réaliserdesprototypesoriginauxdansledomainedessériesTV
4
IRIT(Toulouse) - LIG (Grenoble) - LIMSI(Orsay) -LIPADE (Paris) - LIP6(Paris 6) - LIRIS (Lyon) -LITIS(Rouen) - LTCI (Paris) - LSIS (Aix-Marseille)
Enbref
• Desgensdedifférentslabosquitravaillentensemblepourproduiredesprototypes– …vitrinesdeleurtravail– …surundomained’applicaeondédié– …enlienaveclaRImaissanscontraintedethémaeque
• RIadhoc• Apprenessage• RImulemedia• RIsémaneque• Q/A• Recommandaeon• -…
5
Aujourd’hui
6
Aujourd’hui
• Pasdedomained’applicaeondédié…• Maisunethémaequespécifique:
RIinteraceve
7
Cequ’onvousdemande
• Vousmeirepargroupede4/5– enmixantleslabosd’origine!
• Réfléchiràunmodèle/unesolueondeRIinteraceve
• Construireunprototype– Quenouspourronstesterendirect– QuenousévalueronssurunecolleceonTREC
8
Cequ’onvousdemande
• Amusez-vous!• Surpreneznous!
9
Pourquoi?
• Pourseconnaître• Pourpermeireuneapplicaeondirectedescoursquevoussuivez
10
Organisaeondesjoursàvenir
• Maintenantetpendantlerepas– Marchéauxco-équipiers– Oncommenceàréfléchir
– (Oncommenceàtravailler)
• Demain– Ontravailleenfind’après-midietaprèslerepas
– (etplusencore?)
• Mercredi– Alapremièreheure:onresetue!
Infosàvenir
• RIinteraceve?• EvaluaeonàlaTREC• Avotredisposieon• Quelquesexemplescréaefsdesédieonsprécédentes…pourencouragervotrecréaevité!
12
LaRIinteraceve:qu’est-cequec’est?
13
(Lesexplicaeonsquisuiventsonthonteusementeréesdelapage:hip://irsg.bcs.org/informer/2015/04/dynamic-informaeon-retrieval-
modeling/MarcSloan)
14
RIstaeque
15
Pasdefeedback
RIstaeque
16
Lesrecherchessontindépendantes
RIstaeque
17
Lesrecherchessontindépendantes…
Troisinterprétaeonspossiblesdelarequêtesontprésentéesàl’uelisateur
RIinteraceve
18
Exploiterlefeedback
RIinteraceve
19
Chaqueétapeestdépendantedelaprécédente
RIinteraceve
• Typedefeedback– Explicite• Aceondirectedel’uelisateurpourinformerdesasaesfaceon(avissurunfilm,clicsurunbouton«Like»)
– Implicite• Enregistrementducomportementdel’uelisateursurlesystème(clics,tempspassé,mousetracking,…)
– Pseudo• Simulaeondufeedbackenconsidérantquelestopdocumentssontperenents
20
RIinteraceve
21
Lespagescliquéespermeientdepersonnaliserlasecondepagederésultatssurl’interprétaeonchoisie.
Touteslesinterprétaeonsnesontpasprésentéesàl’uelisateur
(RIdynamique)
22
Exploreretexploiterlefeedback
(RIdynamique)
23
Lesétapessontdépendantesdesinteraceonspasséesetfutures
(RIdynamique)
Lapremièrepageaétédiversifiéepourquelesystèmesoitmieuxcapabled’apprendrelespréférencesdel’uelisateursurlasecondepage
24
EvaluaeonàlaTREC(ParadigmedeCranfield)
1-Runs
25
???
Colleceondetest
Requêtesdetest
…
ParecipantA
ParecipantB
ParecipantZ
d21 d5 d7 d3
d82 d11 d23 d2
d51 d6 d7 d10
d82 d12 d58 d6
…
…
…
…
d51 d15 d2 d10
d112 d12 d23 d78
…
…
Run
EvaluaeonàlaTREC(ParadigmedeCranfield)
2–Poolingetjugementsdeperenence
26
d2 d5 d7 d6 d151
Poolparrequête
2
d21 d5 d7 d3
d82 d11 d23 d2
d51 d6 d7 d10
d82 d12 d58 d6
…
…
…
…
d51 d15 d2 d10
d112 d12 d23 d78
…
…
Runs
JugesduNIST
d2 d5 d7 d6 d151
2
Fichierdeqrels
Touslesdocumentsendehorsdupoolsontconsidérésnonperenents
EvaluaeonàlaTREC(ParadigmedeCranfield)
3-Evaluaeon
27
d21 d5 d7 d3
d82 d11 d23 d2
d51 d6 d7 d10
d82 d12 d58 d6
…
…
…
…
d51 d15 d2 d10
d112 d12 d23 d78
…
…
Runs
Fichierdeqrels
Oueld’éva-luaeon
Mesuresd’évaluaeon
TRECSessionTrack(dansnotrecas)
28
???
ColleceonClueWeb12
Sessionsderechercheavectopicetrequêtedetestassociée
Fichierdeqrels
Oueld’éva-luaeon
hip://lemurproject.org/clueweb12/DiskB:52343021documents(2To)CrawlduWeb
2013:133sessions/49topics2014:1021sessions/51topics
Partopic(etnonparsession)2013:poolforméde10documentsparsessionparparecipantpourles87premièressessions2014:poolforméde10documentsparsessionparparecipantpourles100premièressessions
Mesures:MAPetPrécision@10
Exempledesession<sessionnum="816"star{me="0"userid="15"><topicnum="7"><desc>In2000,theRussiannuclearsubmarineKursksankintheBarentsSea.Youwanttotrytounderstand:Howdidthepoliecal
climateinRussiaattheemecontributetotheaccidentandexarcerbateitseffects?FindwebpagesthatexplainhowthesinkingrelatedtoRussianpoliecs.</desc>
</topic><interaceonnum="1"star{me="10.8634"type="reformulate"><query>submarineKursk</query><results><resultrank="1"><url>hip://www.ecketsofrussia.com/kursk/</url><clueweb12id>clueweb12-0602wb-58-13090</clueweb12id><etle>\"KURSK\"Li�ingOperaeon:Dossier-TicketsOfRUSSIA.ru</etle><snippet>KURSK\"Li�ingOperaeon:Dossier-TicketsOfRUSSIA.ruPresidentPuenSt.PeterburglivecamsWhiteNights2011
SEARCHHOME...ABOUTRUSSIA|VISAS|GOVERNMENT|...</snippet></result><resultrank="2"><url>hip://www.monacorarecoins.com/rare-coin-arecles/kursk/</url><clueweb12id>clueweb12-1514wb-38-18607</clueweb12id><etle>KurskSubmarine-KurskRussianSubmarine-KurskSubmarineTragedy</etle><snippet>KurskSubmarine-KurskRussianSubmarine-KurskSubmarineTragedy1-888-900-9948HomeInsidersTopPicksNew
CustomerOffersRareCoin...OffersRareCoinNewsRareGoldCoinsRareSilverCoinsAboutMonacoRareCoinAreclesKurskTheSinkingoftheKurskisoneofthetragediesintheRussianNavyserviceinAugustof2000.The...</snippet>
</result>…<clicked><clicknum="1"star{me="12.8501"endeme="20.5697"><rank>2</rank><docno>clueweb12-1514wb-38-18607</docno></click></clicked></interaceon>
29
Uneinteraceon=10documentsrésultats+clicséventuels
Topic
<interaceonnum="2"star{me="20.5697"type="reformulate"><query>submarineKurskRussia</query><results><resultrank="1"><url>hip://soviet-uniforms.com/items/awards/_36/36.html</url><clueweb12id>clueweb12-0007wb-41-26901</clueweb12id><etle>RussianSubmarineKURSKincidentcommemoraevebadge,bySoviet-uniforms.com-ThebestSovietandRussianmilitaria
andmemorabiliaavailable!</etle><snippet>RussianSubmarineKURSKincidentcommemoraevebadge,bySoviet-uniforms.com-ThebestSovietandRussian
militariaandmemorabiliaavailable!Index|About|FAQ|...</snippet></result><resultrank="2"><url>hip://history1900s.about.com/od/1990s/qt/Kursk.htm</url><clueweb12id>clueweb12-0006wb-46-05036</clueweb12id><etle>Kursk-TheRussianSubmarineThatSankintheBarentsSea</etle><snippet>Kursk-TheRussianSubmarineThatSankintheBarentsSeaAbout.comEducaeon20thCenturyHistory20thCentury
History...byDecadeShareFree20thCenturyHistory...</snippet></result><resultrank="3"><url>hip://www.cast.ru/eng/journal/</url><clueweb12id>clueweb12-0100wb-83-14522</clueweb12id><etle>CentreforAnalysisofStrategiesandTechnologies-</etle><snippet>...forAnalysisofStrategiesand</snippet></result>….</results><clicked><clicknum="1"star{me="25.4117"endeme="82.3282"><rank>2</rank><docno>clueweb12-0006wb-46-05036</docno></click></clicked></interaceon><currentquerystar{me="82.3282"><query>submarineKurskRussiapoliecs</query></currentquery></session>
30
Requêtepourlaquelleilfautrenvoyerdesrésultats
Untopiccorrespondpoteneellementàplusieurssessions.Lesrésultatsdoiventêtrerenvoyéspourchaquecurrentquerydechaquesession
Avotredisposieon
31
Vous OrdinateurdeBenjamin IndexduDiskBde
laClueWeb12(Indri)
Requête
Résultats(Indri)
<IDDocument>
Contenu+contenupretraite
API
???
1191sessionsderechercheavecrequêtedetestassociée(78topics:60d’apprenessage+18detest)
Fichierdeqrels
Oueld’éva-luaeon Wordembeddings
BibliothèquePythond’apprenessage
Correspondantau60topicsd’apprenessage
Afaire
32
VousOrdinateurdeBenjamin IndexduDiskBde
laClueWeb12
Requête
Résultats
?
Pourlessessionscorrespondantaux18topicsdetest
Unsystèmeinteracef
d2 d5 d7 d3
d8 d11 d23 d2
…
…
Runs
Leaderboard
• Cequevousn’avezpasledroitd’ueliser– LesjugementsdeperenencedesrequêtesueliséespourleLeaderBoard
– Ladescripeondestopicsassociésàchaquesession
• Cequevousavezledroitd’ueliser– Touteslesinformaeonsd’interaceonsdufichierdesession• C’estàdirepouruntopicdonnépoteneellementtouteslessessionscorrespondantes
– Toutcequipeutencouragervotrecréaevité☺
33
Quelquesexemplesdeprototypesquiontmarquélesédieons
précédentes:-)
34
Cuisine3.0
• Apprenessageetrecommandaeond’untrèsgrandnombred’items
• Réflexionsurlesnouvellesinterfacesuelisateuretlanaturedelaréponse
• Problèmed’évaluaeon
35
Cuisine3.0
• Apprenessage– Combienya-t’ildecaloriesdansceplat?
36
SériesTV
Sij’étaisvousjeneregarderaispascequisuit…
37
SériesTV
38