\n Un supplemento al thesaurus specifico a un certo testo: aggiunge ad ogni token
\n La radice del thesaurus ha sempre probabilità
\n Una misura probabilistica di quanto un certo token
\n È anche detta sorpresa o informazione di Shannon.\n
\n\n Un albero di token organizzati in una gerarchia di significato.\n
\n\n Una struttura dati che permette di velocizzare le ricerche su testi grandi e semi-statici.\n
\n \n\n Si crea un vocabolario dall'insieme dei token, e ad ogni token del vocabolario si associa una lista di tutte le sue occorrenze (posting list).\n
\n\n L'efficacia ed efficienza dell'indice dipendono dalle strutture di indicizzazione utilizzate per serializzarlo.\n
\n\n Struttura per rappresentare il vocabolario basata su un array di puntatori alle posting list.\n
\n{r`\n ciao → R1, R15, R123\n steffo → R1, R14\n ciano → R1231\n `}\n \n Struttura per rappresentare il vocabolario basata su un albero dei prefissi dei token,:\n
\n{r`\n - [root]\n - c\n - i\n - a\n - o\n - R1\n - R15\n - R123\n - no\n - R1231\n - steffo\n - R1\n - R14\n `}\n \n Struttura per rappresentare il vocabolario che occupa più spazio di un albero ma permette di effettuare certe operazioni più velocemente.\n
\n\n In base alla struttura utilizzata, potrebbe non essere sempre possibile effettuare il terzo passo.\n
\n\n Una procedura che ottimizza un documento per la ricerca.\n
\n\n Passo che trasforma il documento in un insieme di parole (token).\n
\n\n Deve decidere come considerare i simboli tipografici, il case delle lettere e le cifre.\n
\n\n Inoltre, è possibile che disambigui tra i vari significati delle parole (word sense disambiguation).\n
\n\n Passo che elimina dalla lista i token inutili ai fini delle ricerche.\n
\n\n Esse solitamente sono gli articoli e le preposizioni.\n
\n\n Passo che riduce alla radice tutti i token della lista.\n
\n\n Converte i plurali in singolari, passati ai presenti, e così via.\n
\n\n Passo che seleziona i termini più importanti della lista.\n
\n\n Generalmente sfrutta dei parser o dei tagger.\n
\n \n \n\n Passo che classifica il documento in una o più categorie del thesaurus.\n
\n \n\n synonymy\n\n
\n Due parole sono sinonimi quando hanno lo stesso identico significato.\n
\n\n similarity\n\n
\n Due parole sono simili rappresentano concetti con caratteristiche in comune.\n
\n\n relatedness\n\n
\n Due parole sono correlate quando rappresentano concetti vengono usati insieme spesso.\n
\n\n Un modo per misurare la somiglianza tra due parole confrontando solo la loro posizione nel thesaurus.\n
\n\n Calcola la similarità basandosi sull'inverso della distanza tra le due parole
\n Calcola la similarità basandosi sulla profondità dei due nodi e sulla profondità del minimo antenato comune
\n Un modo per misurare la similarità tra due parole attraverso i loro valori di information content.\n
\n\n Calcola la similarità basandosi sull'information content del minimo antenato comune
\n Questa sezione è incompleta. Torna più avanti!\n
\n {props.children}\n\n Procedura che disambigua tra più significati dello stesso token.\n
\n\n Si può realizzare confrontando la somiglianza di ogni significato con tutti gli altri nomi presenti nella frase.\n
\n\n Processo di raccolta e recupero approssimato di informazioni spesso non strutturate.\n
\n\n Riceve in input una query, elabora documenti e restituisce una risposta più rilevante possibile.\n
\n\n Un'applicazione che effettua IR si chiama motore di ricerca.\n
\n\n Modelli matematici che ordinano per rilevanza (ranking) i risultati di una query.\n
\n\n Formalmente, sono composti da:\n
\n\n Modello IR che rappresenta ogni documento come un insieme ordinato di parole chiave (index terms).\n
\n\n Associa un peso a ogni token, e ordina l'insieme in base a quel peso.\n
\n\n Generalmente, i pesi sono indipendenti uno dall'altro, e questo permette di calcolarli parallelamente.\n
\n\n Bag-of-words: L'ordine delle parole nel documento viene solitamente ignorato dal ranking.\n
\ngrep è a tutti gli effetti un modello booleano.\n \n Modello IR classico che dà un peso booleano a ogni documento:
\n Ha una precisione perfetta, ma richiede query ben preparate e specifiche.\n
\n\n È anche facile da implementare.\n
\n\n Modello IR in cui ogni caratteristica di un documento è rappresentata con un valore floating point e l'intero documento è quindi rappresentato da una n-pla di tutte le sue caratteristiche.\n
\n\n Similarità cosinusoidale: il ranking si basa sull'angolo tra il \"vettore query\" e il \"vettore documento\":\n
\n\n Spesso si associa un peso a ogni dimensione in modo da variare l'importanza di una data caratteristica; comunemente, per i testi, si usano come pesi le frequenza dei token normalizzate (df) o logaritmiche (idf).\n
\n\n Come il modello classico, ignora l'ordine delle parole.\n
\n\n Modello IR che effettua il ranking in base alla probabilità di comparsa dei termini della query nei documenti.\n
\n\n Si basa sul calcolare un peso
\n Ci sarebbe una dimostrazione complessa che ho omesso per brevità.\n
\n\n Estensione del modello booleano che ammette la possibilità che certe condizioni siano parzialmente soddisfatte.\n
\n\n Invece che usare solo
\n Le operazioni booleane vengono quindi modificate:\n
\n\n Modello IR simile ai modelli classici che però tiene conto anche della frequenza dei termini nei documenti e della lunghezza dei documenti.\n
\n\n Permette anche di tenere in considerazione la frequenza dei termini nella query, nel caso essa sia molto lunga.\n
\n\n Ci sono formule che ho omesso per brevità.\n
\n\n La richiesta di informazioni effettuata da un utente in linguaggio naturale.\n
\n\n La traduzione dell'UIN in un linguaggio specifico al motore di ricerca.\n
\n\n La complessità di questo linguaggio dipende dall'utilizzatore del motore di ricerca: il suo livello di esperienza, il suo background di conoscenze e il livello di approfondimento desiderato.\n
\n\n Definisce parole chiave da cercare all'interno dei documenti.\n
\n\n In esse, è possibile cercare molteplici parole chiave, concatenarle per formare una frase oppure cercare parole a una data prossimità l'una dall'altra.\n
\n\n Spesso processa il linguaggio naturale per trasformarne le parole specifiche in parole chiave più generiche.\n
\n\n Definisce parti di testo da cercare all'interno dei documenti.\n
\n\n Permettono dunque la ricerca di prefissi, suffissi, sottostringhe e intervalli.\n
\n\n Estendono gli altri tipi di query permettendo l'inserimento di operatori booleani (AND, OR e NOT) tra le parole chiave.\n
\n Permettono di effettuare i precedenti tipi di query su specifiche parti della struttura dei documenti.\n
\n\n Limitano le keyword a un vocabolario predefinito utilizzato anche dai documenti.\n
\n\n Puoi scaricare le videolezioni di Gestione dell'informazione con bbbdl:\n
\n\n bbbdl sync -r https://raw.githubusercontent.com/Steffo99/unimoreinfo-wiki/main/gestionedellinformazione.json\n \n \n La frazione dei documenti rilevanti totali restituita:\n
\n\n La frazione dei documenti restituiti che sono rilevanti:\n
\n\n Si effettuano test e si valutano precisione e richiamo ottenuti.\n
\n \n\n Il modello IR ideale ha valori di richiamo e precisione di 1, ma nella realtà questi valori tendono ad essere inversamente proporzionali.\n
\n\n Si fissano un certo numero di livelli di richiamo desiderati e si misura la precisione che ha il modello in quei punti, creando una curva di richiamo standard.\n
\n\n È possibile ottenere una curva di richiamo interpolata prendendo per ogni punto il valore di massima precisione tra esso e i punti precedenti.\n
\n\n È possibile misurare la curva di richiamo media effettuando la media su più query dei vari valori, e la curva di richiamo a valore singolo effettuando una query sola.\n
\n\n Sono entrambe importanti per effettuare una valutazione, perchè la curva media potrebbe mascherare problemi di specifiche query nei modelli.\n
\n