NLP & DEEP LEARNING · 2026
Named Entity Recognition: BiLSTM vs DistilBERT
Confronto sperimentale tra una BiLSTM e DistilBERT per riconoscere entità nominate nel testo, con risultati, test automatici e limiti metodologici documentati.
ESPLORA IL CODICE SU GITHUB ↗01 / IL PROBLEMA
Come riconoscere le entità in una frase?
La Named Entity Recognition (NER) identifica nel testo entità come persone, luoghi e organizzazioni. È un problema di classificazione sequenziale: il modello deve capire sia quali parole appartengono a un'entità sia di quale tipo si tratta.
MariaPER lavora a MilanoLOC per OpenAIORG.
Il modello assegna etichette alle parti della frase, distinguendo persone (PER), luoghi (LOC) e organizzazioni (ORG).
02 / DATASET E METODO
Due approcci alla stessa sfida.
Il confronto utilizza i dati CoNLL-2003 e due modelli di token classification. La BiLSTM è una baseline sequenziale; DistilBERT sfrutta invece un encoder Transformer preaddestrato.
BiLSTM
Rete ricorrente bidirezionale a 2 livelli, con embedding inizializzati casualmente.
- Epoche
- 10
- Learning rate
- 5 × 10⁻⁴
- Batch size
- 32
DistilBERT
Encoder distilbert-base-cased preaddestrato, con testa di classificazione.
- Epoche
- 3
- Learning rate
- 1 × 10⁻⁵
- Batch size
- 32
Entrambi gli esperimenti registrati utilizzano seed 42 e GPU Tesla T4. Il confronto include anche l'effetto del preaddestramento di DistilBERT: non isola la sola architettura.
03 / RISULTATI SPERIMENTALI
DistilBERT supera la baseline nelle metriche registrate.
Confronto sul test set della nuova esecuzione completa su Colab. Le barre partono da zero per mostrare le differenze senza amplificarle visivamente.
Entity F1
Precision
Recall
Token accuracy
Il vantaggio maggiore emerge nel riconoscimento delle entità: 85,78% di Entity F1 contro 69,94%, pari a +15,84 punti percentuali. L'accuracy sui token è più alta per entrambi i modelli, ma da sola non descrive altrettanto bene la qualità delle entità individuate.
04 / DINAMICA DI ADDESTRAMENTO
Come evolve la validation loss?
Queste curve utilizzano i valori realmente registrati dopo ogni epoca. Sono presentate separatamente perché i due modelli sono stati addestrati per un numero diverso di epoche.
Validation loss finale: 0.1888
Validation loss finale: 0.0757
Per la BiLSTM la validation loss raggiunge il minimo all'epoca 7 (circa 0,1745) e poi oscilla, mentre la training loss continua a diminuire. Per DistilBERT la validation loss diminuisce in tutte e tre le epoche registrate. Sono osservazioni su queste singole esecuzioni, non prove generali di superiorità.
05 / INTERPRETAZIONE E LIMITI
Una buona analisi racconta anche cosa non dimostrano i risultati.
Protocollo di valutazione
Lo scoring usa etichette BIO espanse ai subword: i valori non sono direttamente confrontabili con il benchmark CoNLL word-level canonico.
Confronto non isolato
DistilBERT parte da pesi preaddestrati, mentre gli embedding BiLSTM sono inizializzati casualmente.
Singola esecuzione
È registrata una sola esecuzione completa per modello, senza intervalli di incertezza ottenuti da seed ripetuti.
Riproducibilità e dati
Il dataset originale non è redistribuito; il notebook finale non è stato rieseguito integralmente in un nuovo ambiente Colab. L'audit documenta anche sovrapposizioni tra split.
IN SINTESI
Il valore del progetto è nel confronto, non soltanto nel punteggio.
Il lavoro mostra un flusso sperimentale completo: preparazione dei dati, implementazione e addestramento di modelli diversi, valutazione, interpretazione dei risultati e documentazione dei limiti. I risultati favoriscono DistilBERT nelle condizioni studiate, senza dimostrare che il Transformer sia sempre la scelta migliore.
ESPLORA IL LAVORO
Dal case study al codice.
Repository pubblico con implementazione, test, risultati aggregati, metodologia e istruzioni di riproduzione.