Da cosa dipende la difficoltà di un test?
Di seguito parliamo di test con un numero di posti limitato, dando per scontato che tutti facciano il punteggio minimo previsto per entrare in graduatoria, e che per entrare non sia sufficiente superare un punteggio soglia, ma serva fare più punti degli altri. Per semplificare farò anche finta che sia impossibile fare lo stesso punteggio di un altro candidato, e che quindi non serva l'intervento di altri criteri con funzione di spareggio
LIVELLO 0: IL PROGRAMMA
Il livello 0 è pensare che la difficoltà di un test dipenda da cosa è scritto nel programma. Questo è FALSO. Spesso sullo stesso argomento è possibile fare domande molto facili o molto difficili. Sapere il programma non aiuta a capire quale sarà la difficoltà dei quesiti.
Ma non solo! Sapere il programma non aiuta molto neanche a capire cosa studiare. E' molto diverso prepararsi per fare dei quesiti di algebra facili o difficili
LIVELLO 1: LA DIFFICOLTA' DEI QUESITI
Il livello 1 è pensare che la difficoltà di un test dipenda dalla difficoltà dei quesiti. Anche questo è FALSO. Se mettiamo quesiti facilissimi questo non rende più facile entrare, perché bisogna fare più punti degli altri.
In realtà tuttavia sapere la difficoltà dei quesiti aiuta a mirare la propria preparazione. E' meglio passare un pomeriggio a fare 1000 quesiti facilissimi o 5 quesiti difficilissimi o una via di mezzo? Dipende dal tipo di quesiti che vengono presentati al test.
LIVELLO 1,1: LA DIFFICOLTA' DEI QUESITI E LE REGOLE DEL TEST
Nel livello 1,1 ci si rende conto che oltre ai quesiti contano le regole generali del test: ad esempio quante alternative ci sono, e quanto è il tempo disponibile.
Questi fattori hanno delle conseguenze su ciò che viene effettivamente valutato da un test. Ma ancora non ci siamo. Ci sono fattori molto più importanti che determinano se un test è "facile" o "difficile".
LIVELLO 2: IL RAPPORTO TRA CANDIDATI E POSTI DISPONIBILI
Il livello 2 consiste nel pensare che la difficoltà di un test dipenda dal rapporto tra il numero di candidati e il numero di posti disponibili. Pensare questo mostra un livello di consapevolezza maggiore dei livelli 0 e 1, ma... anche questo è FALSO. Ragioniamo insieme. Il rapporto tra il numero di candidati e il numero di posti disponibili da informazioni utilissime, perché è molto diverso fare un test dove ci sono 10.000 candidati e 100 posti, o fare un test con 10.000 candidati e 5.000 posti. Nel primo caso entra 1 su 100, nel secondo entra 1 su 2. Ma ci sono altri fattori da considerare…
LIVELLO 2,5: IL RAPPORTO TRA CANDIDATI NON RINUNCIATARI E POSTI DISPONIBILI
Il livello 2,5 permette di riconoscere che alcune graduatorie possono scorrere molto più di altre. Mettiamo due test con 10.000 candidati e 100 posti. Nel primo test i primi 100 si iscrivono subito; nel secondo dei primi 100 si iscrivono solo 50, che lasciano quindi il posto ai successivi 50. Allora nel primo test per entrare bisognava posizionarsi 100°, mentre nel secondo bastava posizionarsi 150°.
Il livello 2,5 considera questa "correzione" rispetto il livello 2. Ma ancora non basta…
LIVELLO 3: LA CULTURA DIFFUSA TRA I CANDIDATI AL TEST
Il livello 3 considera ancora più informazioni per sapere quanto è difficile entrare in un test. Voglio fare un altro esempio. Mettiamo due test, entrambi con 10.000 candidati e 100 posti disponibili; mettiamo anche che siano tutti candidati che non rinuciano nel caso in cui entrino. Quindi, in entrambi i casi, per entrare è necessario almeno posizionarsi 100°. È un po' come dire che per entrare bisogna fare meglio del 100° candidato più competitivo, dove per competitivo intendo l'effettiva performance del giorno del test – il punteggio fatto.
Mettiamo però che nel primo test, il 100° candidato più competitivo sia uno che non si prepara molto, non ha molto talento nelle materie di test, e fa un punteggio basso. Invece nel secondo test i candidati tendono a essere persone già competenti nelle materie e che si impegnano, e il 100° candidato più competitivo è una persona portata per le materie del test, che si è impegnato, e che ha seguito le strategie più funzionali per questo test. Allora entrare nel secondo caso sarà molto più difficile!
Questa ipotesi non è del tutto campata in aria, ad esempio dopo aver analizzato i punteggi del test 2024 ho visto un dato strano riguardo il rapporto tra numero di candidati e punteggio minimo per quanto riguardava Medicina, Odontoiatria e Veterinaria: Veterinaria aveva più candidati di Odontoiatria, ma un punteggio minimo inferiore (vedi questo video da 15:10 in poi).
Devo dire che non ricordo con quale criterio ho discriminato tra i candidati a Medicina e quelli a Odontoiatria quando ho fatto questa analisi. Comunque, con le dovute ipotesi, una possibile spiegazione di questo fenomeno è semplicemente che tra i candidati di Veterinaria vi sia una "cultura" della preparazione ai test meno intensa che tra i candidati a Odontoiatria.