Osservatorio per la valutazione del sistema universitario

Gruppo di ricerca
Sperimentazione di sistemi computer assisted per la rilevazione della valutazione
della didattica universitaria da parte degli studenti e dell’inserimento lavorativo
e professionale dei laureati e dei diplomati
 

Premessa

La rilevazione della valutazione della didattica universitaria da parte degli studenti e la rilevazione dell’inserimento lavorativo e professionale dei laureati e dei diplomati hanno assunto importanza crescente per le necessarie verifiche dei processi formativi attivati dalle università e dei risultati da essi conseguiti, anche riguardo al mercato del lavoro. Ciò é richiesto anche per riuscire a “governare” adeguatamente il processo di autonomia didattica delle università, tanto che, secondo la recente legge 370/99, tali attività dovranno essere svolte in modo routinario da parte degli atenei. In relazione agli obiettivi di valutazione del sistema universitario nel suo complesso, l’Osservatorio ritiene indispensabile che, con riguardo ai due temi menzionati, le informazioni da rilevare e i metodi di raccolta delle informazioni da parte delle università siano sufficientemente omogenei su tutto il territorio nazionale. A questo fine è necessario effettuare esperimenti che consentano di verificare la validità dei questionari prescelti nonché i criteri di rilevazione alternativi tramite l’impiego di sistemi computer assisted (quindi con questionari elettronici), in modo da identificare quelli da preferire. L’Osservatorio ha perciò deciso di attivare un Gruppo di Ricerca cui affidare gli esperimenti da svolgere secondo il programma di ricerca di seguito specificato.Pur trattandosi di due diversi tipi di rilevazioni e di sperimentazioni quanto ai soggetti da coinvolgere (studenti e laureati o diplomati) e all’oggetto (attività didattica e inserimento nel mercato del lavoro), l’Osservatorio ritiene opportuno costituire un unico Gruppo di ricerca per entrambe le rilevazioni sperimentali poiché esse sono in parte simili, almeno per quanto riguarda gli aspetti dei programmi informatici per la implementazione e verifica dei questionari elettronici e per i metodi di rilevazione computer assisted da sperimentare, e, comunque, ciò conviene anche per assicurare il necessario coordinamento e la integrazione tra gli esperimenti nonché per usufruire delle possibili economie di scala.Costatato che è attivo un gruppo di ricerca finanziato dal programma nazionale Murst (ex-40%) coordinato dal prof. Luigi Fabbris dell’Università di Padova che sta studiando lo stesso tipo di problematiche, e quindi ha elevate competenze scientifiche e tecniche per svolgere gli esperimenti che interessano, l’Osservatorio ha deciso di rivolgersi al prof. Fabbris e ai suoi colleghi per affidargli l’incarico di ricerca.Gli esperimenti saranno svolti contemporaneamente presso le Università di Padova e Firenze dove sono attivi due gruppi locali con centri CATI (Computer Assisted Telephone Interviewing), rispettivamente presso il Dipartimento di Scienze Statistiche di Padova e presso il Dipartimento di Statistica “Giuseppe Parenti” di Firenze.In realtà il menzionato gruppo di ricerca nazionale ex-40% comprende anche altre due unità locali presso le Università di Milano-Bicocca e Napoli Federico II. In questa fase iniziale degli esperimenti si é però ritenuto opportuno coinvolgere soltanto le due unità di Padova e Firenze poiché si trovano ad uno stadio più avanzato in termini di rilevazioni tramite CATI. Tuttavia, in una fase successiva della sperimentazione l’Osservatorio valuterà la possibilità di far fare gli esperimenti anche presso altre sedi universitarie dove già vengono svolte rilevazioni tramite sistemi computer assisted sugli argomenti di interesse in questa ricerca.
 

Obiettivi delle sperimentazioni e fasi della ricerca

Gli obiettivi di carattere generale da conseguire con le sperimentazioni sono i seguenti:
1. Con riguardo alla valutazione della didattica da parte degli studenti:
(a) definire su base sperimentale la validità dei contenuti di un questionario elettronico di base e di eventuali varianti (il questionario base sarà quello definito da un precedente gruppo di ricerca dell’Osservatorio);
(b) definire sperimentalmente i criteri di rilevazione delle valutazioni espresse dagli studenti; i criteri dovranno garantire l’anonimato delle risposte e la possibilità di collegamento longitudinale delle valutazioni individuali.
2. Con riguardo all’inserimento lavorativo e professionale dei laureati e dei diplomati:
(a) definire su base sperimentale la validità dei contenuti di un questionario elettronico di base e di eventuali varianti per la valutazione longitudinale, ossia, per la misura delle variazioni nel tempo, dell’inserimento lavorativo e dell’evoluzione professionale di laureati e diplomati universitari (il questionario base sarà quello impiegato nelle rilevazioni sull’inserimento professionale effettuate nell’ambito del progetto AlmaLaurea);
(b) definire sperimentalmente criteri di sollecito della collaborazione all’indagine di neo-laureati e neo-diplomati per ottimizzare un sistema di rilevazione computer assisted a cadenze regolari del loro inserimento lavorativo e dei cambiamenti professionali in coloro che si sono inseriti.
Per la realizzazione dei suddetti obiettivi è necessario:
- progettare gli esperimenti (tipo di rilevazioni e organizzazione dei singoli esperimenti);
- predisporre il programma informatizzato dei questionari (che in ogni caso deve essere in grado di eseguire controlli in linea sulla coerenza interna delle risposte e di preparare la base di dati per le analisi statistiche);
- organizzare e svolgere le previste indagini statistiche ed esperimenti su popolazioni mirate;
- valutare l’esito degli esperimenti;
- descrivere gli esperimenti ed illustrare dettagliatamente i risultati conseguiti, in appositi rapporti di ricerca.
 

Organizzazione degli esperimenti ed attività previste
Ovviamente gli esperimenti saranno organizzati distintamente per i due tipi di rilevazioni nel modo appresso specificato.
I. Rilevazione della valutazione della didattica da parte degli studenti
Gli esperimenti saranno effettuati impiegando due metodi di rilevazione assistita da computer: di tipo CASI (Computer Assisted Self-Interviewing) e di tipo CATI (Computer Assisted Telephone Interviewing).
I.1. Rilevazione tramite CASI
 La rilevazione sarà svolta verso la fine del mese di maggio 2000, in prossimità della fine delle lezioni. Da essa saranno esclusi gli studenti che saranno sottoposti alla rilevazione CATI (v. oltre).  La rilevazione dovrà essere svolta in modo da non duplicare iniziative già attive a livello dei due atenei di Padova e di Firenze. Gli studenti delle facoltà designate saranno invitati per posta ad esprimere i propri giudizi recandosi in facoltà dove compileranno un questionario elettronico su PC appositamente installato in un luogo protetto dentro le singole facoltà. Ad ogni studente verrà assegnato un codice identificativo (PIN) che rimane fisso nel tempo al fine di permettere il collegamento delle valutazioni individuali in senso longitudinale, pur mantenendo l’anonimato del record. In questo caso il programma di informatizzazione del questionario dovrà essere in grado anche di controllare l’ammissibilità del codice identificativo dello studente.
  Gli esperimenti consisteranno in:
- prova di due versioni alternative di questionario presso sottinsiemi casualmente determinati di studenti. La versione da testare è quella di base definita dall’Osservatorio che contiene quesiti di valutazione dei corsi e dei docenti di cui valutare aspetti della didattica. L’esperimento mirerà a valutare la proponibilità di un questionario contenente anche queste valutazioni in rapporto a un questionario comprendente solo valutazioni generali sulla facoltà e sui servizi didattici e suggerimenti sul modo di migliorare la didattica. I quesiti da aggiungere al questionario di base dovranno essere collegati alle esperienze in corso presso l’Osservatorio.
- prova di due criteri di generazione del codice identificativo dello studente. Un criterio sarà basato su codici segreti inviati per posta al singolo studente e quello alternativo sarà basato su un codice generato (con regole minimali) dallo studente durante la rilevazione e da tenere a memoria per essere riutilizzato in successive occasioni di rilevazione.
- valutazione della possibilità di far usare, dopo il ritiro del PIN, un qualunque PC della Facoltà o un PC disponibile allo studente collegati in Intranet o Internet.
 I.2. Rilevazione campionaria tramite CATI
  La rilevazione sarà svolta per via telefonica su un campione di studenti con un sistema CATI utilizzando la versione elettronica di questionari alternativi. In questo caso il programma informatico dovrà essere in grado anche di organizzare le chiamate secondo un piano “ottimo” in funzione delle probabilità di contatto degli studenti designati. Le interviste saranno svolte presso i centri CATI del Dipartimento di Scienze Statistiche di Padova e presso il Dipartimento di Statistica “Giuseppe Parenti” di Firenze. Le interviste saranno complessivamente circa 800.
  Gli esperimenti consisteranno in:
- prova di versioni alternative del questionario presso sottinsiemi casualmente determinati di studenti al fine di valutare eventuali differenze con l’analogo esperimento CASI. Le versioni alternative di questionario utilizzate saranno le stesse nei due tipi di metodi di rilevazione. Giustapponendo gli esiti di questo esperimento con quelli ottenuti con il sistema CASI si potrà valutare statisticamente l’esistenza di interazione tra i contenuti della rilevazione e le modalità di raccolta dei dati (con o senza l’intermediazione dell’intervistatore) e si potrà, quindi, inferire sull’ottimalità di un sistema di rilevazione in funzione del contenuto del questionario;
- prova di diversi criteri di contatto del campione di studenti per valutare le modalità più appropriate di approccio allo studente stesso. Un esperimento potrà riguardare quesiti alternativi di stimolo dell’interesse dello studente a collaborare all’indagine e a partecipare con suggerimenti pregnanti allo sviluppo della didattica nella Facoltà. Un secondo esperimento potrà riguardare la proposta di quesiti per la rilevazione di informazioni ausiliarie o sostitutive presso lo stesso studente qualora questi eviti di rispondere o dia risposte elusive.
II. Rilevazione dell’inserimento lavorativo e professionale dei laureati e dei diplomati
Gli esperimenti saranno effettuati attraverso tre rilevazioni assistite da computer: la prima riguardante la situazione lavorativa dei laureandi e diplomandi e le altre due sull’inserimento lavorativo dei laureati e diplomati svolte, rispettivamente, tramite i sistemi WEB-CASI e IDTV-CASI ed il sistema CATI. Come si è detto, il questionario base da utilizzare per i vari esperimenti sarà quello impiegato nelle rilevazioni sull’inserimento professionale effettuate nell’ambito del progetto AlmaLaurea;
II.1. Rilevazione della situazione lavorativa dei laureandi e diplomandi
 La rilevazione sarà svolta presso le segreterie universitarie quando gli studenti si presentano per la richiesta di ammissione alla sessione di laurea/diploma. La prima rilevazione può avvenire nel mese di febbraio 2000 e proseguire per tutto il periodo utile alla ricerca, ossia fino alla sessione estiva del 2000. Gli studenti delle facoltà designate saranno invitati dal personale appositamente addestrato ad esprimere il proprio status su un questionario elettronico su PC appositamente installato in un luogo protetto. Verrà data garanzia della segretezza delle risposte che lo studente darà.  Il questionario mirerà a descrivere, oltre alle caratteristiche demografico-sociali dello studente e della sua famiglia, le esperienze lavorative pregresse, o in corso, il curriculum universitario e pre-universitario e i servizi utilizzati durante gli studi universitari.
  In questa fase l’esperimento consisterà in:
- prova di versioni alternative del questionario presso sottinsiemi casualmente determinati di laureandi/diplomandi. I differenti questionari compariranno sullo schermo, agli studenti, in modo programmato. Si farà in modo da rendere equivalenti dal punto di vista campionario i sottinsiemi di studenti che li compileranno. Le versioni alternative dei questionari riguarderanno quesiti sui lavori svolti, sulle esperienze di apprendimento e sui servizi fruiti durante gli studi universitari.
II.2. Rilevazione longitudinale dell’inserimento lavorativo dei laureati e diplomati tramite sistemi WEB-CASI e IDTV-CASI
 La rilevazione riguarderà un campione di laureati e diplomati delle sessioni dal febbraio al luglio del 2000 che hanno risposto al questionario autocompilato presso le segreterie universitarie di cui al punto II.1. La rilevazione sarà svolta sei mesi dopo il conseguimento del titolo, ossia a partire dal mese di luglio 2000 fino a gennaio 2001. I laureati/diplomati delle facoltà designate saranno invitati per posta o per telefono ad esprimere il proprio status e i propri giudizi compilando da posizione remota un questionario elettronico. In questo caso, il programma di informatizzazione del questionario deve essere anche in grado di controllare l’unicità del codice identificativo dell’interpellato (ossia, che non abbia già risposto) e di preparare la base di dati per le analisi statistiche collegando questa rilevazione con quella avvenuta presso le segreterie.
 L’insieme dei dati rilevati al tempo del conseguimento del titolo costituirà la base delle “schermate dinamiche”, ossia della serie di dati “statici” o “prevedibili” che si chiederà al laureato/diplomato di confermare o modificare.
  Gli esperimenti consisteranno in:
- prova di versioni alternative del questionario presso sottinsiemi casualmente determinati di laureati/diplomati. Le versioni alternative riguarderanno quesiti sulla ricerca di occupazione, sui lavori svolti, sui redditi da lavoro, sulle valutazioni a distanza di tempo della didattica ricevuta e sulle necessità formative della professione esercitata. Si potrà anche verificare la proponibilità in questionari CASI di valutazioni sui singoli corsi seguiti.
- prova di due criteri di contatto del campione di laureati/diplomati per valutare:
(a) la possibilità d’impiego sulla popolazione dei laureati/diplomati italiani del criterio di rilevazione CASI basato su Internet (WEB-CASI). Questo criterio consiste nel porre il questionario in un sito Internet e nel dare la chiave di accesso ai rispondenti designati, i quali rispondono direttamente ai quesiti che compaiono sullo schermo del loro PC. Per realizzare l’esperimento con Internet è necessario creare il questionario interattivo su un sito web ad hoc. All’interno di questo esperimento si potrà anche valutare la probabilità di successo dei solleciti a rispondere basati su un messaggio interattivo trasmesso per telefono rispetto al normale sollecito telefonico realizzato da un addetto.
(b) la possibilità d’impiego del criterio di rilevazione CASI basato sul Televideo interattivo (IDTV). Il criterio consiste nel porre il questionario in una pagina di Televideo e nel dare la chiave di accesso ai rispondenti designati, i quali rispondono da casa ai quesiti che compaiono sullo schermo televisivo utilizzando la tastiera del telefono. Per realizzare l’esperimento con il Televideo è necessario abbonarsi con l’emittente e predisporre un questionario elettronico ad hoc. All’interno di questo esperimento si potrà anche valutare la probabilità di successo dei solleciti a rispondere basati su un messaggio interattivo registrato e trasmesso per telefono rispetto al normale sollecito telefonico realizzato da un addetto.
II.3. Rilevazione campionaria longitudinale dell’inserimento lavorativo dei laureati e diplomati tramite sistema CATI
 La rilevazione riguarderà un campione di laureati/diplomati delle sessioni dal febbraio al luglio del 2000 che hanno risposto al questionario autocompilato presso le segreterie universitarie di cui al punto II.1. La rilevazione sarà svolta sei mesi dopo il conseguimento del titolo, ossia a partire dal mese di luglio 2000 fino a gennaio 2001. Le rilevazioni riguarderanno, comunque, sessioni di laurea e diploma non coperte dal progetto AlmaLaurea. I laureati/diplomati delle facoltà designate saranno invitati per posta a collaborare all’indagine che sarà svolta per via telefonica con un sistema CATI. In questo caso, il programma di informatizzazione del questionario deve essere in grado anche di controllare l’unicità del codice identificativo dell’interpellato (ossia, che non abbia già risposto) e di effettuare l’ordinamento delle chiamate (scheduling) in una sequenza che massimizzi la probabilità di contatto dei laureati/diplomati designati. Le interviste saranno svolte presso i centri CATI del Dipartimento di Scienze Statistiche di Padova e presso il Dipartimento di Statistica “Giuseppe Parenti” di Firenze e, complessivamente, saranno circa 400.
   Gli esperimenti consisteranno in:
- prova di versioni alternative del questionario presso sottinsiemi casualmente determinati di laureati/diplomati per valutare eventuali differenze tra la rilevazione autosomministrata (di tipo CASI) e quella svolta tramite rilevatori (CATI). Le versioni alternative dei questionari saranno le stesse di quelle previste per le rilevazioni di cui al punto II.2.
- prova di diversi approcci al campione di laureati/diplomati per valutare le modalità più appropriate di approccio a distanza. Un esperimento potrà riguardare la proposta di quesiti per la rilevazione on line di informazioni ausiliarie o sostitutive presso il laureato/diplomato qualora questi eviti di rispondere o dia risposte elusive a quesiti cruciali. Un altro esperimento potrà riguardare l’effetto dell’offerta di un numero verde attraverso il quale gli interpellati possono comunicare gratuitamente con il Centro operativo al fine di ottenere informazioni tecniche e garanzie sulla utilizzazioni dei dati.

Risultati della ricerca

I risultati attesi dalla ricerca saranno:
1. i programmi informatizzati dei vari tipi di questionari utilizzati negli esperimenti di rilevazione;
2. i risultati delle rilevazioni e dei singoli esperimenti;
3. l’analisi dei risultati degli esperimenti;
4. i rapporti di ricerca specifici per gli esperimenti fatti per i due tipi di rilevazioni della valutazione della didattica da parte degli studenti e dell’inserimento lavorativo e professionale dei laureati e dei diplomati (di cui ai punti I e II del programma).
5. un rapporto generale sui risultati della ricerca.

Composizione del gruppo di ricerca ed utilizzazione dei risultati

Il gruppo di ricerca è composto dai seguenti esperti:
 

  • Luigi Fabbris, professore ordinario di Indagini campionarie e sondaggi demoscopici presso la Facoltà di Scienze Statistiche, Università di Padova, coordinatore generale del gruppo di ricerca e del sottogruppo di Padova (progettazione e coordinamento indagini ed esperimenti, analisi dei dati e redazione rapporti di ricerca),

  •  
  • Antonio Giusti, professore associato di Statistica presso la Facoltà di Economia, Università di Firenze, coordinatore del sottogruppo di Firenze (progettazione e coordinamento indagini ed esperimenti, analisi dei dati e redazione rapporti di ricerca),

  •  
  • Bruno Chiandotto, professore ordinario di Statistica presso la Facoltà di Economia, Università di Firenze, (collaborazione nella progettazione degli esperimenti, nella analisi dei dati e redazione di rapporti di ricerca),

  •  
  • Claudio Capiluppi, ricercatore confermato di Statistica sociale presso la Facoltà di Scienze Statistiche, Università di Padova, (attività di informatizzazione dei questionari e supervisione delle attività di rilevazione, creazione delle basi di dati per l’elaborazione statistica dei dati),

  •  
  • Matilde Bini, ricercatore di Statistica presso la Facoltà di Economia, Università di Firenze, (supervisione delle attività di rilevazione, elaborazione statistica dei dati e analisi dei risultati ottenuti),

  •  
  • Alessandra Petrucci, ricercatore di Statistica presso la Facoltà di Scienze Politiche, Università di Firenze, (attività di informatizzazione dei questionari, supervisione delle attività di rilevazione, creazione delle basi di dati per l’elaborazione statistica dei dati e analisi dei risultati ottenuti),

  •  
  • Cristina Martelli, ricercatore di Demografia presso la Facoltà di Economia, Università di Firenze, (attività di informatizzazione dei questionari WEB-CASI, supervisione delle attività di rilevazione, creazione delle basi di dati per l’elaborazione statistica dei dati e analisi dei risultati ottenuti),

  •  
  • Bruno Martinazzo, Diplomato in Statistica presso la Facoltà di Scienze Statistiche, Università di Padova, (attività di informatizzazione dei questionari IDTV-CASI e supervisione delle attività di rilevazione, creazione delle basi di dati per l’elaborazione statistica dei dati),

  •  
  • Maria Cristiana Martini, dottoranda di ricerca presso il Dipartimento di Scienze Statistiche, Università di Padova, (collaborazione alla progettazione degli esperimenti verbali per le rilevazioni CASI e CATI),

  •  
  • Gilda Rota, responsabile dell’Ufficio stage, Università di Padova, (coordinamento della rilevazione dei dati, degli invii postali e collaborazione alla stesura dei questionari).

  • Come è stato già detto, gli esperimenti saranno svolti contemporaneamente presso le Università di Padova e Firenze dove sono attivi due gruppi locali con centri CATI (Computer Assisted Telephone Interviewing), rispettivamente presso il Dipartimento di Scienze Statistiche di Padova e presso il Dipartimento di Statistica “Giuseppe Parenti” di Firenze.
    Occorre perciò avere sia un coordinatore generale (che sarà il prof. Fabbris dell’Università di Padova) che un coordinatore per le attività che saranno svolte presso l’unità di Firenze (che sarà il prof. Giusti), con due specifici sottogruppi di esperti presso le due unità.
    L’Osservatorio indicherà due suoi rappresentanti che terranno i contatti con il gruppo di ricerca al fine di definire le parti operative del programma di ricerca.
    I risultati della ricerca saranno di proprietà dell’Osservatorio che, a seguito di specifica richiesta, potrà autorizzare i componenti del gruppo di ricerca ad utilizzarli a propri fini.
     


    Programmi di ricerca
    Home Page dell'Osservatorio
    Home Page del M.U.R.S.T.

    aggiornamento: 15/3/00