Riassunto
Obiettivi: La presenza di conflitti di interesse in psicoterapia, con i conseguenti errori e/o falsificazioni non è stata adeguatamente considerata in psicoterapia. In questo lavoro vien preso in considerazione per un esame approfondito uno studio molto citato di Jonathan Shedler di meganalisi di studi di efficacia di vari trattamenti in psichiatria, sia di tipo psicoterapico che farmacologico, in cui due Autori hanno dichiarato conflitti di interesse: Psicoterapia generale, CBT, Psicoterapia psicodinamica (PP), Psicofarmacoterapia antidepressiva (PTAD).
Metodo: Esame del metodo e dei risultati degli studi considerati nella meganalisi di J. Shedler alla luce della metodologia statistica. Si è proceduto quindi all’esame: a) del metodo usato di accorpamento dei risultati, b) della correttezza dei calcoli, c) della congruenza tra risultati e conclusioni.
Risultati: Numerose metanalisi incluse in questo studio non hanno la numerosità sufficiente per considerare attendibile il calcolo dell’Effect Size (ES o Grado di Effetto), una nel gruppo della PTAD, sei nel gruppo PP. Inoltre, studi di metanalisi sono inclusi insieme ad alcune meganalisi, e uno studio di metanalisi della PP non possiede gruppi di controllo, pertanto non è assimilabile agli altri. Pertanto una sola delle metanalisi ha caratteristiche che possono prestarsi alla verifica di efficacia della PP, quella di Abbas & coll. (2006), ma numerose sub-analisi di tale studio non hanno la numerosità sufficiente per considerare attendibile il calcolo dell’ES, pertanto andrebbero escluse. Infine, il risultato finale (ES = .77) viene erroneamente riportato nelle conclusioni come ES = .97.
Discussione: Per quanto sopra, lo studio presenta numerosi errori, talora interpretabili come manipolazione o falsificazione dei dati, e rappresenta un vero e proprio esempio di abuso del metodo della metanalisi.
Parole chiave: Conflitti di interesse; efficacia delle psicoterapie; metanalisi; meganalisi.
Premessa
I conflitti di interesse (COI), soprattutto di tipo finanziario, e soprattutto le truffe scientifiche collegate ai COI sono da tempo segnalate come un grave problema che affligge la ricerca sulla valutazione dei trattamenti in medicina. Numerosi sono stati i tentativi di risolvere il problema finora, ma nessuno di essi è considerato veramente soddisfacente. Numerosi e chiari esempi se ne sono anche avuti durante la recente “pandemia” di Covid-19 e soprattutto sulle caratteristiche di efficacia e sicurezza sia dei farmaci utilizzati che degli interventi non-farmacologici imposti.
SCOPO DELLO STUDIO
Scarsa attenzione invece si è prestata ad analoghi fenomeni in psicologia clinica. Ad esempio, nella ricerca scientifica sull’efficacia delle psicoterapie, da qualche tempo vediamo rinnovarsi i tentativi di riaccreditare la psicoanalisi come metodo terapeutico e/o tentativi per screditare la Terapia Cognitivo-Comportamentale (TCC). Uno dei primi di questi tentativi, ma molto citato in Italia e all’estero, che ha avuto anche risonanza nei media negli ultimi anni, è quello di Jonathan Shedler, intitolato “The Efficacy of Psychodynamic Psychotherapy”, pubblicato nel marzo 2010 su una delle più diffuse riviste di psicologia, l’American Psychologist 1. Da allora, questo studio ha avuto 2461 citazioni2.
Anche in Italia, vi sono stati studiosi che hanno fatto riferimento all’articolo di Shedler3 per ridurre l’importanza delle risultanze circa l’efficacia della TCC, arrivando poi a mettere in discussione perfino il metodo sperimentale4.
Data l’ampiezza e la risonanza dell’articolo di Shedler, ho deciso di focalizzarmi su questa sua “mega-analisi” (o meganalisi). Scopo del presente studio, quindi, è quello di riesaminare il metodo, i calcoli, i risultati e le conclusioni di detto lavoro per verificarne l’aderenza alla corrente metodologia scientifica.
J. Shedler, uno psicologo dell’Università di Denver (Colorado), ha eseguito una “mega- analisi”, accorpando una scelta di studi, più o meno recenti, di metanalisi sull’efficacia delle psicoterapie, includendovi studi sulla cosiddetta psicoterapia psicodinamica (PPD), nell’assunto che questa sia rappresentativa della psicoanalisi. Indipendentemente dalla validità di questo ultimo assunto, ne ha confrontati i risultati con metanalisi esistenti di trattamenti farmacologici e altre psicoterapie, tra cui la TCC. Vorrei qui mostrare soltanto la fondatezza di questo tentativo di Shedler, con particolare attenzione ai metodi statistici usati del suo lavoro.
METANALISI E MEGANALISI
Prima di procedere nell’esame del lavoro di J. Shedler, bisogna sapere che negli studi di metanalisi dell’efficacia dei trattamenti esaminati in ogni studio sperimentale (tramite il confronto terapia-controllo) rappresenta l’unità di osservazione. Qualunque sia il numero di soggetti studiati, infatti, la misura sottoposta alla metanalisi – espressa dal grado di effetto (GE) complessivo del trattamento in esame evidenziato nello studio – è riassuntiva e rappresentativa dello studio stesso. Ne consegue che ogni studio è rappresentato da un singolo valore del GE medio complessivo.
La metodica si chiama meta-analisi, infatti, in quanto consente di aggregare le misure raccolte mediante una singola unità di misura, utilizzabile per tutte le variabili continue considerate5: questa unità è la deviazione standard (DS). Tradotte in termini di unità di DS, tutte le variabili continue (nel nostro caso le variabili di esito), anche se eterogenee, possono essere esaminate insieme e quindi confluire nel GE del singolo studio sperimentale. È questo il valore che a sua volta si aggiungerà agli altri nel campione della metanalisi degli studi. In altre parole, nella metanalisi, ogni singolo studio – rappresentato dal proprio valore di GE – va a contribuire al campione della ricerca, costituito dai valori dei GE ricavati da tutti gli studi e non più quindi dai valori ricavati dai singoli soggetti, come negli studi clinico-sperimentali.
Nel caso degli studi sperimentali di efficacia terapeutica (ma non solo in psicoterapia), il GE del trattamento su ogni variabile valutata viene ricavato dalla differenza tra l’esito ottenuto nei soggetti a trattamento e quello ottenuto nei soggetti a controllo, confrontata con la DS dei soggetti a controllo, di solito al termine del trattamento. L’analisi così compiuta su ogni variabile (sia al termine che alla eventuale catamnesi) viene chiamata “subanalisi” (SA); la media di tutte le SA del singolo studio è appunto il GE complessivo mostrato dallo studio per la terapia in esame6.
REQUISITI
Per fare ciò, si comprende facilmente che si richiede che siano soddisfatte almeno tre condizioni:
a) che ogni studio abbia un valido gruppo di controllo: quindi studi senza gruppo di controllo non possono essere presi in considerazione nella metanalisi;
b) che entrambi i gruppi (sperimentale e di controllo) degli studi clinico-sperimentali abbiano un numero minimo di osservazioni perché le medie siano rappresentative del campione generale (ad es. l’universo dei pazienti trattati in psicoterapia) ;
c) che, in una meganalisi, il numero di studi stessi di metanalisi sia sufficiente per avere medie rappresentative e affidabili di tali studi e quindi per procedere a confrontare gruppi diversi di metanalisi.
In statistica, per l’attendibilità delle medie di variabili lineari, la numerosità di un campione di osservazioni deve essere tale da non introdurre un errore campionario; tale numerosità si ritiene di solito sufficiente se N>12 osservazioni indipendenti (per ogni variabile), mentre campioni con N<10 non si ritiene che forniscano medie attendibili (Smith, Glass & Miller, 1980), cioè non abbastanza “robuste”.
La stessa cosa vale per le meganalisi: in questo caso, le unità di osservazione sono costituite dalle singole metanalisi, in quanto ogni osservazione è rappresentata dal GE risultante dalla metanalisi (qualunque sia il numero di studi clinico-sperimentali che essa contiene). Quindi, gli stessi requisiti suddetti di numerosità del campione (in questo caso di metanalisi) valgono per le meganalisi, per poter considerare affidabili e rappresentativi i valori delle medie o delle mediane.
Qualora il campione contenga un numero sufficiente di osservazioni, gli estensori della metanalisi o (della meganalisi) possono esaminare e confrontare medie calcolate su “sub-analisi” ovvero sottocampioni del campione totale (vuoi di studi sperimentali o di metanalisi), se selezionati con validi criteri.
Il metodo dello studio
Il metodo del presente studio comprende:
- Esame del metodo e dei risultati degli studi considerati nella meganalisi di J.Shedler.
- Esame del metodo di accorpamento dei risultati usato in questa meganalisi.
- Esame della correttezza dei calcoli e della congruenza risultati-conclusioni.
- Esame del rapporto tra risultati e conclusioni.
Il lavoro di Shedler
La tabella su cui J. Shedler basa le sue conclusioni, e che quindi merita esaminare, è qui riportata (Table 1). Si può osservare che la tabella riporta i gradi di effetto (Effect Size) risultanti da 16 lavori, costituiti da metanalisi di studi di efficacia di autori vari, nonché 2 mega-analisi, entrambe di Lipsey & Wilson (1993).
Il fatto anzitutto che nella tabella vengono elencati studi sia di metanalisi che di mega- analisi pone un problema. È discutibile che in uno studio clinico vengano accorpate le osservazioni ricavate sia dai singoli pazienti sia quelle calcolate su gruppi di pazienti. L’eterogeneità delle due misure non le renderebbe comparabili.
Inoltre, l’Autore non ci informa se nelle due mega-analisi sono contenuti studi che erano già stati inclusi nelle metanalisi precedenti. Ad esempio, la mega-analisi di Lipsey & Wil- son del 1993, potrebbe comprendere studi già contemplati – e quindi calcolati – nella metanalisi di 475 studi di Smith & al. (1980) o in quella di Robinson & al, (1990). Se que- sto fosse il caso, non sarebbe corretto in quanto le osservazioni non sarebbero più indi- pendenti tra loro (requisito per elaborarle statisticamente); soprattutto gli studi presen- ti sia nelle metanalisi che nelle meganalisi acquisterebbero un “peso” relativamente maggiore di quelli presenti solo una volta.
Le due meganalisi di Lipsey & Wilson comprendono un primo raggruppamento, costitui- toome si vede in Tab. 2, il GE complessivo risultante da questo studio si esprime in una riduzione di 0.77 DS dei sintomi e non invece di 0.97 come riportato da Shedler nel suo articolo. da 18 metanalisi di studi di psicoterapia classificata come “generale” (o meglio “generica”), ed un altro, di 23 diverse metanalisi di studi, sia di TCC che di altre terapie chiamate dall’autore “correlate”, quali l’Attivazione Comportamentale (BA) e la Terapia Comportamentale Dialettica (DBT).
Notiamo dalla Tabella1 che – allo scopo di evidenziare l’efficacia delle varie tipologie di terapie – sono stati creati quattro gruppi di studi. Il primo riguarda le cosiddette “Psico- terapie generali” (o “generiche”) su una varietà di disturbi tra cui la depressione, il se- condo le “Terapie cognitivo-comportamentali e correlate”, su una ampia gamma di di- sturbi, il terzo è costituito da “farmacoterapie antidepressive”, mentre il quarto da “Te- rapia psicodinamica”.
Notiamo che i criteri suaccennati di numerosità minima del campione non sono soddi- sfatti da tutti gli studi di metanalisi inclusi nella tabella di Shedler nelle due successive categorie (Farmaci anti-depressivi e Psicoterapia psicodinamica). Soltanto le prime due categorie, infatti, sono composte da lavori di metanalisi con medie sufficientemente at- tendibili: i tre studi nella categoria “Psicoterapie generali” e i cinque studi nella catego- ria “TCC e terapie correlate”. Tutte le altre metanalisi sulle psicoterapie, invece, tranne due, avendo campioni di studi inferiore a 12, non possono essere seriamente considerate per tirare conclusioni minimamente attendibili. Altrettanto dicasi per la categoria “Far- maci antidepressivi” in cui c’è una sola metanalisi che risulta avere una numerosità suffi- ciente (Turner & al., 2008).
In particolare, nella categoria “Psicoterapia psicodinamica” (PP), solo uno studio sugli otto citati può essere considerato, quello di Abbass & al. (2006), in cui il campione rag- giunge appena la numerosità di 12 studi. Infatti, la metanalisi di Leichsenring & Leibing (2003) non può neanche essere considerata in quanto, pur basandosi su di un campione di 14 studi e quindi numericamente sufficiente, è composta solo da studi di confronto pre-post trattamento, cioè privi di gruppi di controllo: tali studi semplicemente non sono confrontabili con gli altri, essendo privi dei dati statistici necessari al calcolo!
Delle metanalisi considerate per valutare la PP, quindi, non rimane che quella di Abbass & al., che ora esaminiamo da vicino. Nella tabella di Shedler, la PP risulta avere un’efficacia (grado di effetto o GE) di 0.97, cioè piuttosto elevato, in quanto vicino ad 1 DS. Reperito lo studio, abbiamo voluto verificare come fosse stato raggiunto questo sorprendente risultato.
Ci si aspetterebbe che il valore del grado di effetto riportato di 0.97 fosse la risultante (cioè la media) delle sub-analisi a breve, medio e lungo termine degli studi considerati. Queste, suddivise in sub-analisi per le varie tipologie di esito, (sintomi psichiatrici, sintomi somatici, ansia, depressione, adattamento sociale e problemi interpersonali) risultano dal lavoro di Shedler le seguenti (Tab.2):
Tab.2 Gradi di Effetto (GE) medi evidenziati dalle subanalisi, con limiti di confidenza, medie e numerosità totale del campione, nel lavoro di Abbass e coll. (2006) §.
| Sub-analisi: | A breve termine | A medio termine | A lungo termine | Totali |
| Sintomi psichiatrici generali | -0.71 [-1.00 -0.41] | -0.27 [-0.46 -0.08] | -1.51 * [-3.14 0.12] | -0.83 N=29 |
| Sintomi somatici | -0.63 * [-1.29 0.04] | -1.39 [-2.75 -0.02] | -2.21 * [-5.49 1.07] | -1.41 * N=15 |
| Ansia | -0.64 [-1.02 -0.26] | -0.46 [-0.77 -0.16] | -1.10 * [-2.24 0.04] | -0.73 N=30 |
| Depressione | -0.50 [-0.61 -0.39] | -0.34 [-0.60 -0.09] | -1.00 * [-2.22 0.21] | -0.61 N=30 |
| Adattamento sociale | -0.51 [-0.66. -0.36] | -0.58 [-0.86. -0.29] | -0.55 N=12 | |
| Problemi interpersonali | -0.42 [-0.67 -0.17] | -0.49 [-0.92 -0.05] | 0.46° N=9 | |
| Totali | -0.57 | -0.62 | -1.15 | -0.77 |
§) I gradi di effetto esprimono la differenza media dei valori fine-inizio intervento.
*) Non significativo o limiti di confidenza comprendenti lo zero.
°) Numerosità delle osservazioni insufficiente.
Per quanto sia legittima la scelta di includere anche risultati con ampia dispersione delle osservazioni, si può notare che sono proprio questi risultati non significativi ad elevare la media complessiva, soprattutto a lungo termine (p.es. per un eccesso di abbandoni). Se si fosse voluto un risultato più affidabile, invece, queste ultime sub-analisi non andrebbero considerate: è possibile infatti, sia pure sacrificando un po’ di informazione, conservare soltanto quelle con risultati significativamente diversi da zero ed eliminare dal conteggio i risultati delle altre. Si sarebbe ottenuto così il quadro illustrato in Tab. 3. Da notare anche che in Tab.2 non viene fornita la numerosità delle sub-analisi stesse, se non quella accorpata, nell’ultima colonna di destra. Pertanto, le numerosità e l’attendi- bilità dei GE medi ad ogni sessione di valutazione rimane ignota, ad eccezione delle su- banalisi sui sintomi somatici, basata su soli 4 studi; questo ultimo risultato, tuttavia, ha affidabilità praticamente nulla proprio per l’esiguità del campione. Le medie totali della Tab.3 (ricalcolata) sono quindi valide solo nell’ipotesi che le varie subanalisi per ogni ca- tegoria di esito siano equinumeriche. Per lo stesso motivo, molte delle medie indicate in Tab.3, potrebbero non essere attendibili, per quanto significative, per la presenza cam- pioni troppo ridotti, come, ad es., il GE medio di 0.46 circa i problemi interpersonali, basato su soli 9 studi.
Tab.3 – Gradi di effetto (GE) medi e relativi limiti di confidenza per le sole sub-analisi con risultati significativi, nel lavoro di Abbass e coll. (2006) §
| Sub-analisi: | A breve termine | A medio termine | A lungo termine | Totali |
| Sintomi psichiatrici generali | -0.71 [-1.00 -0.41] | -0.27 [-0.46 -0.08] | -0.49 | |
| Sintomi somatici | -1.39 a) [-2.75 -0.02] | -1.39 a) | ||
| Ansia | -0.64 [-1.02 -0.26] | -0.46 [-0.77 -0.16] | -0.55 | |
| Depressione | -0.50 [-0.61 -0.39] | -0.34 [-0.60 -0.09] | -0.42 | |
| Adattamento sociale | -0.51 [-0.66 -0.36] | -0.58 [-0.86 -0.29] | -0.55 N=12 | |
| Problemi interpersonali | -0.42 [-0.67 -0.17] | -0.49 [-0.92 -0.05] | -0.46 b) N=9 | |
| Totali | -0.56 | -0.62 | -0.54 | -0.57 |
§) I gradi di effetto risultano negativi per esprimere la discesa dei valori dall’inizio.
a) Valore ottenuto con soli 4 studi.
b) Numerosità delle osservazioni insufficiente.
Risultati
Come si vede, gli effetti risultanti a breve, medio e lungo termine dalla Psicoterapia psi- codinamica breve (o STPP) nella metanalisi di Abbass e coll. si collocano tra 0.62 e 0.54 DS, comunque superiori a mezza DS, un valore che abitualmente è superiore all’effetto placebo. Se questi risultati fossero attendibili, si potrebbe concludere che la STPP abbia un effetto terapeutico significativo, per quanto moderato. Tuttavia molti degli studi esa- minati da Abbass e coll. riguardano solo i confronti con gruppi di pazienti senza tratta- mento (si tratta di soggetti in lista di attesa) e non trattati con psicoterapie placebo. Questa differenza nei gruppi di controllo può indurre grandi differenze di risultato, per- ché nei gruppi con psicoterapie placebo è stata osservata comunque una efficacia dell’ordine circa del 25% rispetto a quelli con soggetti in attesa di trattamento.
Quindi il risultato complessivo mostra un grado di effetto della STPP di 0.57 DS, già mol- to diverso da quello di 0.97 come indicato da Shedler nel suo articolo del 2010, che va ulteriormente ridimensionato sottraendovi il GE medio della psicoterapia placebo.
A parte questo eclatante esempio di falsificazione dei dati, notiamo che il risultato mi- gliore in Tab.2, più influente in questa media, risulta un grado di effetto di 1.39 DS, ot- tenuto sui soli sintomi somatici a medio termine, e per di più ricavato da una sub-analisi di soli quattro studi, del tutto insufficiente a rappresentare il campione di studi e quindi a tirare conclusioni affidabili.
Infine, l’affermazione che i sintomi dei pazienti trattati con STPP continuino a migliorare dopo il termine del trattamento non risulta giustificata, in quanto le sole medie attendi- bili a lungo termine riguardano aspetti interpersonali e di adattamento sociale, ma non i sintomi psichiatrici, che neanche a medio termine risultano migliorati. Invece, i risultati a lungo termine sugli aspetti sintomatici, come si è visto, non sono attendibili (e pertan- to esclusi dalla Tab.3).
Discussione
Indipendentemente dalle modalità di selezione dei lavori esaminati, Shedler ha erronea- mente incluso nella sua mega-analisi i gradi di effetto di molti lavori di metanalisi sulla psicoterapia psicodinamica (PP) che non raggiungono la attendibilità sufficiente per con- siderarne validi i risultati, perché non abbastanza robusti, e solo per questo vanno consi- derati veri e propri esempi di abuso del metodo della metanalisi (Sibilia, 2001). Oppure, ha incluso lavori di metanalisi di studi senza gruppo di controllo, che pertanto non sono comparabili con le metanalisi degli altri studi clinico-sperimentali.
Quanto sopra è già sufficiente a rigettare le conclusioni di Shedler. Ma, anche conside- rando l’unico lavoro citato (Abbas & coll., 2006) che invece raggiunge la suddetta nume- rosità, Shedler ha erroneamente riportato nel testo dell’articolo il grado di effetto di 0.97 invece di quello reale (0.77); senza contare che una stima più attendibile dovrebbe essere invece tra 0.56 e 0.62, una volta eliminate per prudenza le medie inaffidabili. Considerando che tali GE derivano da confronti con gruppi di controllo composti da pa- zienti semplicemente senza terapia, quindi non trattati neanche con placebo, non si tratta certo di prove di efficacia elevata. Infatti, generalmente il GE medio di una psico- terapia-palcebo si situa tra 0.15 e 0.25 e tale cifra andrebbe sottratta a quella del GE ri- scontrato nella psicoterapia in esame.
Inoltre, quest’ultimi risultati riguardano esclusivamente la PP a breve termine (la STPP), che rimane dubbio possa rappresentare la PP in generale. Comunque, è ancora più dub- bio che la PP in generale possa rappresentare la psicoanalisi, così come viene descritta, per molti motivi, su cui non mi soffermerò in quanto già ampiamente discussi in lettera- tura.
Conclusioni
Il lavoro di J. Shedler esaminato si configura come un esempio di abuso del metodo della metanalisi e dei suoi risultati (Sibilia, 2001), che non risulterebbe accettabile in una se- ria rivista scientifica con revisione tra pari in altri campi disciplinari. Vi si trovano infatti gravi sviste etiche come la manipolazione ovvero la falsificazione dei valori numerici dei
risultati, oltre che grossolani errori metodologici come ad es. includere nella stessa analisi risultati di studi con gruppo di controllo e studi senza. Da notare infine che in questo lavoro vi sono almeno due autori che ammettono un conflitto di interesse, condi- zione che sappiamo essere associata a una distorsione positiva dei risultati verso il trat- tamento cui sono “fedeli”.
La lezione che si può trarre da questo studio è che anche in lavori di Autori molto accre- ditati possono nascondersi errori sostanziali, che possono essere evidenziati solo quando si cercano. Il fatto che questo lavoro sia stato accettato su American Psychologist getta ombre e interrogativi inquietanti sull’integrità della rivista e/o sugli attuali processi di formazione delle conoscenze scientifiche nel campo della psicoterapia.
1 Shedler J. (2010) The efficacy of psychodynamic psychotherapy. Am. Psychologist, 65:98-109. 2 (v. Google Scholar, Nov.2022).
3 Paolo Migone (2010), Psicoterapia e Scienze Umane, XLIV, 1: 7-8
4 Paolo Migone (2005), Il Ruolo Terapeutico, 98: 103-114.
5 Assumendo una distribuzione normale dei dati.
6 Smith, Glass & Miller, 1980
Riferimenti biblio-sitografici
Abbass, A. A., Hancock, J. T., Henderson, J., & Kisely, S. (2006) Short-term psychodynamic psychotherapies for common mental disorders. Cochrane Database of Systematic Reviews, Issue 4, Article No. CD004687. doi:10.1002/14651858.CD004687.pub3
Lipsey, M. W., & Wilson, D. B. (1993) The efficacy of psychological, educational, and behavioral treatment: Confirmation from meta-analysis. American Psychologist, 48:1181-1209.
Migone P. (2005). Sono veramente efficaci le psicoterapie evidence-based? Il Ruolo Terapeutico, 98: 103-114.
Migone P. (2010). Editoriale. Psicoterapia e Scienze Umane, XLIV, 1: 7-8
Shedler J. (2010). The efficacy of psychodynamic psychotherapy. American Psychologist,
65:98-109.
Sibilia L., Vonken E. & Nardi A.M. (1992). Efficacia delle psicoterapie: metanalisi delle terapie comportamentali e cognitive dagli anni ’80. Bollettino di Psicologia Applicata. 204, 17-29.
Sibilia L. (1994). Meta-analysis in the assessment of psychotherapy outcomes: limits and results. Psychologie Europe, 1, 4 (45-60).
Sibilia L. (1996). É cognitiva la “terapia cognitiva”? Insegnamenti della metanalisi. Quaderni di Psicoterapia Cognitiva, vol.1, n.1 (35).
Sibilia L., Baldassarre P., Nardi A.M. & Vonken E. (1997). Cognitive Therapy is not effective: update of a meta-analysis. Psicoterapia Cognitiva e Comportamentale, vol. 3, 2-3 (179).
Sibilia L. (2001) Usi ed abusi della metanalisi nella valutazione di efficacia delle psicoterapie. Abstract. XI Congresso Annuale della Associazione Italiana di Analisi e Modificazione Cognitivo-Comportamentale. Palermo, 5-7 Ott.
Smith M. L., Glass G. V. & Miller T. I. (1980), The benefits of psychotherapy. Baltimore: Johns Hopkins Press.
