Tese
Tese
Versão curta do Mini Mental State Examination (MMSE) para screening de Defeito Cognitivo
Ligeiro (DCL)
2019
Universidade de Lisboa
Faculdade de Medicina de Lisboa
Versão curta do Mini Mental State Examination (MMSE) para screening de Defeito Cognitivo
Ligeiro (DCL)
2019
2
“A impressão desta dissertação foi aprovada pelo Conselho Científico da Faculdade de
Medicina de Lisboa em reunião dia 23 de julho de 2019”
3
Índice
Lista de Abreviaturas....................................................................................................5
Agradecimentos............................................................................................................6
Introduction..................................................................................................................7
Ética..............................................................................................................................9
Introdução.....................................................................................................................10
Enquadramento Teórico...............................................................................................12
Importância dos testes breves para diagnóstico de “Defeito Cognitivo Ligeiro” …15
Material e Métodos.......................................................................................................19
Amostra.....................................................................................................................19
Instrumentos..............................................................................................................20
Procedimento.............................................................................................................20
Análise estatística..........................................................................................................23
Análise Fatorial.........................................................................................................30
Validade ……………………………………………………………………………39
Sensibilidade e especificidade...................................................................................41
Discussão e conclusão…………………………………………………………………48
Referências Bibliográficas…………………………………………………………….50
4
Lista de Abreviaturas
DA - Doença de Alzheimer
DCL – Defeito Cognitivo Ligeiro
MMSE – Mini Mental State Examination
MTR – Mini Teste de Rastreio
MGF – Medicina Geral e Familiar
OT - Orientação Temporal
OE – Orientação Espacial
5
Agradecimentos
A atual dissertação de mestrado não teria sido conseguida sem o precioso apoio de várias
pessoas. Ao Professor Doutor Frederico Simões do Couto agradeço por me ter aceite como sua
orientanda, pela paciência em ler os meus rascunhos, muitas vezes, pouco claros e pelas suas correções
e sugestões sempre valiosas. À minha coorientadora, Professora Doutora Manuela Guerreiro, por toda
a paciência, empenho e sentido prático com que sempre me orientou neste trabalho. Muito obrigada
por me ter corrigido quando necessário sem nunca me desmotivar. Desejo igualmente agradecer à
Mestre Sandra Cardoso todo o apoio e colaboração em todos os aspetos deste trabalho, agradecer-lhe
a sua capacidade de motivação, a partilha do seu conhecimento e do seu tempo e, acima de tudo, a sua
amizade, sempre presentes em todos os momentos. Não posso deixar de agradecer a todos os
investigadores do grupo das Demências, coordenado pelo Professor Doutor Alexandre Mendonça,
pelas partilhas de conhecimentos e a oportunidade de ter feito parte do grupo. Por último, mas não em
último, quero agradecer à minha família e amigos pelo apoio incondicional que me deram em todos os
momentos, particularmente nos momentos de desânimo, especialmente à minha mãe e às minhas tias
pelo suporte emocional ao longo da elaboração deste trabalho.
6
Introduction
Between 1961 and 2016, there was an increase of 121.2% in the Portuguese population over
60 years (PORDATA, 2016; INE, 2017). In parallel with the increase in life expectancy, diseases
associated with aging are also increasingly frequent, including neurodegenerative diseases such as
Alzheimer's disease (AD). Generally, the first complaint in patients who will develop clinical AD is
that of lack of memory, difficulty in retaining information or rapid forgetting of recent information.
However, memory complaints, are very common in this population, not always represent an indicator
of the onset of a dementia process (O'Connor et al 1990, Bolla et al 1991, Gagnon et al 1994, Schmand
et al., 1996). These complaints may occur due to the natural aging process, anxiety disorders or
depression, although some studies also indicate that, in some cases, they may be associated with a
degenerative process (Grut et al., 1993; C et al 2000, Reid et al., 2006, Youn et al., 2009, Breton et al
2018). On the other hand, if memory complaints are more intense and objectified by
neuropsychological tests, they may correspond to the initial phase of a neurodegenerative process,
being called the "Mild Cognitive Impairment" (MCI) (Petersen et al., 1999, 2001). This condition often
progresses to dementia, usually Alzheimer's Disease (AD) (Schmand et al., 1996; Reid et al., 2006;
Mitchell et al., 2008, Youn et al., 2009; Silva et al., 2014).
In consultations with your physician it may be difficult to assess these complaints, which leads
to delays in diagnosis and possible therapeutic interventions (Riedel-Heller et al 1999, Mendes et al
2008). In this context, it may be important for the physician to have a brief screening tool that allows
to objectify complaints within a short period of time (Deveugele et al 2002). Brief tests of
neuropsychological evaluation are important for the screening or confirmation of cases with suspected
cognitive impairment, and also allows the referral of cases to specialized consultations (neurology,
neuropsychology, psychiatry) (Deveugele et al., 2002; Wilkinson et al., 2004, Iliffe, 2009, Freitas,
2015). In the literature there are many references to brief tests, although few validated for the
Portuguese population. MMSE is probably the most used (Guerreiro et al., 1994; Morgado et al., 2009;
Freitas et al, 2015). This test has an application time of about 10 to 15 minutes, which is still considered
time consuming for consultation, particularly in General and Family Medicine (GFM) visits. In view
of these limitations, we consider it important to have a short instrument with satisfatory sensitivity and
specificity values in the Portuguese population for the detection of cognitive impairments.
7
The objective of this study is to build a short version of this test, based on the Portuguese
version of the MMSE (Guerreiro et al., 1994), with an application time that does not exceed 5 minutes
and has similar sensitivity and specificity values, or higher, than those of the original version in the
discrimination between subjects with MCI and normal subjects (without memory complaints and
without objective cognitive impairment).
8
Ética
Este estudo foi conduzido de acordo com as Good Clinical Practice da IC e aprovado pela
comissão de ética do CAML.
Todos os sujeitos assinaram o consentimento informado antes de qualquer procedimento do
estudo. Os dados pessoais dos sujeitos ficaram anonimizados de forma irreversível, já que os cadernos
de recolha de dados não têm qualquer dado que permita a identificar o participante.
9
Introdução
O envelhecimento em Portugal, de acordo com os dados do Instituto Nacional de Estatística,
tem vindo a aumentar (INE, 2017). Entre 1961 e 2016, verificou-se um aumento de 121,2% na
população acima dos 60 anos (PORDATA, 2016). Em paralelo com o aumento da esperança de vida,
as doenças associadas ao envelhecimento também são cada vez mais frequentes e, entre elas, as
doenças neurodegenerativas, nomeadamente a doença de Alzheimer (DA). Geralmente, a primeira
queixa em doentes que vão desenvolver DA clínica é a de falta de memória, sendo referido dificuldade
em reter a informação ou esquecimento rápido da informação recente. No entanto, as queixas de
memória, muito frequentes nesta população, nem sempre representam um indicador de início de um
processo demencial (O’Connor et al 1990; Bolla et al 1991; Gagnon et al 1994; Schmand et al., 1996;
Schofield et al 1997; Ginó et al., 2010; Breton et al., 2018). Estas queixas podem ocorrer devido ao
processo natural de envelhecimento, a perturbações da ansiedade ou a depressão, embora alguns
trabalhos também refiram que, em alguns casos, poderão estar associadas a um processo degenerativo
(Grut et al 1993; Schmand et al. 1996; Jonker C et al 2000; Reid et al. 2006; Youn et al., 2009; Breton
et al 2018). Por outro lado, se as queixas de memória forem mais intensas e objetivadas por testes
neuropsicológicos, poderão corresponder à fase inicial de um processo neurodegenerativo,
designando-se o quadro por “Defeito Cognitivo Ligeiro” (DCL) (Petersen et al., 1999, 2001). Este
quadro frequentemente progride para demência, geralmente Doença de Alzheimer (DA) (Schmand et
al., 1996; Reid et al., 2006; Mitchell et al 2008, Youn et al., 2009; Silva et al., 2014).
Nas consultas com o seu médico assistente pode ser difícil valorizar estas queixas, o que leva
a atrasos de diagnóstico e de possíveis intervenções terapêuticas (Riedel-Heller et al 1999; Mendes et
al 2008). Neste contexto, poderá será importante o médico dispor de um instrumento breve, de rastreio,
que lhe permita objetivar as queixas, em curto período de tempo (Deveugele et al 2002). Os testes
breves de avaliação neuropsicológica são importantes para fazer o screening, ou até confirmarem,
casos com suspeita de deterioração cognitiva, permitindo também o encaminhamento de casos para
consultas de especialidade (neurologia, neuropsicologia, psiquiatria) (Deveugele et al., 2002;
Wilkinson et al., 2004; Iliffeet al., 2009; Freitas et al., 2015). Na literatura encontram-se muitas
referências a testes breves, embora poucos validados para a população portuguesa. O MMSE é
provavelmente o mais utilizado (Guerreiro et al, 1994; Morgado et al, 2009; Freitas et al, 2015). Este
teste tem um tempo de aplicação de cerca de 10 a 15 minutos, o que, ainda assim, é considerado
demorado para aplicação em consulta, particularmente em consultas de Medicina Geral e Familiar
10
(MGF). Perante estas limitações, consideramos importante dispormos de um instrumento de aplicação
muito rápida, com valores satisfatórios de sensibilidade e especificidade na população portuguesa, para
a deteção de defeito cognitivo.
O objetivo deste estudo é, com base na versão portuguesa do MMSE (Guerreiro et al., 1994),
construir uma versão curta deste teste, com um tempo de aplicação que não exceda os 5 minutos e que
apresente valores de sensibilidade e especificidade semelhantes, ou superiores, aos da versão original
na discriminação entre sujeitos com DCL e sujeitos normais (sem queixas de memória e sem défices
cognitivos objetivos).
11
Enquadramento Teórico
As mudanças cognitivas intrínsecas ao envelhecimento têm sido alvo de muita investigação,
particularmente no sentido de perceber quais as mudanças associadas ao envelhecimento normal e as
alterações resultantes de um processo patológico. Nesta linha de investigação surgem conceitos
associados ao envelhecimento dito normal, tais como “Esquecimento Benigno da Senescência” (EBS)
(Kral, 1962), “Defeito de Memória Associado à Idade” (DMAI) (Crook et al,1986–NIMH) e “Declínio
Cognitivo Associado à Idade” (DCAI) (Levy, 1994) e conceitos que refletem envelhecimento
patológico, como conceito de “Defeito Cognitivo Ligeiro” (DCL) (Petersen et al, 2001).
Kral (1962) foi um dos primeiros autores a chamar a atenção para as alterações na memória
relacionadas com o envelhecimento, mas que não evoluiriam para demência, pelo que seriam
consideradas benignas e propõe o termo “Esquecimento Benigno da Senescência” (EBS) (BSF -
benign senescent forgetfulness). Os casos com o diagnóstico de “Esquecimento Benigno da
Senescência” incluíam sujeitos com queixas espontâneas de memória, mas que em testes não
apresentavam diferenças significativas em relação aos idosos sem queixas. No entanto, o conceito de
EBS foi considerado pouco preciso e em 1986, Crook et al, propõem o conceito de “Defeito de
Memória Associado à Idade” (DMAI) (AAMI - age-associated memory impairment) para caracterizar
sujeitos com queixas e alterações de memória e com possíveis alterações na funcionalidade, mas que
não evoluíam para demência. O termo DMAI foi muito divulgado, mas nem sempre usado para referir
a mesma entidade e os estudos apresentados com este conceito eram muitas vezes contraditórios.
Ainda dentro da linha das ditas alterações ou queixas “benignas”, surge em 1994 o conceito de
“Declínio Cognitivo Associado à Idade (Levy, 1994) (DCAI) (AACD - age associated cognitive
decline), o qual pretendeu caracterizar sujeitos com queixas e com declínio superior ao do seu grupo
etário e de escolaridade, em qualquer área cognitiva, mas sem critérios para diagnóstico de demência.
Contudo, vários trabalhos, com estudos longitudinais, revelaram que a grande maioria dos
casos com queixas de memória e alterações em testes iriam evoluir para demência, surgindo o termo
“Defeito Cognitivo Ligeiro” (DCL) (“Mild Cognitive Impairment” – MCI) para os casos que embora
apresentando defeito de memória, não apresentam ainda critérios para o diagnóstico de demência
(Petersen et al., 1999, 2001; Portet et al, 2006). As taxas de conversão anual para demência por DA
variam entre 10 a 15% (Petersen et al, 1999; Daly et al, 2000; Farias et al, 2009) ou 20% em 9,5 anos
(Tierney et al, 1996; Morris et al, 2001), sendo a conversão para demência (DA), numa população
normal da mesma idade, calculada entre 1 a 2% (Petersen et al., 2009). O conceito, tal como utilizado
12
por Petersen et al (1999), pretende caracterizar um estádio de transição entre o envelhecimento normal
e a demência por Doença de Alzheimer.
13
frequentes, que poderão manter o diagnóstico relativamente estável ao longo do tempo ou até terem
melhoria e reverterem para normal (Pandya et al, 2016).
Ausência de demência X X X
Doença de Alzheimer;
“Defeito Cognitivo Ligeiro”
Demência Vascular;
multi-domínios
Envelhecimento Normal
Demência Fronto-temporal;
Demência Corpos de Lewy;
“Defeito Cognitivo Ligeiro” Demência Vascular;
Domínio único não-memória Afasia Primária Progressiva;
Doença de Parkinson;
Demência de Alzheimer
14
Importância dos testes breves para diagnóstico de défice cognitivo na prática
clínica
15
MMSE original e outras versões
O MMSE é um teste muito breve, que foi criado nos EUA por Folstein em 1975 sendo o teste
mais utilizado, sobretudo para triagem de defeito cognitivo, em estudos epidemiológicos. O MMSE
não é um teste de diagnóstico, mas sim um teste de triagem e, por isso, não substitui uma avaliação
clínica completa, nem substitui o exame neuropsicológico conducente à obtenção de um diagnóstico.
Mas, como é uma avaliação quantificada do estudo cognitivo, torna mais objetivo o que é geralmente
uma impressão subjetiva da incapacidade cognitiva, durante a avaliação clínica de um doente
(Guerreiro et al., 1994).
16
rotina médica. Os pontos de corte para a população portuguesa, tendo em conta a idade superior a 40
anos e diferentes grupos de escolaridade e, para presença de defeito cognitivo, são: pontuações de 15
ou inferiores, para a população analfabeta (16/15); 22 ou inferior, para população com 1 a 11 anos de
escolaridade (23/22) e inferior a 28 (27 ou menos: 28/27) para a população com mais de 11 anos de
escolaridade. Uma crítica óbvia a este teste e, a todos os de aplicação rápida, é que a sua brevidade
não lhe permite fornecer informação detalhada acerca das funções nervosas superiores, fornecendo
uma nota global do estado mental. No entanto, uma avaliação básica e breve do funcionamento
intelectual pode fornecer fundamento para uma posterior avaliação neuropsicológica, mais detalhada,
das capacidades cognitivas. Além disso, estes testes e baterias breves, podem ser usados para
avaliações repetidas e fornecer valores indicadores de declínio cognitivo (Guerreiro et al., 1994).
17
dados oralmente; produção de material verbal escrito (escrever uma frase tendo de estar presente
sujeito e verbo) e 1 item de capacidade construtiva (cópia do desenho de 2 pentágonos intersectados).
Esta versão curta, obteve valores de sensibilidade de 42% e de especificidade de 98.3 %, para o rastreio
de DCL e demência, com pontos de corte 14/15, com tempo estimado de administração de 2 a 3
minutos (quadro 3).
Quadro 3 – Versões modificadas do MMSE
18
Material e Métodos
Amostra
A amostra clínica foi escolhida por conveniência a partir da base de dados “Cognitive
Complaints Cohort” (CCC) (Maroco et al., 2011). Esta base de dados, está anonimizada de forma
irreversível, inclui sujeitos com queixas de memória, sujeitos com diagnóstico de DCL e de demência.
O grupo de controlo constituiu-se por sujeitos pertencentes à comunidade e universidade sénior, que
participaram voluntariamente em outros estudos de validação de testes cognitivos (Cardoso et al.,
2014; Coelho et al., 2016; Mendonça et al.,2018) e que fazem parte de uma base de dados de sujeitos
“controlo-normais”, também anonimizada. A esta amostra inicial, foram adicionados 56 sujeitos,
recrutados na comunidade e na Faculdade Sénior Nova Atena, de modo a aumentar o grupo de controlo
de sujeitos normais. Para este estudo todos os sujeitos assinaram consentimento informado.
Critérios de inclusão:
19
Critérios de exclusão:
Foram considerados os seguintes critérios para exclusão:
(1) O português não ser a língua materna ou não ter total domínio da língua portuguesa falada
e escrita;
(2) idade> 80 anos;
(3) ter limitações sensoriais que impeçam a realização dos testes;
(4) doenças psiquiátricas ou neurológicas que possam interferir de forma relevante com a
cognição, para além de DCL ou demência (consoante os grupos).
Todos os participantes da CCC foram submetidos, pelo menos, a uma avaliação clínica e
neuropsicológica, para avaliação do seu estado cognitivo tendo diagnóstico de: normal, DCL ou
demência, de acordo com os critérios acima referidos.
A amostra final é constituída por 933 sujeitos: 467 casos com diagnóstico clínico de “Defeito
Cognitivo Ligeiro” (que se verificou serem do tipo amnésico), 382 sujeitos controlo e 84 sujeitos com
diagnóstico de demência de gravidade ligeira a moderada (Figura 1). Foram excluídos 6 sujeitos por
apresentarem alterações no desempenho das provas cognitivas e não ser possível caracterizar o defeito.
Fig. 1 – Desenho do estudo:
Avaliados inicialmente
n = 939
20
Instrumentos
Procedimento
Foi construída uma base de dados com um total de 74 variáveis incluindo os valores de cada
item do MMSE: orientação total (10 itens), considerando em separado o total da orientação temporal
(5 itens) e o total da orientação espacial (5 itens); retenção de 3 palavras (3 itens); atenção e cálculo (5
itens); evocação das 3 palavras (3 itens); o valor total da linguagem (8 itens), que incluem nomeação
de 2 objetos (2 itens), repetição de frase (1 item), compreensão (3 itens), leitura de frase (1 item),
escrita de frase (1 item); cópia de desenho (1 item) considerada como capacidade construtiva e o total
do MMSE (30 itens). A base inclui os valores de todos os instrumentos descritos no ponto anterior
(instrumentos) e as variáveis demográficas (sexo, idade e escolaridade).
Posteriormente, foram construídas versões curtas (descritas em seguida) que foram analisadas
entre grupos para avaliar as suas características psicométricas.
21
Versões curtas do MMSE
Foram criadas versões diferentes do MMSE, tendo por base a criação de um teste de aplicação
mais rápida e que não necessitasse de material adicional (objetos para nomear, cartões com frase para
leitura e para cópia de desenho). Considerou-se a análise dos itens com maior diferença entre controlo
e DCL na versão original (análise estatística - itens com maior poder discriminativo para diferenciar
os casos de DCL de sujeitos normais e respetivos valores de sensibilidade, especificidade e AUC).
Obtivemos as seguintes versões: versão de 21 itens (orientação total, retenção, cálculo, evocação –
foram retirados os itens de linguagem e cópia de desenho), versão de 13 itens (orientação total e
evocação – a retenção e cálculo, são efetuados mas não cotados), versão de 8 itens (orientação temporal
total e evocação - a retenção é efetuada mas não cotada).
Foi, também, criada uma versão de 6 itens tendo por base a versão de Callahan et al (2002), a
qual inclui três itens de orientação temporal (dia da semana, ano e mês) e os 3 itens da evocação. O
autor refere que os itens de orientação têm demonstrado alta especificidade na discriminação de
demência e que as três palavras de evocação têm sido identificadas como tendo excelente
discriminação para a identificação de sujeitos com defeito cognitivo (alta sensibilidade). O item de
retenção das três palavras é um passo necessário para a posterior evocação, mas não discrimina entre
sujeitos com e sem demência. Na versão curta, foi usado o item retenção, mas este não foi cotado, não
sendo considerado para a pontuação final do teste.
Para cada versão, consideraram-se 2 pontos de corte diferentes, no sentido de analisar quais os
melhores índices de sensibilidade e especificidade e quais os melhores valores preditivos e compará-
los com a versão e pontos de corte do MMSE – 30 itens, validados na população portuguesa.
22
Avaliação das propriedades psicométricas das versões curtas
As versões curtas foram analisadas no que se refere à fiabilidade, validade e níveis de
sensibilidade, especificidade e valores preditivo e negativo. A descrição mais detalhada encontra-se
no capítulo da estatística.
Análise estatística
A análise estatística foi efetuada mediante a utilização do software SPSS – versão 24. A
significância estatística para todas as análises foi estabelecida para valores de p <0.05 (α = 5%).
Sempre que se verificou necessário, a homogeneidade da variância foi efetuada com o teste de Levene.
Na comparação das características demográficas entre os grupos, foi usado ANOVA, com
análise de Bonferroni, para variáveis contínuas e o teste do chi-quadrado para variáveis nominais. Os
mesmos, ou t-Student, quando aplicável, foram usados para análise das restantes variáveis em estudo,
nomeadamente para análise da diferença entre os itens em cada grupo (controlo e DCL) aplicando-se
a análise não-paramétrica de Kruskal-Wallis sempre que adequado. Foram definidos diferentes pontos
de corte da versão original do MMSE, de modo a selecionar-se a versão com os melhores valores de
sensibilidade e de especificidade pela análise discriminante e observando-se a curva ROC (Receiver
Operating Characteristic Curve).
Realizou-se a análise fatorial em todas as versões, para se compreender como as variáveis
podem estar agrupadas (associadas em fatores). A análise fatorial incluiu o teste de esfericidade de
Bartlett (mede se a análise fatorial é adequada ao problema, isto é, se existe correlação suficientemente
forte para que a análise fatorial possa ser aplicada), as comunalidades (proporção da variância, para
cada variável, que é explicada pelos componentes extraídos/fatores) e a variância total explicada
(indica a percentagem total da variância que é explicada pelos fatores obtidos). Os fatores foram então
agrupados pela análise da matriz de componente rotativa.
As versões curtas foram analisadas no que se refere à fiabilidade, validade e níveis de
sensibilidade, especificidade e valores preditivo e negativo.
A fiabilidade refere-se à capacidade de uma medida ser consistente, isto é, de reproduzir a mesma
resposta quando aplicado, em tempos diferentes, aos mesmos sujeitos, ou sujeitos de características
semelhantes. Analisamos a fiabilidade das versões curtas através da consistência interna pelo α de
Cronbach e pelo método das formas paralelas par-ímpar (split-half /método das “duas metades” ou
“bipartição”).
23
A validade avalia se o instrumento mede aquilo que é suposto avaliar/medir. Na literatura
encontra-se referência a vários tipos de validade, nomeadamente, validade de previsão (se um teste é
bom indicador de desempenhos futuros), validade de conteúdo (em que medida o teste contém
conteúdo relevante dos domínios que se pretende avaliar), validade concorrente (correlação do teste
com outro teste que avalia as mesmas dimensões) e validade de constructo (em que medida o teste
apresenta adequação do constructo, da competência que está a ser avaliada). No nosso estudo, realizou-
se a validade de constructo através da validade convergente (correlação com outro teste que avalia
domínios semelhantes), pela análise dos coeficientes de correlação de Pearson das pontuações finais
das versões curtas com a versão original do MMSE e pela análise fatorial.
O estudo de validade de critério foi analisado através da validade concorrente, pela
correlação entre as versões curtas e o teste de memória lógica e o teste de avaliação da capacidade de
abstração (Matrizes Progressivas de Raven), o qual foi usado na validação original do MMSE para a
população portuguesa e que faz parte da bateria neuropsicológica usada habitualmente para o estudo
das funções cognitivas (Garcia, 1984; Guerreiro, 1994, 1998).
Foram ainda estudadas a especificidade e a sensibilidade. A sensibilidade é a capacidade que
um teste apresenta para detetar indivíduos verdadeiramente positivos (diagnosticar corretamente
doentes), enquanto a especificidade corresponde à deteção de verdadeiros negativos (diagnosticar
corretamente indivíduos normais/sem a doença). O teste ideal, com 100% de sensibilidade e
especificidade raramente existe e o aumento da sensibilidade corresponde, geralmente, à diminuição
da especificidade. Assim, para a definição do ponto de corte deverá considerar-se a importância da
sensibilidade e especificidade do teste e considerando as implicações de optarmos por melhor
sensibilidade ou melhor especificidade. No nosso caso consideramos que será mais adequado optar
por uma melhor sensibilidade em detrimento da especificidade porque isso nos permite obter menos
falsos-negativos (sujeitos com defeito que são considerados normais) e também pelo facto de estarmos
a usar um teste de triagem, após o qual os sujeitos indicados como positivos, são submetidos a uma
avaliação neuropsicológica exaustiva e os falsos-positivos serão então excluídos.
A análise da especificidade e da sensibilidade foi realizada em todas as versões curtas, pela
análise das áreas sob a curva (receiver operating characterist - ROC), para dois pontos de corte
diferentes, em 4 versões do MMSE, usando o diagnóstico clínico como diagnóstico-padrão e
comparadas com a versão original MMSE. Este procedimento foi aplicado para análise da precisão
das diferentes versões selecionadas para o diagnóstico diferencial entre controlo e com diagnóstico de
“Defeito Cognitivo Ligeiro”, controlo vs demência e “Defeito Cognitivo Ligeiro” vs demência.
24
Resultados
a) Análise das características demográficas
O grupo de controlo não difere do grupo DCL, nas variáveis demográficas (género, idade e
escolaridade), mas ambos os grupos (controlo e DCL) diferem do grupo com demência no que se refere
à idade e escolaridade, sendo o grupo com demência mais velho e com menos escolaridade (quadro
4).
Escolaridade Média (dp) 8,7 (4,7) 9,2 (4,4) 6,6 (3,9) F= 11,6; p <0,001 *
*Anova e Teste Post Hoc – Bonferroni: controlo vs DCL – ns; controlo vs demência: p <0,001; DCL vs demência: p
<0,001.
Na análise de cada item do MMSE encontram-se diferenças significativas entre os dois grupos
(controlo vs DCL; p <0,05), exceto nos itens: “qual o nosso país”, nos 3 itens de retenção (pera, gato,
bola), no cálculo, na nomeação, na repetição da frase (“o rato rói a rolha”) e na cópia do desenho
(pentágonos) (quadro 5).
25
Quadro 5 –Comparação entre controlo e DCL - itens do MMSE
26
Quadro 5 (cont.) – Comparação entre controlo e DCL - itens do MMSE
Itens do MMSE Grupo N Média Desvio Padrão tstudent P
27
Quadro 5 (cont.) – Comparação entre controlo e DCL - itens do MMSE
28
Resultados da avaliação neuropsicológica
Como expectável, os grupos em estudo (controlo e DCL) apresentam diferenças significativas
nas variáveis cognitivas consideradas (memória: evocação de informação recente - memória lógica;
aprendizagem: pares de palavras e California Verbal Learning Test; abstração: Matrizes Progressivas
de Raven). Também têm diferenças nas escalas que avaliam a sintomatologia depressiva (GDS) e
queixas de memória (QSM) (quadro 6).
Desvio Estatística
Testes/Escalas Grupo N Média
Padrão ts; p<
Controlo 323 2.99 3.00
Escala Depressão
0.001*
Geriátrica - total DCL 447 4.59 3.34
Controlo 288 5.28 2.90
Queixas Subjetivas
0.001*
Memória - total
DCL 213 9.19 4.13
Controlo 151 13.72 4.37
Memória Lógica A
0.001*
(Evocação imediata)
DCL 452 6.66 3.92
Controlo 112 15.16 4.16
Memória Lógica A
0.001*
(Evocação diferida)
DCL 418 4.81 4.41
Controlo 54 17.89 12.63
Pares Palavras
0.001*
(Aprendizagem)
DCL 384 8.52 4.12
CVLT - Total de Controlo 92 47.80 16.51
evocação (1-5) 0.001*
(Aprendizagem) DCL 330 31.76 10.37
Controlo 92 9.54 2.83
MPRaven
0.001*
(abstração)
DCL 380 7.99 2.35
*Teste t-Student: controlo vs DCLp <0,001.
29
Construção das Versões Curtas do MMSE
Como referido anteriormente, o nosso objetivo, de construir uma versão mais breve do MMSE,
que não envolva material extra (necessidade de uso de papel e lápis ou de cartões com desenho e frase)
e com base nos resultados referidos no quadro 5, optou-se por excluir os itens referentes a linguagem
e cópia do desenho. A orientação será considerada na totalidade ou separadamente (orientação
temporal e orientação espacial). A tarefa de repetição será usada, para confirmação de que as palavras
foram corretamente ouvidas pelo sujeito, mas não será cotada. O cálculo será utilizado para
interferência entre a repetição e a evocação não será cotado.
Realizámos a análise fatorial em todas as versões, para compreendermos como as variáveis
podem estar agrupadas (associadas em fatores). A análise fatorial é aplicada com o objetivo de reduzir
as variáveis, agrupando-as em um número menor de fatores (dimensões do estudo), sendo possível
identificar as dimensões e facilitando a análise dos dados, uma vez que será obtido um número menor
de dimensões do que o número inicial de variáveis.
Análise Fatorial
O MMSE foi adaptado à população portuguesa em 1994, revelando diferentes valores de corte
em função da idade e escolaridade e valores diferentes dos referidos por Folstein et al (1975),
conseguindo-se obter valores satisfatórios de sensibilidade e especificidade quando foram
considerados pontos de corte em função da escolaridade (Guerreiro et al, 1994; Guerreiro, 1998).
Considerando-se o MMSE original (30 itens) e o grupo de controlo, a análise fatorial só poderá
ser realizada se eliminarmos as variáveis: “casa onde estamos”, “distrito onde vive”, Retenção
(repetição das 3 palavras), Nomeação (relógio; lápis), repetição de frase e leitura/compreensão de frase
(“Feche os olhos”), pelo facto do desvio padrão ser de zero nestas variáveis. Excluindo as referidas
variáveis, obtemos:
1 - Teste de esfericidade de Bartlett: mede se a análise fatorial é adequada ao problema, isto é, se
existe correlação suficientemente forte para que a análise fatorial possa ser aplicada. No nosso caso,
como a significância (p-valor - sig) é menor que 0,05 admitimos que a análise é adequada (quadro 7).
30
O teste KMO (Kaiser Meyer Olkin) mede a adequacidade da utilização da Análise Fatorial para a
respetiva base de dados. O valor obtido neste teste deve ser KMO 0,5, para que a análise seja
considerada possível e válida. O valor que obtivemos é inferior a 0,5 (0,474), indicando que não é
adequada a análise (quadro 7). No entanto, sendo o valor perto 0,5 e porque iremos realizar esta análise
nas versões curtas do MMSE, decidimos realizar a análise estatística.
2 - Comunalidades (proporção da variância, para cada variável, que é explicada pelos componentes
extraídos/fatores. Quanto maior a comunalidade, maior o poder de explicação da variável pelo fator.
O valor mínimo aceitável é de 0,50). Com exceção da questão 10 (andar em que estamos), os restantes
valores obtidos na nossa amostra mostram que as variáveis estão linearmente correlacionadas e, por
isso, devem ser incluídas na análise fatorial (quadro 8).
Quadro 8 - Comunalidades
Inicial Extração
MMSE_Or1_ano1 1,000 ,94
Or2_mês 1,000 ,76
Or3_dia 1,000 ,53
MMSE_Or4_estação 1,000 ,61
Or5_diaSemana 1,000 ,82
Or6_País 1,000 ,70
MMSE_Or8_Terra1 1,000 ,84
MMSE_Or10_andar1 1,000 ,17
Calc27 1,000 ,70
Calc24 1,000 ,75
Calc21 1,000 ,69
Calc18 1,000 ,63
Calc15 1,000 ,69
EVOC_PERA 1,000 ,54
EVOC_GATO 1,000 ,71
EVOC_BOLA 1,000 ,69
Ordens1 1,000 ,62
Ordens2 1,000 ,63
Ordens3 1,000 ,70
escrita_frase 1,000 ,56
MMSE_Desenho 1,000 ,56
31
3 - Variância Total explicada (indica a percentagem total da variância que é explicada pelos fatores
obtidos. Os fatores devem apresentar variância acumulada de pelo menos 60%). Ao olharmos para a
última parte da tabela (soma de rotação de carregamento ao quadrado - “rotation sums of squared
loadings”) a percentagem acumulada que apresentar valor igual ou superior a 60% determina o número
de fatores extraídos.
Os 8 fatores selecionados pela análise estatística explicam 66,02% da variância total (quadro 9).
Quadro 9 – Variância total explicada
Somas de extração de carregamentos ao Somas de rotação de carregamentos ao
Autovalores iniciais quadrado quadrado
% de %
Componente Total variância cumulativa Total % de variância % cumulativa Total % de variância % cumulativa
1 2,97 14,16 14,16 2,97 14,16 14,16 2,51 11,98 11,98
2 2,29 10,90 25,06 2,29 10,90 25,06 2,09 9,10 21,97
3 1,87 8,91 33,98 1,87 8,91 33,98 1,83 8,72 30,69
4 1,79 8,54 42,51 1,79 8,54 42,51 1,78 8,46 39,14
5 1,49 7,08 49,59 1,49 7,08 49,59 1,49 7,11 46,25
6 1,29 6,17 55,77 1,29 6,17 55,78 1,48 7,04 53,29
7 1,11 5,28 61,05 1,11 5,28 61,05 1,46 6,93 60,23
8 1,04 4,97 66,02 1,04 4,97 66,02 1,22 5,80 66,02
4 – Os fatores
Pela análise da matriz de componente rotativa (variáveis que pertencem a cada fator), os 8 fatores
extraídos apresentam o seguinte agrupamento (quadro 10):
Quadro 10 – Matriz de componente rotativa
Componente
12 3 4 5 6 7 8
1-MMSE_Or1_ano1 ,89 ,11 ,36
2-Or2_mês ,87
3.Or3_dia ,41 ,59
4-MMSE_Or4_estação ,19 ,68 ,23 -,23
5.Or5_diaSemana ,90
6-Or6_País ,11 ,15 ,80 -,13
7-MMSE_Or8_Terra1 ,91
8-Calc27 ,82 -,15
9-Calc24 ,80 ,28 -,14 ,11
10-Calc21 ,79 ,12 ,14 -,14
11-Calc18 ,49 ,35 ,16 -,19 ,44
12-Calc15 ,52 ,33 -,20 ,51
13-EVOC_PERA ,71 ,17
14-EVOC_GATO ,76 -,11 ,33 ,10
15-EVOC_BOLA ,73 ,34 -,15 ,12
16-Ordens1 ,319 ,70 ,17
17-Ordens2 ,20 ,75 ,13
18-Ordens3 ,31 ,27 ,72
19-escrita_frase ,19 -,15 -,18 ,59 ,26 ,20
20-MMSE_Desenho -,13 ,21 ,11 ,69
32
Pela análise da matriz podemos observar os seguintes fatores:
Fator 1 – cálculo (variáveis 8-12)
Fatores 2, 4, 5 - Orientação temporal (variáveis 1-5)
Fatores 4 e 6 – orientação Espacial (variáveis 6 e 7)
Fator 3 – Memória (evocação) (variáveis 13-15)
Fatores 6 e 7 – Linguagem – compreensão (variáveis 16-18)
Fator 5 – Linguagem escrita (frase) (variável 19)
Fator 8 – capacidade construtiva (desenho) (variável 20)
Se tivermos em consideração o conteúdo de cada variável, as variáveis 4 (estação do ano) e 5 (dia da
semana) referem-se à orientação temporal, mas surgem no fator 5 e 4, respetivamente, e não no fator
2 que será o fator correspondente à orientação temporal.
Em todas as versões curtas foi realizada uma análise fatorial semelhante à realizada para o
MMSE original (MMSE-30), como descrito anteriormente. A título de exemplo, descrevemos apenas
a análise realizada para a versão MMSE-21, apresentando os resultados das outras versões de forma
resumida.
33
MMSE-21 (versão de 21 itens)
Esta versão é constituída por todos os subtestes da versão original, excluindo-se apenas os 8
itens de linguagem e o desenho, indo ao encontro do nosso objetivo (a versão curta não deve incluir
subtestes que necessitem de material externo, como uso de papel e lápis ou de cartões). A versão fica
assim constituída pelos seguintes subtestes:
1 - Orientação total,
2 - Retenção,
3 - Cálculo,
4 – Evocação.
1 - Realizou-se o teste de esfericidade de Bartlett, revelando uma significância (p-valor - sig) menor
que 0,05, pelo que admitimos que a análise é adequada (quadro 11).
O teste KMO (Kaiser Meyer Olkin) apresenta um valor superior a 0,5 (0,584), pelo que é possível
realizar a análise (quadro 11).
2 – Na análise das comunalidades, os valores obtidos na nossa amostra são todos superiores a 0,5
(entre 0,581 e 0,889) mostrando que as variáveis estão linearmente correlacionadas e devem ser
incluídas na análise fatorial.
34
Quadro 12 – variância total explicada (versão de 21 itens – MMSE21)
Somas de extração de carregamentos ao Somas de rotação de carregamentos ao
Autovalores iniciais quadrado quadrado
% de %
Componente Total variância cumulativa Total % de variância % cumulativa Total % de variância % cumulativa
1 2,85 17,81 17,81 2,85 17,81 17,81 2,38 14,89 14,89
2 2,01 12,60 30,40 2,01 12,60 30,40 1,94 12,12 27,02
3 1,78 11,12 41,52 1,78 11,12 41,52 1,74 10,85 37,87
4 1,68 10,52 52,04 1,68 10,52 52,04 1,71 10,67 48,54
5 1,25 7,79 59,83 1,25 7,79 59,83 1,35 8,45 56,99
6 1,09 6,81 66,64 1,09 6,81 66,64 1,33 8,29 65,27
7 1,01 6,29 72,93 1,01 6,29 72,93 1,23 7,66 72,93
4 – Os fatores
Pela análise do gráfico scree plot, parece-nos que 4 fatores seriam adequados (fatores acima
do valor 1) e, pela matriz de componentes, tendo em atenção o conteúdo das questões, o fator 5
poderia adicionar-se ao 2, juntamente com a questão Or5 dia Semana do fator 4, constituindo a
domínio da orientação temporal. No fator 1 encontra-se o domínio do cálculo. No fator 3 temos a
memória/evocação. As questões que constituem a orientação espacial apresentam-se dispersas nos
fatores 4, 6 e 7 (quadro 13).
35
MMSE-13 (versão 13 itens)
A partir da versão anterior (21 itens) retirou-se os 5 itens do cálculo e os 3 itens de retenção
(repetição das 3 palavras), pois estes itens não apresentavam diferenças significativas entre os grupos
controlo e DCL. A versão-13 fica assim constituída pelos seguintes subtestes:
1 - Orientação total,
2 – Evocação,
3 - Retenção e cálculo (são aplicadas, mas não cotados).
1 - Teste de esfericidade de Bartlett: p< 0,05; KMO (Kaiser Meyer Olkin) apresenta um valor
superior a 0,5 (0,523)
2 –Comunalidades: valores entre 0,58 e 0,89, exceto para a questão Or10 (andar onde estamos) que
apresenta 0,04, pelo que foi retirada.
3 - Variância Total explicada: A percentagem acumulada é de 70,989% e foram extraídos 5 fatores.
4 – Os fatores
De acordo com o referido para o MMSE-21, consideramos que deveriam ser considerados
apenas 3 fatores: fator 1 - orientação temporal (variáveis 1-4 e variável 5 do fator 3); Memória
(Evocação): varáveis 9-11; orientação espacial: variáveis 6 (fator 5) e variável 7 (fator 3) (quadro 14).
No entanto, o dia e a estação do ano parecem constituir uma estrutura independente do ano e do mês.
Quadro 14 - Matriz de componente rotativa
Componente
1 2 3 4 5
1-MMSE_Or1_ano1 ,95 ,11
2- Or2_mês ,94
3 - Or3_dia ,29 ,73 -,30
4- MMSE_Or4_estação -,11 ,81 ,23
5- Or5_diaSemana ,92
6- Or6_País ,13 ,20 ,88
7- MMSE_Or8_Terra1 ,92
8- MMSE_Or10_andar1 ,17
9- EVOC_PERA ,77 -,25
10-EVOC_GATO ,79 ,32
11- EVOC_BOLA ,71 ,29
36
a questão “o andar onde estamos” revelou um valor muito baixo na análise das comunalidades (0,167),
optamos por excluir os 5 itens referentes à orientação espacial. A versão-8 fica assim constituída pelos
seguintes subtestes:
1- Orientação temporal total,
2 – Evocação,
3 - Retenção (é aplicada, mas não cotada).
1 - Teste de esfericidade de Bartlett: p< 0,05; KMO (Kaiser Meyer Olkin) apresenta um valor
tangencialmente superior a 0,5 (0,539)
2 –Comunalidades: valores entre 0,57 e 0,91, exceto para a questão Or5 (dia da semana) que apresenta
0,08, pelo que foi retirada.
3 - Variância Total explicada. A percentagem acumulada é de 61,77% e foram extraídos 3 fatores.
4 – Os fatores
A análise extrai 3 fatores, considerando as questões de orientação temporal divididas em dois fatores
e, curiosamente, o dia da semana não é incluído em nenhum fator. Tal como referido nas análises das
versões anteriores, consideramos que deveriam ser incluídos apenas 2 fatores: fator 1 - orientação
temporal (variáveis 1-2 e variáveis 3 e 4 do fator 3); Fator 2 - Memória (Evocação): varáveis 6-8
(quadro 15).
Quadro 15 - Matriz de componente rotativa
Componente
1 2 3
1 - MMSE_Or1_ano1 ,95 ,11
2 - Or2_mês ,94
3 - Or3_dia ,31 ,72
4 -MMSE_Or4_estação -,14 ,13 ,82
5 - Or5_diaSemana
6 - EVOC_PERA ,75
7 - EVOC_GATO ,81
8 - EVOC_BOLA ,71 ,28
37
MMSE-6 (versão de 6 itens)
Com base na de Callahan et al (2002), e porque “o dia da semana” e “estação do ano” tem
mostrado constituir um fator separado, retirámos estes dois itens e ficámos com uma versão de apenas
6 questões, que incluem: os seguintes subtestes:
1- 3 itens da orientação temporal: dia do mês, mês, dia da semana,
2- Evocação,
3 - Retenção (é aplicada, mas não cotada).
1 - Teste de esfericidade de Bartlett: p< 0,05; KMO (Kaiser Meyer Olkin) apresenta um valor
tangencialmente superior a 0,5 (0,539)
2 – Comunalidades: valores entre 0,55 e 0,88, exceto para a questão Or3 (dia do mês) que apresenta
0,234 pelo que foi retirada.
3 - Variância Total explicada. A percentagem acumulada é de 61,67% e foram extraídos 2 fatores.
4 – Os fatores
A análise extrai 2 fatores: fator 1 - orientação temporal (variáveis 1-3); Fator 2 - Memória (Evocação):
varáveis 4-6 (quadro 16).
Componente
1 2
MMSE_Or1_ano1 ,94
Or2_mês ,91
Or3_dia ,47 ,11
EVOC_PERA ,74
EVOC_GATO ,79
EVOC_BOLA ,16 ,73
38
Gráfico 2 – Análise de componentes principais
Quadro 17 – comparação entre as pontuações das versões curtas do MMSE entre os grupos de controlo
(N=382) e DCL (N= 467).
39
Validade
Validade de constructo
A validade de constructo foi avaliada através da validade convergente, analisando se as versões
curtas se correlacionam com a versão original. Todas as versões apresentam correlação forte entre si e
com a versão original (correlação de Pearson; p <0.001), apresentando também correlação com a idade.
No que se refere à escolaridade, apenas as versões de 30 e de 21 itens têm correlação
significativa com a escolaridade (Quadro 18). De referir ainda que a idade e a escolaridade apresentam
correlação negativa entre si, significando que quanto mais velhos, menor é a escolaridade. Este é um
resultado habitual encontrado na nossa população, quando se estudam populações dentro do grupo
etário semelhante ao do nosso estudo (Guerreiro, 1998). Consideram-se fortes os valores de correlação
superiores a 0,80 (Maroco, 2007).
Todas as versões curtas apresentam uma forte correlação com a versão original e com a idade.
A escolaridade só apresenta correlação significativa com a versão original e com a versão de 21 itens
(Quadro 18).
Quadro 18 – Coeficientes de correlação (Pearson) entre as versões curtas do MMSE com a versão original e
com as variáveis demográficas
MMSE21 MMSE13 MMSE8 MMSE6 Idade Escolaridade
40
Sensibilidade e especificidade
Na análise da sensibilidade e especificidade, tentaremos encontrar valores que incluam o mínimo de
falso-negativos, pelo que o ponto de corte será definido de forma a aumentar a sensibilidade do teste.
Controlo vs DCL
A análise da sensibilidade e especificidade das 4 versões mostra-nos que não existem
diferenças relevantes entre elas, sendo, no entanto, a versão de MMSE-8 a que apresenta um valor
AUC ligeiramente mais alto (quadro 20) (gráfico 3). Todas as versões têm também um comportamento
semelhante ao da versão original. Apesar das diferenças entre as versões não serem muito relevantes
no que se refere a sensibilidade, especificidade, a versão 8 será a que melhor corresponde ao nosso
objectivo, no ponto de corte 6/7 (sensibilidade: 0,890; especificidade: 0,659) ou no ponto de corte 5/6
(sensibilidade: 0,966; especificidade: 0,474) (quadro 21).
Quadro 20- Area Under the Curve
Área sob a curva
Intervalo de Confiança 95%
Variável (eis) de resultado de Assintótico
teste Área Erro Padrãoa Sig. assintóticab Limite inferior Limite superior
MMSE-6 ,84 ,01 ,000 ,78 ,84
MMSE-13 ,83 ,01 ,000 ,76 ,82
MMSE-8 ,85 ,01 ,000 ,79 ,85
MMSE-21 ,85 ,01 ,000 ,78 ,84
MMSE-30 ,85 ,01 ,000 ,78 ,84
41
Gráfico 3 –Area Under the Curve – 4 versões diferentes do MMSE – controlo vs DCL.
42
Quadro 21 - Versões curtas e versão original do MMSE – valores de sensibilidade, especificidade - Controlo vs
DCL.
Para melhor visualização da AUC, comparamos apenas a versão original do MMSE com a versão de
8 itens (gráfico 4)
43
Grupo com demência vs controlo:
Aplicando as versões curtas ao grupo com demência e comparando com o grupo controlo
obtêm-se valores de sensibilidade e de especificidade perto dos 100% (quadros 22 e 23) (gráfico 5).
Em comparação com a discriminação DCL vs controlo, observa-se um aumento relevante da
especificidade do teste, mantendo-se os mesmos valores de sensibilidade. Se considerarmos o ponto
de corte de 22/23, no MMSE original (MMSE30), encontramos uma sensibilidade de 100%, embora
neste caso, a especificidade baixa para 0,702.
Quadro 22.- Versões curtas e versão original do MMSE – valores de sensibilidade, especificidade e
valores preditivos - demência vs controlo
MMSE6
0.97 0.90
3/4
Pontos de
MMSE6 0.98
corte 0.90 0.94
4/5
MMSE8
0.97 0.92
5/6
Pontos de
0.98
corte MMSE8
0.89 0.95
6/7
MMSE13
0.97 0.94
10/11
Pontos de
MMSE13 0.989
corte 0.88 0.98
11/12
MMSE21
18/19 0.90 0.96
Pontos de
corte 0.98
MMSE21
0.75 0.98
19/20
MMSE30
0.93 0.95
26/27
Pontos de
0.98
corte MMSE30
0.85 0.95
27/28
44
Quadro 23 - Area Under the Curve – AUC
Intervalo de Confiança 95%
Assintótico
Variável(is) Erro Sig. Limite Limite
de resultado Área
Padrão assintótica inferior superior
de teste
MMSE21 ,98 ,007 ,000 ,97 ,998
MMSE13 ,99 ,005 ,000 ,98 1,000
MMSE8 ,98 ,007 ,000 ,97 ,997
MMSE6 ,98 ,008 ,000 ,96 ,995
MMSE30 ,98 ,017 ,000 ,97 ,998
Gráfico 5 - Area Under the Curve – 4 versões diferentes do MMSE – controlo vs demência
45
Quadro 24- Versões curtas e versão original do MMSE – valores de sensibilidade, especificidade
MMSE6
0.56 0.91
3/4
Pontos de
0.84
corte MMSE6
0.36 0.94
4/5
MMSE8
0.53 0.92
5/6
Pontos de
0.87
corte MMSE8
0.34 0.95
6/7
MMSE13
0.48 0.94
10/11
Pontos de
0.88
corte MMSE13
0.31 0.98
11/12
MMSE21
18/19 0.41 0.96
Pontos de
corte 0.88
MMSE21
0.27 0.98
19/20
MMSE30
0.51 0.95
26/27
Pontos de 0.91
corte MMSE30
0.34 0.95
27/28
Gráfico 6 - Area Under the Curve – 4 versões diferentes do MMSE – DCL vs demência.
46
Quadro 25 - Área Under the Curve - AUC Área sob a curva
Intervalo de Confiança 95%
Assintótico
Variável(is) Erro Sig. Limite Limite
de resultado Área
Padrão assintótica inferior superior
de teste
MMSE21 ,884 ,020 ,000 ,845 ,923
MMSE13 ,881 ,021 ,000 ,840 ,921
MMSE8 ,866 ,023 ,000 ,822 ,910
MMSE6 ,836 ,023 ,000 ,790 ,882
MMSE30 ,897 ,020 ,000 ,858 ,937
47
Discussão e conclusão
O MMSE é um teste que se tem mostrado pouco sensível na discriminação entre sujeitos
normais e com Defeito Cognitivo Ligeiro. Alguns autores referem que a baixa sensibilidade do teste é
devido ao facto de ter poucos itens de memória ou de não conter itens para avaliar as funções
executivas, embora continue a ser o instrumento de rastreio mais utilizado internacionalmente (Iliffe
et al., 2009; Freitas, 2015; Breton et al., 2018). Vários trabalhos têm sido realizados para melhorar as
características psicométricas deste instrumento, aumentando ou diminuindo itens ou modificando o
sistema se classificação, mas a melhoria dos valores de sensibilidade ou de especificidade não tem
sido relevante, na maioria dos casos (Mitchell, 2009).
No nosso estudo, o facto das versões de 21, 13, 8 e 6 itens não apresentarem correlação com a
escolaridade leva-nos a optar por uma destas 3 versões como a versão curta definitiva. A opção que
nos permite uma melhor classificação na discriminação entre sujeitos normais e sujeitos com “Defeito
Cognitivo Ligeiro”, que é o objetivo principal do nosso trabalho, será a versão 8, no ponto de corte
5/6, a qual apresenta uma boa sensibilidade (0,97) embora a especificidade seja baixa (0,47). No
entanto, o facto de a especificidade ser baixa, o que significa que muitos sujeitos normais poderão ser
considerados como tendo defeito (falsos positivos), não será uma questão importante no contexto de
um teste de triagem/rastreio. O MMSE é um teste de rastreio e não de diagnóstico, pelo que será mais
indicada uma boa sensibilidade do que uma boa especificidade, pois posteriormente estes sujeitos irão
realizar uma avaliação neuropsicológica mais exaustiva, de diagnóstico, onde serão classificados com
maior precisão. Esta versão curta do MMSE (versão: MMSE-8) será designada de Mini-Teste de
Rastreio (MTR).
Têm sido realizados vários estudos com modificações ao MMSE original, no sentido de
melhorar os seus valores de sensibilidade e de especificidade, reduzindo a inclusão de falsos positivos
ou de falsos negativos. Alguns autores reduzem o número de itens do teste, criando versões curtas.
Haubois et al. (2011) criou uma versão de 6 itens, selecionando apenas os itens de memória e obtendo
valores de sensibilidade e especificidade ligeiramente mais alta do que o MMSE original. No entanto,
este estudo teve como objetivo a deteção de demência e não de casos com “Defeito Cognitivo Ligeiro”
como é o caso do nosso trabalho. Lou et al (2007) desenvolveu uma versão de 16 itens pela seleção
dos itens que se mostraram mais eficientes na avaliação do funcionamento cognitivo tendo conseguido
uma sensibilidade de 100% e uma especificidade de 97,4% para casos com demência. Este estudo para
48
além de não ter tido como foco a deteção de casos com “Defeito Cognitivo Ligeiro”, como o nosso, é
também uma versão mais longa do que a nossa.
Apresentamos como limitação a baixa especificidade, mas como referido anteriormente, este é
preferível (falsos positivos) ao inverso, ou seja, que sejam enviados sujeitos para avaliações
neuropsicológicas que tenham tido, no teste de rastreio, possível DCL do que serem sinalizados como
normais (falsos negativos).
Como pontos fortes o nosso estudo apresenta uma boa sensibilidade, ser um teste de rastreio
fácil e rápido de aplicar, fácil de cotar, não necessita de material extra, valores de sensibilidade e
especificidade semelhantes ao da versão original e a nossa amostra é bastante elevada comparada com
a maior parte dos estudos existentes na literatura.
Em suma, embora os nossos valores de sensibilidade e especificidade ou de precisão
diagnóstica sejam semelhantes aos do original, na maioria das modificações, tal como os nossos
resultados, consideramos que estas versões têm vantagem sobre o original, na medida em que o seu
tempo de aplicação é mais curto, conseguindo-se o mesmo resultado. O ideal seria encontrar uma
excelente especificidade e sensibilidade, mas isso não tem sido conseguido, dando-se preferência a
uma melhor sensibilidade (identificação de sujeitos com defeito) em detrimento da especificidade,
porque a melhor sensibilidade será mais útil, pois um resultado positivo no teste requere sempre a
realização de um exame neuropsicológico mais específico.
49
Referências Bibliográficas
Abdel-Aziz, K. & Larner, A. J. (2015). Six-item cognitive impairment test (6CIT): Pragmatic
diagnostic accuracy study for dementia and MCI. International Psychogeriatrics, 27(6), 991–997.
[Link]
Albert, M. S., DeKosky, S. T., Dickson, D., Dubois, B., Feldman, H. H., Fox, N. C., Phelps, C. H.
(2011). The diagnosis of mild cognitive impairment due to Alzheimer’s disease: Recommendations
from the National Institute on Aging-Alzheimer’s Association workgroups on diagnostic guidelines
for Alzheimer’s disease. Alzheimer’s and Dementia, 7(3), 270–279.
[Link]
American Psychiatric Association. (2014). DSM 5: Manual de Diagnóstico e Estatística das
Perturbações Mentais. Lisboa: Climepsi Editores.
Barreto J, Leuschner A, Santos F, Sobral M. (2008). Geriatric Depression Scale (GDS). In de
Mendonça A, Guerreiro M (Eds), Escalas e Testes na Demência, ed 2 (pp. 71 – 72). Lisboa: Grupo
de Estudos de Envelhecimento Cerebral e Demência,
Blessed, G., Tomlinson, B. E., & Roth, M. (1968). The association between quantitative measures
of dementia and of senile change in the cerebral grey matter of elderly subjects. The British Journal
of Psychiatry, 114(512), 797-811.
Bolla KI, Lindgren KN, Bonaccorsy C, Bleecker ML. (1991). Memory complaints in older adults.
Fact or fiction? Arch Neurol.
Borson S, Scanlan J, Brush M, Vitaliano P, Dokmak A. (2000) The mini-cog: a cognitive ‘vital
signs’ measure for dementia screening in multi-lingual elderly. Int J Geriatr
Psychiatry. ;15(11):1021– 1027.
Borson, S., Scanlan, J. M., Chen, P. & Ganguli, M. (2003). The Mini-Cog as a screen for dementia:
Validation in a population-based sample. Journal of the American Geriatrics Society, 51(10), 1451–
1454. [Link]
Bouman, Z., Hendriks, M. P. H., Aldenkamp, A. P. & Kessels, R. P. C. (2015). Clinical validation
of the WMS-IV-NL brief cognitive status exam (BCSE) in older adults with DCL or dementia.
International Psychogeriatrics, 27(2), 221–229. [Link]
Breton, A, Casey, D, Arnaoutoglou, N.A. (2019). Cognitive tests for the detection of mild cognitive
impairment (MCI), the prodromal stage of dementia: Meta‐analysis of diagnostic accuracy
[Link] J Geriatr Psychiatry.34:233–242. [Link]
50
Callahan, C. M., Unverzagt, F. W., Hui, S. L., Perkins, A. J. & Hendrie, H. C. (2002). Six-item
screener to identify cognitive impairment among potential subjects for clinical research. Medical
Care, 40(9), 771–781. [Link]
Campbell, D. T. & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-
multimethod matrix. Psychological Bulletin, 56, 81-105.
Cardoso, S., Silva, D., de Mendonca, A., Guerreiro, M. (2014). Non literal language deficits in mild
cognitive impairment. Psychogeriatrics. 14 (4): 222-8. Doi:10.1111/psyg.12101.
Carneiro, J. P. & Cabral, H. (2016). Distinguishing dementia from depression in the elderly: a case
report. Revista Portuguesa de Medicina Geral E Familiar, 32 (2), 118 – 124.
Cercy, S. P., Simakhodskaya, Z., & Elliott, A. (2010). Diagnostic accuracy of a new instrument for
detecting cognitive dysfunction in an emergent psychiatric population: The brief cognitive screen.
Academic Emergency Medicine, 17 (3), 307 – 315. [Link]
2712.2010.00682.x.
Coelho, S., Guerreiro, M., Chester, C., Silva, D., Maroco, j., Paglieri, F., de Mendonça, A. (2016).
Delay Discounting in mild cognitive impairment, Journal of Clinical and experimental
Neuropsychology.
Cronbach, L.J. & Meehl, P. (1955). Construct validity in psychological tests, Psychological
Bulletin, 52, 4, 281-302.
Crook, T., Bartus, R. T., Ferris, S. H., Whitehouse, P. Cohen, G. D., & Gershon, S. (1986). Age —
associated memory impairment: proposed diagnostic criteria and measures of clinical
change. Developmental Neuropsychology, 2, 261-276.
Delis, D. C., Kramer, J. H., Kaplan, E., & Ober, B. A. (1987). California verbal learning and
memory test (Manual). San Antonio, TX: Psychological Corporation.
Devenney, E., Hodges, J. R., Tombaugh, T. N., Mclntyre, N. J., Huisingh, C., Wadley, V., Owsley,
C. (1992). Relationship between Areas of Cognitive Functioning on the Mini-Mental State
Examination and Crash Risk. Practical Neurology, 3(1), 922–935. [Link]
3956(75)90026-6.
Devenney, E., & Hodges, J. R. (2017). The Mini-Mental State Examination: Pitfalls and limitations.
51
Practical Neurology, 17(1), 79–80. [Link]
Deveugele M, Derese A, Brink-Muinen A, Bensing J, Maeseneer J. (2002). Consultation length in
general practice: cross sectional study in six European countries. Primary care; 325:1-6.
Diniz B,Yassuda M, Nunes P, Randovic M &Forlenza O. Mini – mental State Examination
performance in mild cognitive impairement subtypes. Internacional Psychogeriatrics. (2007); 19:4,
647-656.
Farias S T, Mungas D, Reed B R, D Harvey, DeCarli C. (2009). Progression of Mild Cognitive
Impairment to Dementia in Clinic- vs Community-Based Cohorts. Arch Neurol.; 66(9):1151-1157.
Folstein, M. F., Folstein, S. E. & McHugh, P. R. (1975). A practical state method for. Journal of
Psychiatric Research, 12(3), 189–198. [Link] (75)90026-6.
Freitas, S., Simões, M., Martins, C., Vilar, M. & Santana, I. (2010). Estudos de Adaptação do
Montreal Cognitive Assessment (MoCA) Para a População Portuguesa. Avaliação Psicológica,
9(3),345–357.
Freitas, S., Simões, M. R., Alves, L., & Santana, I. (2015). The relevance of sociodemographic and
health variables on MMSE normative data. Applied Neuropsychology: Adult, 22(4), 311-319.
Garcia, C. (1984). Doença de Alzheimer, problemas do diagnóstico clínico (Doctoral Dissertation).
Faculty of Medicine of Lisbon, Lisbon.
Garcia, C. (2008). Escala de Demência de Blessed; in de Mendonça A, Guerreiro M (eds): Escalas
e Testes na Demência, ed 2. Grupo de Estudos de Envelhecimento Cerebral e Demência, Lisboa,
pp 103–106.
Ginó, S., Mendes, T., Ribeiro, F., de Mendonça, A., Guerreiro, M., Garcia, C. (2008). Escala de
Queixas Subjectivas de Memória [Subjective memory complaints (SMC)]. In A. de Mendonça &
M. Guerreiro (Eds.), Escalas e Testes na Demência.
Ginó, S., Mendes, T., Maroco, J., Ribeiro, F., Schmand, B. A., De Mendonça, A. & Guerreiro, M.
(2010). Memory complaints are frequent but qualitatively different in young and elderly healthy
people. Gerontology, 56(3), 272–277. [Link]
Gagnon M, Dartigues JF, Mazaoux JM, Dequae L, Letenneur L, Giroire JM, Barberger-Gateau
P.(1994). Self-reported memory complaints and memory performance in elderly French community
residents: results of the PAQUID research program. Neuroepidemiology; 1 3: 1 45–154.
Grace, J., Nadler, J. D., White, D. A., Guilmette, T. J., Giuliano, A. J., Monsch, A. U. & Snow, M.
G. (2015). Modified Mini-Mental. AHA Journals.
Guerreiro, M.; Silva, AP.; Botelho, M. (1994). Adaptação à população portuguesa do trabalho do
52
Mini Mental State Examination (MMSE). Rev Port Neural, 1–9.
Guerreiro, M. (1998). Contributo da Neuropsicologia para o Estudo das Demências (Doctoral
Dissertation). Faculty of Medicine of Lisbon.
Grut M, Jorm AF, Fratiglioni L, Forsell Y, Viitanen M, Win- blad B. (1993). Memory complaints
of elderly people in a community survey: variation according to dementia stage and depression. J
Am Geriatr SOC; 41:1295.
Haubois, G., Annweiler, C., Launay, C., Fantino, B., de Decker, L., Allali, G., & Beauchet, O.
(2011). Development of a short form of Mini-Mental State Examination for the screening of
dementia in older adults with a memory complaint: a case control study. BMC geriatrics, 11(1), 59.
Huisingh, C., Wadley, V., McGwin Jr., G. & Owsley, C. (2018). Relationship between Areas of
Cognitive Functioning on the Mini-Mental State Examination and Crash Risk. Geriatrics, 3(1), 10.
[Link]
Iliffe S, Robinson L, Brayne C, Goodman C, Rait G, Manthorpe J, et al. (2009). Primary care and
dementia: 1. Diagnosis, screening and disclosure. Int J Geriatr Psychiatry. 24:895—901.
INE. (2017). Retrieved April 4, 2(018), from [Link].
Jonker C, Geerlings MI, Schmand B. (2000). Are memory complaints predictive for dementia? A
review of clinical and populationbased studies. Int J Geriatr Psychiatry; 15: 9 83–991.
Kalbe, E., Kessler, J., Calabrese, P., Smith, R., Passmore, A. P., Brand, M. and Bullock, R. (2004),
DemTect: a new, sensitive cognitive screening test to support the diagnosis of mild cognitive
impairment and early dementia. Int. J. Geriat. Psychiatry, 19: 136-143. doi:10.1002/gps.1042.
Kessler J, Calabrese P, Kalbe E, et al. (2000). DemTect: Ein neues Screening-Verfahren zur
Unterstu¨tzung der Demenzdiagnostik. Psycho 26: 343–347.
Kokmen, E., Naessens, J. M., & Offord, K. P. (1987). A short test of mental status: description and
preliminary results. In Mayo Clinic Proceedings (Vol. 62, No. 4, pp. 281-288). Elsevier.
Kokmen, E., Smith, G. E., Petersen, R. C., Tangalos, E., & Ivnik, R. C. (1991). The short test of
mental status: correlations with standardized psychometric testing. Archives of neurology, 48(7),
725-728.
Kral, V. -A. (1962). Senescent forgetfulness: Benign and malignant. Canadian Medical Association
Jounal, 86, 257-68.
Lawton, M. P., Broody, E. M. (1969). Assessment of older people: self-maintaining and
instrumental activities of daily living. Gerontologist. 9, 179-189. Doi:
10.1093/geront/9.3_Part_1.179.
53
Levy, R. (1994). Aging — associated cognitive decline. International Psychogeriatry, 6, 63-68.
Lou, M. F., Dai, Y. T., Huang, G. S., & Yu, P. J. (2007). Identifying the most efficient items from
the Mini‐Mental State Examination for cognitive function assessment in older Taiwanese
patients. Journal of Clinical Nursing, 16(3), 502-508.
Madureira, S. & Verdelho, A. (2008). Istrumental Activities of Daily Living Scale (IADL). In De
Mendonça, A. & Guerreiro, M. (Eds). Escalas e Testes na Demência. Grupo de Estudos de
Envelhecimento Cerebral e Demência (3rd edition), pp. 121-124. Lisboa.
Maroco, J. (2007). Análise Estatística com Utilização do SPSS. 3ª ed; Editor: Edições Sílabo.
Maroco, J., Silva, D., Rodrigues A., Guerreiro, M., Santana, I., and A. de Mendonça, A. (2011).
“Data mining methods in the prediction of Dementia: A real-data comparison of the accuracy,
sensitivity and specificity of linear discriminant analysis, logistic regression, neural networks,
support vector machines, classification trees and random forests.,” BMC Res. Notes, vol. 4, no. 1,
p. 299.
McDowell, I., Kristjansson, B., Hill, G. B. & Hébert, R. (1997). Community screening for dementia:
The Mini Mental State Exam (MMSE) and modifed Mini-mental State Exam (3MS) compared.
Journal of Clinical Epidemiology, 50(4), 377–383. [Link]
7.
Mendes T, Ginó S, Ribeiro F, Guerreiro M, Sousa G, Ritchie k, de Mendonca A. (2008). Memory
complains in healthy young and elderly adults: realibility of memory reporting. Aging and Mental
Health; 12 177-182.
Mendonça, A., Simões do Couto, F. (2005) Terapêutica Farmacológica da Demência. A Doença de
Alzheimer e Outras Demências em Portugal. Alexandre Castro-Caldas e Alexandre de Mendonça.
Edição: Lidel, outubro; páginas: 111-120; 250.
Mendonça A, Felgueiras H, Verdelho A, Câmara S, Grilo C, Maroco J, Pereira A, Guerreiro M.
(2018) Memory complaints in amnestic Mild Cognitive Impairment:More prospective or
retrospective? Int J Geriatr Psychiatry. doi: 10.1002/gps.4886.
Millis, S. R., Malina, A. C., Bowers, D. A., & Ricker, J. H. (1999). Confirmatory fator analysis of
the Wechsler Memory Scale-III. Journal of Clinical and Experimental Neuropsychology, 21(1), 87-
93.
Mitchell A.J. (2008). the clinical significance of subjective memory complaints in the diagnosis of
mild cognitive impairment and dementia: a meta-analysis. Int J Geriatr Psychiatry
54
Nov;23(11):1191-202. doi: 10.1002/gps.2053.
Mitchell Alex J. (2009) A meta-analysis of the accuracy of the mini-mental state examination in
the detection of dementia and mild cognitive impairment. Journal of Psychiatric Research; 43:411-
431.
Morgado, J., Rocha, C. S., Maruta, C., Guerreiro, M., & Martins, I. P. (2009). Novos Valores
Normativos do Mini-Mental State Examination New Normative Values of Mini-Mental State
Examination. Sinapse®, 9 (2), 10-16.
Nasreddine, Z. S., Phillips, N. A., Bédirian, V., Charbonneau, S., Whitehead, V., Collin, I.,
Chertkow, H. (2005). The Montreal Cognitive Assessment, MoCA: a brief screening tool for mild
cognitive impairment. J Am Geriatr Soc, 53(4), 695–699. [Link]
5415.2005.53221.x.
O’Caoimh R, Gao Y, McGlade C, Healy L, Gallagher P, Timmons S, Molloy DW (2012)
Comparison of the Quick 607 Mild Cognitive Impairment (QMCI) screen and the SMMSE 608 in
screening for mild cognitive impairment. Age Ageing 41, 609 624-629.
O’Connor DW, Pollitt PA, Roth M, Brook PB, Reiss BB. (1990). Memory complaints and
impairment in normal, depressed and de- mented elderly persons identified in a community survey.
Arch Gen Psychiatry; 47:224-227.
Pandya SY, Clem MA, Silva LM, Woon FL. (2016). Does mild cognitive impairment always lead
to dementia? A review. J Neurol Sci 369, 57-62.
Petersen, R. C., Smith, G. E.; Waring, S. C., Ivnik, R. J.,Tangalos E. G. (1999). Mild cognitive
impairment: clinical characterization and outcome. Arch Neurol, 56, 303–309.
Petersen,R. C., Doody, R., Kurz, A., Mohs, R. C., Morris, J. C., Rabins, P. V., Ritchie, K, Rossor,
M. (2001). Current Concepts in Mild Cognitive Impairment. Arch Neurol, 58.
Petersen RC, Roberts RO, Knopman D, Boeve BF, Geda YE, Ivnik RJ. (2009). Mild cognitive
impairment: ten years later. Arch Neurol; 66: 1447-55.
Portet F, Ousset PJ, Visser PJ, Frisoni GB, Nobili F, Scheltens P, Vellas B, Touchon J. (2006) MCI
Working Group of the European Consortium on Alzheimer’s Disease (EADC): Mild cognitive
impairment (MCI) in medical practice: a critical review of the concept and new diagnostic
procedure. Report of the MCI Working Group of the European Consortium on Alzheimer’s Disease.
J Neurol Neurosurg Psychiatry ;77:714– 718.
PORDATA. (2016). Retrieved April 5, 2018, from [Link].
Raven JC, Raven JE, Court JH (1956) Coloured progressive matrices: Sets A, AB, B. Oxford
55
Psychologist Press.
Reid LM, MacLullich AMJ. (2006). Subjective memory complaints and cognitive impairment in
older people. Dement Geriatr Cogn Disord; 2 2: 471–485.
Ribeiro F, Guerreiro M, de Mendonça A (2007). Verbal learning and memory deficits in Mild
Cognitive Impairment. J Clin Exp Neuropsychol; 29:187–197.
Riedel-Heller SG, Matschinger H, Schork A, Angemeyer MC. (1999). Do memory complaints
indicate the presence of cognitive impairment? Results of a field study. European Archives of
Psychiatry and Clinical Neuroscience, 249 197-204.
Roccaforte, W. H., Burke, W. J., Bayer, B. L., & Wengel, S. P. (1992). Validation of a telephone
version of the Mini‐Mental State Examination. Journal of the American Geriatrics Society, 40(7),
697-702.
Silva, D., Guerreiro, M., Faria, C., Maroco, J., Schmand, B. A., & Mendonça, A. D. (2014).
Significance of subjective memory complaints in the clinical setting. Journal of geriatric psychiatry
and neurology, 27(4), 259-265.
Schlindwein-Zanini, R. (2010). Avaliação neuropsicológica de adultos. Avaliação
Neuropsicológica, 234-246.
Schmand B., Jonker C., Hooijer C., and Lindeboom J. (1996). Subjective memory complaints may
announce dementia. Neurology, vol. 46, no. 1, pp. 121–125.
Schofield PW, Marder K, Dooneief G, Jacobs DM, Sano M, Stern Y. (1997). Association of
subjective memory complaints with subsequent cognitive decline in community-dwelling elderly
individuals with baseline cognitive impairment. Am J Psychiatry; 1 54: 609– 615.
Schultz-Larsen, K., Lomholt, R. K. & Kreiner, S. (2007) a. Mini-Mental Status Examination: A
short form of MMSE was as accurate as the original MMSE in predicting dementia. Journal of
Clinical Epidemiology, 60(3), 260–267. [Link] .
Schultz-Larsen, K., Kreiner, S., & Lomholt, R. K. (2007) b. Mini-Mental Status Examination:
Mixed Rasch model item analysis derived two different cognitive dimensions of the MMSE. Journal
of Clinical Epidemiology, 60(3), 268–279. [Link]
Simões do Couto F, Lunet N, Ginó S, Chester C, Freitas V, Maruta C, Figueira ML, de Mendonça
A. (2016) Depression with melancholic features is associated with higher long-term risk for
dementia. J Affect Disord. 202:220-nine. doi: 10.1016/[Link].2016.05.026.
Tierney MC, Szalai JP, Snow WG. (1996) Prediction of probable Alzheimer’s disease in memory-
impaired patients: a prospective longitudinal study. Neurology. 46:661-665.
56
Standish, T. I., Molloy, D. W., Cunje, A. and Lewis, D. L. (2007). Do the ABCS 135 short cognitive
screen and its subtests discriminate between normal cognition, mild cognitive impairment and
dementia? Int. J. Geriat. Psychiatry, 22: 189-194. doi:10.1002/gps.1659.
Tombaugh, T. N. (2005). Test-retest reliable coefficients and 5-year change scores for the MMSE
and 3MS. Archives of Clinical Neuropsychology, 20(4), 485–503.
[Link]
Vestergren P; Nilsson L-G. (2011). Perceived Causes of Everyday Memory Problems in a
Population-based Sample Aged 39-99. Applied Cognitive Psychology; Appl. Cognit. Psychol. 25:
641-646.
Wechsler, D. (1945). A standardized memory scale for clinical use. The Journal of Psychology,
19(1), 87–95. [Link]
Wilkinson D, Stave C, Keohane D & Vincenzino. (2004). The Role of General Practitioners in the
Diagnosis and Treatment of Alzheimer’s disease: A Multinational Survey. The Journal of
International Medical Research. 32: 149 – 159.
World Health Organization. (1992). The ICD-10 classification of mental and behavioural disorders:
clinical descriptions and diagnostic guidelines. Geneva: World Health Organization.
Yesavage, J. A., Brink, T. L., Rose, T. L., Lum, O., Huang, V., Adey, M. & Leirer, V. O. (1982).
Development and validation of a geriatric depression screening scale: A preliminary report. Journal
of Psychiatric Research, 17(1), 37–49. [Link]
57