Nos últimos anos os Estados Unidos se tornou obcecado em avaliar os serviços de saúde. Mas o que se discute é se estes canais possuem consistência, desde as simples avaliações de internet até os mais complexos sistemas de avaliação criados pelo governo.

Uma classificação alta em rankings de portais ou comentários online positivos a respeito de um profissional, estabelecimento ou serviços médicos pode não significar, de fato, que os pacientes estão recebendo um serviço de qualidade. É o que indica um recente artigo da Harvard Business Review (HBR) analisado pelo médico e blogueiro Skeptical Scalpel, sobre a confiabilidade das avaliações de usuários online sobre um produto/serviço.

Os autores da HBR concluíram que as avaliações eram geralmente pouco confiáveis por três razões importantes:

1 – Os comentários são geralmente baseados em uma pequena amostra de usuários. Os autores disseram, “nós podemos ser muito confiantes em relação a uma classificação se o tamanho médio da amostra é grande e se a variabilidade da distribuição das classificações é menor (ou seja, se diferentes comentários tendem a concordar)”.

2 – Pessoas que deixam comentários não são selecionadas aleatoriamente para fazê-lo. “Os consumidores com opiniões extremas são os mais propensos a publicar críticas, o que é conhecido como viés “brag-and-moan” (tumultuar-e-reclamar, em tradução livre)”. A distribuição das avaliações é, muitas vezes, agrupada em 5 estrelas (melhor avaliação) e 1 estrela (a pior), com apenas alguns poucos inserindo notas 2, 3 ou 4 estrelas.

3 – A maioria das pessoas que posta avaliações não adquiriram outros produtos/serviços para que se faça uma comparação mais ampla. “É bem conhecido que as avaliações de qualidade dos consumidores são fortemente influenciadas por outras variáveis além do desempenho objetivo do produto/serviço, como a imagem de marca, o preço e a aparência física”.

Estes princípios podem ser aplicados para classificações médicas também. O problema mais relevante com as classificações médicas on-line é o tamanho da amostra. O trabalho da HBR ilustra com um exemplo.

“Pegue um produto com uma classificação média de 4 estrelas. Se o produto foi avaliado por pelo menos 25 usuários, você pode ter 95% de certeza que a média é entre 3,5 e 4,5 estrelas”. Portanto, se dois médicos têm menos de 25 avaliações cada um, não pode haver nenhuma diferença real entre um médico com uma classificação de 3.6 e um com uma pontuação de 4,4.

O que você encontra é a média das notas online dos médicos?

De acordo com o National Research Corporation, em 2015, “a maioria das classificações online de fornecedores é baseada em uma média de apenas 2,4 comentários por médico”.

Em 2014, o blog de Skeptical Scalpel publicou artigo sobre um estudo da Escola de Administração de Empresas da Universidade de Rochester, Nova York, que alegava que classificações médicas on-line eram confiáveis. “Os autores analisaram avaliações durante um período de nove anos e descobriram que 21% dos cirurgiões cardíacos na Florida foram avaliados, cada um, uma média de 1,9 vez. Cerca de 79% dos cirurgiões que não tinham classificações on-line realizaram 79% do total de cirurgias em 2012, o ano escolhido para a avaliação dos resultados dos pacientes”. A maioria das cirurgias foi feita por cirurgiões que não tinham classificações on-line. Sendo assim, “comparar cirurgiões nessas condições não é melhor do que escolher no cara-ou-coroa”.

O site ProPublica’s Surgeon Scorecard divulga o nome dos cirurgiões apresentando o número de pacientes que vieram a óbito e taxas de complicações em oito cirurgias eletivas do Medicare, programa de seguro de saúde para pessoas acima dos 65 anos.

Segundo Skeptical Scalpel, existem muitas inconsistências, mas não tão sucintas e cientificamente comprovadas como o especialista Peter Pronovost (médico diretor do Instituto Armstrong para a Segurança e Qualidade do Paciente na Universidade Johns Hopkins e vice-presidente sênior da Johns Hopkins Medicine) e co-autores disseram em publicação de julho 2016 da revista Annals of Surgery.

O artigo Rating the Raters: The Inconsistent Quality of Health Care Performance Measurement, defende que “pacientes e prestadores de serviço merecem classificações de desempenho válidas e transparentes, e hospitais e médicos devem ser responsáveis ??pelo cuidado que eles fornecem. Medidas inconsistentes, no entanto, não são apenas sem sentido, mas podem realmente prejudicar os pacientes, fornecedores e outras partes interessadas. Os responsáveis por elaborarem classificações – como as empresas de medição e sites – deveriam usar os mesmos padrões elevados que costumamos esperar de prestadores de cuidados de saúde”.