Leia o resultado além da nota

Confira a base antes de interpretar

Ao abrir um resultado, comece pelas condições de produção do dado: população, período, versão do questionário, canal, quantidade de respostas e regras de exclusão. Uma nota apresentada sem essas informações é difícil de interpretar. Não é a mesma coisa ouvir 18 pessoas de uma área ou 180 de várias unidades.

A adesão ajuda a verificar alcance, mas não prova representatividade. Uma coleta com baixa adesão pode perder experiências importantes; uma com alta adesão ainda pode ter respostas influenciadas pelo contexto. A AAPOR destaca que a taxa, isoladamente, não distingue com segurança pesquisas com e sem viés de não resposta.

Na gestão interna, declare sua definição operacional. Por exemplo: questionários concluídos divididos por pessoas elegíveis no recorte. Se acompanhar também respostas por pergunta, aberturas ou convites entregues, nomeie cada medida. Não misture essas contagens sob o mesmo rótulo de participação.

A não resposta pode se relacionar a acesso, disponibilidade, receio, falta de interesse ou outras condições. O dado não informa automaticamente qual motivo predominou. Procure barreiras de processo e diferenças agregadas de cobertura sem pressionar indivíduos nem investigar quem deixou de responder a um item.

Referências desta seção: AAPOR — Response rates and survey quality.

Duas médias iguais podem esconder situações opostas

Em telas pequenas, deslize a tabela para consultar todas as colunas. Pelo teclado, use as setas com a tabela em foco.

No conjunto A, todas as respostas ficaram no ponto intermediário. No B, há uma divisão entre extremos. Ambos têm média três. Se o relatório trouxer apenas a média, a discussão sobre experiências diferentes desaparece. Observe contagens, proporções e, quando a proteção permitir, a distribuição completa.

Favorabilidade também exige definição. Com a regra de respostas 4 ou 5, os conjuntos têm zero por cento e cinquenta por cento, respectivamente. Uma média normalizada para zero a cem daria cinquenta para ambos: (3 − 1) ÷ 4 × 100. Esses cálculos não são intercambiáveis.

Se uma dimensão reúne várias perguntas, a base pode ser a quantidade de respostas aos itens, e não a quantidade de pessoas. Uma pessoa pode contribuir com mais de uma resposta. Relate como o conjunto foi calculado e confira se itens com mais preenchimento recebem peso maior sem que isso tenha sido decidido.

Em vez de concluir liderança ruim a partir de uma dimensão baixa, volte ao conteúdo dos itens. Um resultado pode indicar dificuldade de obter orientação, falta de acesso ou mudança de processo. A intervenção depende do mecanismo plausível, que ainda precisa ser discutido.

Compare condições comparáveis

Antes de celebrar uma variação, confira se perguntas, alternativas, escala, ordem, período e população foram preservados. Mudanças de turnos, admissões, desligamentos e canais podem alterar quem respondeu. Uma série histórica pode mudar mesmo que a experiência de cada grupo permaneça semelhante.

Considere a base absoluta. Em dez respostas válidas, trocar uma resposta passiva por promotora altera o eNPS em dez pontos; trocar uma detratora por promotora altera em vinte. É uma propriedade da conta, não evidência de uma transformação organizacional. Bases pequenas pedem proteção e cautela adicionais.

Um benchmark só é interpretável quando se conhece seu método, população, época, país, contexto e seleção. Um número encontrado num artigo pode ter sido obtido em outro instrumento ou em empresas com perfil diferente. Use referências externas para formular perguntas, evitando um ranking de equipes sem equivalência metodológica.

O histórico da própria empresa pode ser mais útil para acompanhar decisões, desde que seja comparável. Se o instrumento melhorar e a série deixar de ser diretamente comparável, registre uma nova versão. É preferível uma ruptura explicada a uma continuidade artificial.

Referências desta seção: Pew Research Center — Writing survey questions; AAPOR — Disclosure standards.

Separe sinal, hipótese, investigação e causalidade

Uma pesquisa antes e outra depois de uma ação permitem observar uma sequência temporal. Não isolam automaticamente o efeito da ação. Nesse intervalo, a demanda pode ter caído, a chefia pode ter mudado ou a composição dos respondentes pode ser diferente. A explicação precisa considerar essas alternativas.

Um relato responsável pode dizer: a percepção de clareza melhorou entre os respondentes após o teste; o processo foi executado, mas não conseguimos atribuir a mudança exclusivamente a ele. Essa frase preserva uma informação útil sem prometer mais do que o desenho permite.

Referências desta seção: HSE — Surveys and communicating findings.