Como avaliar a metodologia do jogo
Instrumentos para investigar se o HIDRO ajuda a aprender e a se sentir preparado, e o que precisa melhorar.
Este material é um ponto de partida. As escalas propostas foram elaboradas para esta oficina e não foram validadas estatisticamente; se você pretende publicar os resultados, faça a validação de conteúdo com especialistas e um estudo piloto. Toda pesquisa com estudantes exige autorização da instituição e aprovação em Comitê de Ética em Pesquisa (CEP).
Baixe os instrumentos completos
Questionários prontos para imprimir, com gabarito, roteiros e modelo de tabela de resultados.
O que queremos saber
- O jogo, combinado com a base teórica, aumenta o conhecimento sobre os fenômenos e sobre o protocolo de autoproteção?
- Os estudantes se sentem mais preparados para agir em uma situação de risco?
- Como é a experiência de uso: facilidade, engajamento e desconforto?
- O que professores e estudantes destacam como pontos fortes e dificuldades?
- Há barreiras e facilitadores para estudantes autistas e com altas habilidades ou superdotação?
Desenhos possíveis
| Desenho | Como funciona |
|---|---|
| A. Pré e pós-teste (uma turma) | Aplica-se o questionário de conhecimentos antes e depois da oficina. É o desenho mais simples. Permite ver mudanças, mas não prova que foram causadas pelo jogo. |
| B. Comparação entre turmas | Uma turma faz a oficina com o jogo e outra recebe uma aula expositiva sobre o mesmo conteúdo. Comparam-se os ganhos. Cuidado com diferenças entre as turmas (série, professor, horário). |
| C. Estudo de caso com várias fontes | Combina questionários, observação, registros do Modo Professor, grupo focal e entrevistas. Bom para compreender o contexto e a inclusão. |
Sugestão. Comece com o desenho A somado à observação, aos registros do Modo Professor e a um grupo focal. É viável em uma escola e já traz informações valiosas.
Cronograma sugerido
| Quando | O que fazer |
|---|---|
| Antes | Autorizações (TCLE e TALE), sensibilização da escola e combinação do calendário. |
| Semana 0 (antes) | Pré-teste de conhecimentos e escala de autoeficácia. |
| Semana 0 | Oficina (2 aulas). Observação e registros do Modo Professor. |
| Semana 0 ou 1 | Pós-teste, escala de autoeficácia e questionário de experiência. |
| Semanas 4 a 6 | Pós-teste tardio (retenção) e grupo focal com estudantes; entrevista com professores. |
Oito instrumentos para avaliar aprendizagem e experiência
1Questionário de conhecimentos (pré e pós)
Marque uma alternativa por questão. Se não souber, marque a opção que você acha mais correta. Pode ser aplicado antes e depois; para reduzir memorização, embaralhe a ordem das questões e das alternativas no pós-teste.
- Qual é o número de telefone da Defesa Civil?
A) 192 | B) 193 | C) 199 → Resposta: C - Em uma emergência, qual é o primeiro passo do protocolo de segurança?
A) Avisar a Defesa Civil | B) Proteger-se | C) Ajudar os vizinhos → Resposta: B - O que é uma enxurrada?
A) Água acumulada e parada na rua | B) Água que escorre rápido e com força, principalmente em ruas com declive | C) Terra que desce de uma encosta → Resposta: B - O que é um alagamento?
A) Acúmulo de água na rua porque a drenagem não dá conta ou está entupida | B) Transbordamento de um rio por vários dias | C) Água que desce um morro em alta velocidade → Resposta: A - O que é uma enchente?
A) Aumento do nível da água dentro do rio, sem transbordar | B) Acúmulo de água de chuva na rua por falta de escoamento | C) Terra que desce de uma encosta → Resposta: A - O que é uma inundação?
A) A mesma coisa que uma enxurrada | B) Quando a água do rio ultrapassa as margens e alcança a planície | C) Água parada em uma poça pequena → Resposta: B - Qual destes é um sinal de possível deslizamento?
A) Céu nublado | B) Rachaduras no chão e árvores ou postes inclinados | C) Vento fraco → Resposta: B - Por que o lixo jogado na rua contribui para alagamentos?
A) Porque entope as bocas de lobo (bueiros) e a água não escoa | B) Porque o lixo atrai mais chuva | C) Porque o lixo esquenta o asfalto → Resposta: A - Qual destes perigos costuma ficar escondido em uma rua alagada?
A) Poço de visita sem tampão, buracos e fios energizados | B) Somente folhas secas | C) Nenhum, a água da chuva é limpa → Resposta: A - A água começa a subir dentro de casa. O que fazer com a energia elétrica?
A) Deixar ligada para não estragar a comida | B) Desligar o disjuntor geral antes que a água atinja as tomadas | C) Só desligar depois que a água baixar → Resposta: B - Você vê rachaduras em uma encosta perto da sua casa. O que fazer?
A) Tapar com cimento e ficar tranquilo | B) Afastar-se e avisar a Defesa Civil (199) | C) Subir na encosta para olhar de perto → Resposta: B - Você já saiu de casa e lembra que esqueceu um brinquedo lá dentro. O que fazer?
A) Voltar rapidamente para pegar | B) Não voltar: objetos podem ser repostos, vidas não | C) Pedir para uma criança buscar → Resposta: B - Qual conjunto é o mais adequado para uma mochila de emergência?
A) Brinquedos e doces | B) Documentos em saco plástico, água, remédios, lanterna e carregador | C) Apenas roupas de festa → Resposta: B
Questões abertas.
- Explique com suas palavras a diferença entre alagamento e enxurrada.
- Descreva o que você faria se a água começasse a subir na rua da sua casa.
Questões fechadas: 1 ponto cada (0 a 12). Questões abertas: 0 a 2 pontos cada (0 a 4). Total: 0 a 16. Calcule também a porcentagem de acertos para o ganho normalizado.
2Percepção de preparo (autoeficácia)
Marque de 1 (discordo totalmente) a 5 (concordo totalmente).
- Sei o que fazer para me proteger se a rua alagar.
- Sei a quem pedir ajuda em uma emergência com chuva forte.
- Consigo reconhecer sinais de que uma encosta pode deslizar.
- Consigo explicar para a minha família o que fazer em uma enchente.
- Eu me sinto preparado(a) para ajudar outra pessoa em uma situação de risco.
3Experiência com o jogo
Marque de 1 (discordo totalmente) a 5 (concordo totalmente). Não há resposta certa: queremos saber o que você sentiu.
- Foi fácil entender o que eu precisava fazer no jogo.
- Consegui usar os controles sem dificuldade.
- Os textos do jogo foram fáceis de ler.
- Eu quis continuar jogando.
- Aprendi coisas novas jogando.
- O jogo me fez pensar no que eu faria em uma emergência.
- Eu me senti nervoso(a) ou desconfortável durante o jogo.
- Os sons, as luzes ou os efeitos me incomodaram.
- O tempo do jogo foi suficiente para eu pensar.
- Eu recomendaria o jogo para colegas.
Questões abertas
- O que você mais gostou?
- O que foi mais difícil?
- O que você mudaria no jogo?
Os itens 7 e 8 são negativos: valores altos indicam mais desconforto. Analise-os separadamente, sem somar aos demais.
4Roteiro de observação (professor)
Para cada item, registre: nunca, às vezes ou sempre, e escreva um exemplo.
- A dupla seguiu a ordem do protocolo (proteja-se, avise, aja)?
- Os estudantes justificaram as decisões com conceitos da aula?
- Houve colaboração e troca de papéis?
- Quais dificuldades técnicas apareceram (controles, tela, som, conexão)?
- Houve sinais de sobrecarga (pausas frequentes, incômodo com sons ou luzes, ansiedade com o relógio)? O que ajudou?
- Alguém precisou do modo calmo (efeitos reduzidos ou sem relógio)?
- Quais perguntas ou dúvidas surgiram?
- Que conceitos errados apareceram e foram corrigidos?
5Registro do Modo Professor
Aperte a tecla T (ou o botão PROFESSOR) durante o jogo para ver as últimas decisões seguras e perigosas e o resultado do quiz por fase. O jogo guarda os dados apenas no aparelho e não envia nada para a internet. Anote por dupla:
- Dupla (código)
- Fase
- Tentativas
- Decisões seguras
- Decisões perigosas
- Quiz (acertos)
- Medalha
- Observações
6Grupo focal com estudantes
- Contem, com as suas palavras, o que vocês fizeram na oficina.
- O que vocês aprenderam que não sabiam antes?
- Teve alguma parte do jogo em que vocês tiveram dúvida ou se sentiram perdidos?
- Alguma coisa incomodou (sons, luzes, tempo, textos)? O que ajudou?
- O que o jogo tem de parecido ou diferente com uma situação real?
- O que vocês contaram (ou contariam) em casa?
- O que vocês mudariam no jogo ou na aula?
7Entrevista com professores
- Como o jogo se relacionou com o seu planejamento e com a BNCC?
- Quanto tempo de preparo foi necessário?
- Que atividades funcionaram melhor? Quais precisariam de ajustes?
- Como foi a participação de estudantes com deficiência, TEA ou altas habilidades?
- Que recursos técnicos ajudaram ou dificultaram (aparelhos, internet, projetor)?
- Você usaria de novo? Em que condições?
- O que mudaria no jogo e no material de apoio?
- Que outros conteúdos ou fenômenos gostaria de ver?
8Rubrica de aprendizagem
| Critério | Em construção | Alcançado | Avançado |
|---|---|---|---|
| Conceitos | Confunde os fenômenos. | Diferencia os quatro fenômenos. | Explica causas e dá exemplos do bairro. |
| Protocolo | Lembra parte da sequência. | Aplica proteja-se, avise, aja. | Justifica cada passo e a ordem. |
| Decisões no jogo | Erra sem perceber por quê. | Explica decisões que ajudaram ou atrapalharam. | Propõe como agiria na vida real. |
| Participação | Participa quando solicitado. | Colabora com a dupla. | Ajuda outros grupos e conduz a discussão. |
Validação de conteúdo por agentes e pesquisadores
Além dos instrumentos para estudantes, há instrumentos para avaliar o jogo com especialistas: 24 itens em seis dimensões (precisão técnica, protocolo, cenários, linguagem, adequação pedagógica e aplicabilidade), com cálculo do índice de validade de conteúdo (I-CVI). Foram pensados para a oficina do Seminário RRD 2026.
Instrumentos da oficina
Aviso ao participante, perfil, confiança pré e pós, experiência, validação de conteúdo e observação técnica.
Planilha com cálculos automáticos
Médias, concordância, I-CVI por item e por dimensão, e gráficos.
Aspectos éticos
- Autorização da escola e da secretaria de educação, quando exigida.
- Termo de Consentimento Livre e Esclarecido (TCLE) para os responsáveis e Termo de Assentimento Livre e Esclarecido (TALE) para os estudantes.
- Submissão ao Comitê de Ética em Pesquisa (CEP) da instituição. Pesquisas em ciências humanas e sociais seguem a Resolução CNS nº 510/2016.
- Anonimização: use códigos no lugar de nomes e guarde as listas de correspondência separadamente.
- Acolhimento: se algum estudante se emocionar ao lembrar de perdas, pause a atividade e encaminhe para o apoio da escola.
- O jogo não coleta dados pessoais e guarda o progresso apenas no aparelho. Não há envio automático de dados.
Como analisar os dados
| Análise | Como |
|---|---|
| Descritiva | Média, mediana e desvio-padrão dos escores de pré e pós; frequências por questão. |
| Pré e pós (pareado) | Com turmas pequenas ou dados assimétricos, prefira o teste de Wilcoxon para amostras pareadas; com dados aproximadamente normais, o teste t pareado. Informe o tamanho do efeito. |
| Ganho normalizado | g = (% pós − % pré) ÷ (100 − % pré), calculado por estudante ou pela média da turma (Hake, 1998). Referência usual: g baixo < 0,3; médio de 0,3 a 0,7; alto ≥ 0,7. |
| Qualitativa | Análise temática das respostas abertas, do grupo focal e das entrevistas: leia tudo, codifique, agrupe em temas e volte às falas para conferir. |
| Inclusão | Descreva, sem identificar, quais barreiras e facilitadores apareceram para estudantes autistas e com altas habilidades e o que foi ajustado. |
Sem grupo de comparação, não é possível afirmar que o jogo causou a mudança.
O efeito do professor e do momento da aplicação pode influenciar os resultados.
As escalas não foram validadas: interprete com cautela.
Amostras pequenas limitam a generalização.
Referências
HAKE, R. R. Interactive-engagement versus traditional methods: a six-thousand-student survey of mechanics test data for introductory physics courses. American Journal of Physics, v. 66, n. 1, p. 64-74, 1998.
BRASIL. Conselho Nacional de Saúde. Resolução nº 510, de 7 de abril de 2016.
GEE, J. P. What video games have to teach us about learning and literacy. New York: Palgrave Macmillan, 2003.