Fase 5 Avaliacao do Modelo - PadawanXXVI/projeto_ams GitHub Wiki
📈 Fase 5 – Avaliação do Modelo
Nesta etapa do processo CRISP-DM, avaliamos o desempenho dos modelos treinados na Fase 4 com base em métricas quantitativas. A avaliação é fundamental para validar a capacidade preditiva do modelo e garantir que ele generalize bem para novos dados.
🎯 Objetivo da avaliação
Selecionar o modelo que melhor cumpre a tarefa de classificação binária de risco de evasão escolar, com foco em:
- Precisão global da classificação (acurácia)
- Simplicidade e interpretabilidade
- Potencial de generalização
📏 Métrica utilizada: Acurácia
A acurácia foi escolhida por ser uma métrica objetiva e facilmente compreensível, que mede a proporção de previsões corretas em relação ao total:
```python from sklearn.metrics import accuracy_score
acuracias = [accuracy_score(y_test, modelo.predict(x_test)) for modelo in modelos_treinados] melhor_indice = np.argmax(acuracias) melhor_modelo = modelos_treinados[melhor_indice]
print(f"Melhor modelo: {type(melhor_modelo).name} com {acuracias[melhor_indice]*100:.2f}% de acurácia") ```
🧾 Resultados obtidos
Cada modelo gerou uma acurácia distinta, permitindo comparar seu desempenho. O melhor modelo foi selecionado automaticamente pelo maior valor de acurácia.
Exemplo de saída:
Acurácias: [0.86, 0.81, 0.79, 0.85, 0.88, 0.84]
Melhor modelo: GradientBoostingClassifier com 88.00%
Obs.: os valores são ilustrativos e dependem da execução real.
⚠️ Limitações da métrica
Embora a acurácia seja adequada para um conjunto relativamente balanceado, em cenários de classes desbalanceadas é recomendável utilizar outras métricas como:
- Matriz de confusão
- Precisão (precision)
- Revocação (recall)
- F1-score
✅ Conclusão da Fase 5
- O modelo com maior acurácia foi selecionado para implantação
- A avaliação foi objetiva, padronizada e reprodutível
- Futuras versões do projeto poderão incluir múltiplas métricas de avaliação