5.2 Pipeline/Testes - Comparativo Classificador vs Extrator de Parâmetros

História

Como engenheiro de IA, quero comparar a qualidade da classificação entre o Classificador (antigo) e o Extrator de Parâmetros (novo) para avaliar se podemos substituir o Classificador e manter apenas o Extrator.

Critérios de Aceitação

Etapa 1: Executar ambos os modelos no mesmo dataset

• Dado que temos o Classificador (antigo) e o Extrator de Parâmetros (novo)
• Quando executamos ambos contra o dataset sintético de teste
• Então coletamos os resultados de classificação para cada um

Etapa 2: Comparar qualidade da classificação

• Dado que temos os resultados de ambos os modelos
• Quando comparamos a classificação gerada
• Então documentamos:
  • Taxa de acerto do Classificador
  • Taxa de acerto da classificação do Extrator
  • Diferenças e padrões de erro entre eles

Etapa 3: Documentar conclusões

• Dado que temos a análise comparativa
• Quando documentamos os resultados
• Então definimos:
  • Se a qualidade do Extrator é comparable ou superior ao Classificador
  • Se é viável remover o Classificador

Tarefas Técnicas

• Executar Classificador no dataset sintético
• Executar Extrator no mesmo dataset
• Comparar resultados de classificação
• Calcular taxa de acerto de ambos
• Identificar diferenças e padrões de erro
• Documentar conclusões e viabilidade de substituição