Avaliação, uma ciência - comentário

Avaliação, uma ciência - comentário

Michael Scriven

"A questão para mim era: o que eles diriam sobre a avaliação?

Seria uma disciplina, como eles a retrataram, ou simplesmente  um mito ou sonho realizar um trabalho científico com algo que envolvesse valores humanos? O que nos preocupava, no grupo de avaliação, era que eles respeitassem esse tratamento sistemático de avaliação que estava crescendo, na prática, e servindo como apoio extremamente útil aos chefes de Estado e agências federais de educação.

Esse negócio em expansão, a avaliação de programas federais, foi liderado pela enorme revolução no ensino de ciência que estava emergindo como nossa resposta à notável conquista do projeto espacial russo. Pareceu-me que uma nova disciplina com um jargão peculiar não iria muito longe, a menos que se pudesse chegar a um consenso razoável no seu próprio vocabulário.

Portanto, pensei que chegara a hora de tentar elevar o tesauro ao nível de um livro sério de referência acadêmica, o que ele já é na quarta edição. Mas, é claro, é preciso mais do que isso. Então, estávamos publicando textos introdutórios em avaliação e, em seguida, textos avançados especializados que tratavam de questões especificas como análise de custo e como formar avaliadores e o início de uma rede de ofertas de emprego e especial istas disponíveis para preenchê-las, o que entregamos aos caminhos habituais do mercado de trabalho. Então também precisávamos da estrutura funcional de uma ciência.

Quando comecei a olhar para as disciplinas clássicas, mesmo  que eu já fosse um defensor da disciplina e da profissão de avaliação, notei algumas características extraordinárias que desafiaram a suposta abordagem "livre de valores" para as ciências sociais. Era de fato possível argumentar que a avaliação era a disciplina mais importante nas ciências sociais e começamos a pensar em maneiras de configurá-Ia como um assunto distinto. Sua distinção foi notável e a primeira coisa que  me fez sentir que precisávamos de uma disciplina organizada foi o fato de que, no final das contas, toda disciplina tinha um componente de avaliação: o processo de avaliação de hipóteses e metodologias, técnicas, programas de treinamento e publicações.

Em outras palavras, a questão não era se havia algum lugar para a avaliação entre as disciplinas respeitáveis, mas sim, seu lugar estava em todas as disciplinas, a fim de separar o que eu chamaria de "bom" do "ruim". Isto é, distinguir as boas teorias, hipóteses, amostras, bons desenhos experimentais daqueles menos bons e dos claramente inválidos. Isso foi feito com muito cuidado em quase todo texto ou monografia. A Ciência não poderia avançar sem isso.

Isso me levou a duas posições. A primeira, expressa na introdução à quarta edição em inglês, defendia principalmente que a avaliação é urna prática que acontece cm todas as disciplinas. E de fato o que eu chamo de transdisciplina, por direito próprio. Toda disciplina faz avaliação para se distinguir do que é mera pseudociência, história ruim ou teoria legal infundada etc. Longe de ser tratado como um assunto que deve ser mantido longe da ciência, era um assunto que realmente deveria ser estudado com bastante cuidado, já que a Ciência dependia dela. A falta de avaliação sistemática em novas teorias significava estar desenvolvendo uma pseudociência. No caso da astrologia e da parapsicologia malconduzida, foi por causa de
suas metodologias ruins que continuamos a recusar a admissão delas ao rol das grandes ciências. Então, o primeiro ponto que eu queria colocar na quarta edição do Avaliação: Um guia de conceitos era de que a avaliação é transdisciplinar; que é uma disciplina que faz parte de cada disciplina e precisa ser examinada com muito cuidado ao se desenvolver qualquer disciplina.

A segundo posição que foi evoluindo inclui outros pontos de vista da natureza da avaliação que são realmente interessantes, mas apenas desenvolvidos por mim após a publicação da 4a edição. Eles devem ser expandidos sob suas palavras-chave em uma futura edição. A primeira dessas novas ideias foi que não só a avaliação seria um elemento-chave em todas as disciplinas, e deveria ser realizada com muito cuidado e com considerável dificuldade, mas que o resultado dessa luta para definir o que conta como boa teoria dentro da astrobiologia ou educação ou prática era de fato a questão mais importante que as pessoas enfrentavam dentro de uma disciplina. Eu não estava mais defendendo a importância dela, já que a avaliação era amplamente utilizada em todas as disciplinas. 

Eu estava argumentando que se tratava da disciplina mais importante dentre todas as outras disciplinas, porque a vida e morte da disciplina como disciplina dependia de sua aplicação. Já que isso se baseia em aceitar e desenvolver teorias melhores, e não piores, ela agregou valor à conclusão. Então, apresentei a ideia de avaliação como a "disciplina alfa", o que significa a mais importante guardiã das chaves do reino.

Michael Scriven - Avaliação um guia de conceitos
Chianca e Mariana Ceccon Chianca. - 1. ed. - Rio de
Janeiro/ S;1o Paulo: Paz e Terra. 2018.