Abordagens Avaliativas

	Procedimento para Avaliação CIPP
	Concentrar-se na Avaliação
Nível da Avaliação		Identifique o(s) principal(is) nível(eis) de tomada de decisão a ser atendido(s), como municipal, estadual ou nacional.
Projeção de situações		Para cada nível da tomada de decisões, projete as situações em que as decisões serão tomadas e descreva cada uma delas em termos de local, foco, prioridade, momento e composição de alternativas.
Definição de Critérios		Defina critérios para cada situação de tomada de decisões especificando as variáveis a ser medidas e os padrões a ser usados no julgamento das alternativas.
Definição de Políticas		Defina as politicas dentro das quais o avaliador tem de operar.
	Coleta de informações
Fonte		Especifique a fonte de informações a ser coletadas.
Instrumentos		Especifique os instrumentos e os métodos para coletar as informações necessárias.
Procedimento		Especifique o procedimento de amostragem a ser empregado_
Condições		Especifique as condições e o momento da coleta de informações.
	Organização das informações
Formato		Defina um formato para as informações a ser coletadas_
Meio		Designe um meio para realizar a análise.
	Análise das Informações
Procedimentos		Selecione os procedimentos analíticos a ser empregados.
Meio		Designe um meio para realizar a análise
	Relatório das informações
Definição		Defina os interessados nos relatórios da avaliação.
Meio		Especifique meios para dar informações aos interessados.
Formato		Especifique o formato de relatórios de avaliação ou sessões de apresentação.
Momento		Determine o momento de apresentar as informações.
	Gestão da avaliação
Horários		Resuma os horários de apresentação da avaliação.
Necessidades		Defina as necessidades em termos de equipe e recursos e planeje a satisfação dessas necessidades.
Meios		Especifique os meios necessários para atender as exigências políticas para realizar a avaliação.
Potencial		Avalie o potencial do plano de avaliação para fornecer informações que sejam válidas, confiáveis, verossímeis, oportunas e gerais (isto é, que alcancem todos os interessados relevantes).
Datas		Especifique e fixe datas para a atualização periódica do plano de avaliação.
Orçamento		Apresente um orçamento do programa completo de avaliação.

Fonte: Whorten – Avaliações de Programas, 2004 / Adaptação Márcio Ruben – Tabela, 2020.

https://equipeavaliadores.blogspot.com/

	Modelo de avaliação CIPP – Contexto, Insumo, Processo e Produto
Tipo		Descrição	Propósito
Contexto		A avaliação do contexto serve para decisões de planejamento.	Determinar que necessidades precisam ser atendidas por um programa ajuda a definir seus objetivos.
Insumo		A avaliação do insumo serve para decisões de estruturação.	Determinar que recursos estão disponíveis, que estratégias alternativas do programa devem ser consideradas e que plano parece ter o maior potencial para atender as necessidades e facilitar a criação de procedimentos do programa.
Processo		A avaliação do processo serve para decisões de implementação.	Qual é o grau de êxito da implementação do programa? Que barreiras ameaçam seu sucesso? Que revisões são necessárias? Depois que essas perguntas forem respondidas, será possível supervisionar, controlar e refinar os procedimentos.
Produto		A avaliação do produto serve para decisões de reciclagem.	Que resultados foram obtidos? Até que ponto as necessidades foram reduzidas? O que deverá ser feito com o programa depois que ele chegar a seu termo? Essas perguntas são importantes para julgar o que o programa conseguiu realizar.

Fonte: Whorten – Avaliações de Programas, 2004 / Adaptação Márcio Ruben – Tabela, 2020. https://equipeavaliadores.blogspot.com/ Fonte: Whorten – Avaliações de Programas, 2004 / Adaptação Márcio Ruben – Tabela, 2020. https://equipeavaliadores.blogspot.com/

	Abordagens Avaliativas de Programas
Tipo	Descrição	Critério
Centrada em objetivos	Metas e objetivos a serem atingidos	Resultados a alcançar
Centrada na administração	Necessidade de informação dos administradores	Tomada de decisão
Centrada no consumidor	Informações avaliatórias sobre produtos, serviços e congêneres	Informação qualitativa
Centrada em especialistas	Aplicação direta de especialistas profissionais	Expertise profissional
Centradas nos adversários	Baseada nos prós e contras	Diferentes pontos de vista
Centrada no participante	Ênfase nos interessados no objeto da avaliação	Opinião dos participantes

"Projetos de pesquisa envolvendo seres humanos deverão atender a esta Resolução" CNS

ADVERTÊNCIA

Este texto não substitui o publicado no Diário Oficial da União

Ministério da Saúde
Conselho Nacional de Saúde

RESOLUÇÃO Nº 466, DE 12 DE DEZEMBRO DE 2012

O Plenário do Conselho Nacional de Saúde em sua 240ª Reunião Ordinária, realizada nos dias 11 e 12 de dezembro de 2012, no uso de suas competências regimentais e atribuições conferidas pela Lei nº 8.080, de 19 de setembro de 1990, e pela Lei nº 8.142, de 28 de dezembro de 1990, e

Considerando o respeito pela dignidade humana e pela especial proteção devida aos participantes das pesquisas científicas envolvendo seres humanos;

Considerando o desenvolvimento e o engajamento ético, que é inerente ao desenvolvimento científico e tecnológico;

Considerando o progresso da ciência e da tecnologia, que desvendou outra percepção da vida, dos modos de vida, com reflexos não apenas na concepção e no prolongamento da vida humana, como nos hábitos, na cultura, no comportamento do ser humano nos meios reais e virtuais disponíveis e que se alteram e inovam em ritmo acelerado e contínuo;

...

Continua na Página Resolução 466/CNS

Café Filosófico: Foucault, Deleuze e Derrida frente à crise - Scarlett Marton

Café Filosófico: Foucault, Deleuze e Derrida frente à crise - Scarlett Marton

A interpretação dos fatos através da desconstrução e reinterpretação da atualidade. Informação pode ser compreendida também conceitualizar e documentar. A filosofia conceituou sem falar de informação, mas o que fez foi criar conceitos documentados, isto é, informação. A informação como base do conhecimento filosófico é realidade dos primeiros pensadores da história da filosofia. 

As novas tecnologias são frutos do conhecimento, da transformação do pensamento, vivemos o espaço de outra forma, uma outra visão de sujeito, novas características, novos avatares, grupos próximos e ao mesmo tempo longe. Ligados na interpretação das coisas, na crítica das coisas, a transgressão "rebelde", independente, sem receitas, política como recriação.  Recriação só pode existir na crítica. Esses pensadores são os grandes críticos da modernidade. Pensadores "rebeldes" da herança e vieses de Nietzsche. Pensamentos que nos legaram a teoria e prática pós-modernas.

Lista Chave da Avaliação de Tecnologias por Michael Scriven

Lista Chave da Avaliação de Tecnologias (AT) por Michael Scriven*

1. Nome, objetivo e natureza da Tecnologia. 
• O que será avaliado? A descrição deve fornecer uma visão geral e um método de identificação da tecnologia utilizada.
2. Teste de Desempenho.
• Testar inclui testar a ergonomia (interface humana) da facilidade de aprendizado/uso, segurança, e assim por diante- e quaisquer outras características do design que não são testadas em outras rubricas. Assim, a estética do design deve ser testada no mercado onde houver sinais de reações fortemente favoráveis/não favoráveis, visto que isto afeta o uso e as vendas.
• Testar inclui testar todas as 'características e falhas' que estejam relacionadas ao uso pretendido do produto ou não; bebês não leem manuais de instrução e sinais de aviso. E isso inclui encontrar características e defeitos não aparentes a partir de estudos de uso.
3. População Impactada.
• Quem será (ou foi) afetado, direta ou indiretamente?
4. Análise de Custo.
• Para cada subgrupo da população impactada. Deve incluir custos não monetários e monetários, por exemplo, custos à saúde, custos à qualidade de vida e vida profissional (por exemplo, nível de barulho), custos legais e éticos, isto é, todos os resultados negativos relacionados à obtenção e sustento da tecnologia. A AT é notável por sua preocupação com o impacto ambiental, por exemplo, efeitos sobre recursos escassos, poluição, efeitos da infraestrutura (por exemplo, as estradas e não as não as operações de mineração em si), perda de empregos, principalmente para grupos específicos (minorias, mulheres, mães, e assim por diante), efeitos sobre o setor privado, sobre a centralização do poder e habitação - tudo isto imediatamente e em  longo prazo, incluindo desdobramentos prováveis (note o componente do futurismo).
5. Análise de Benefícios.
• O outro lado da moeda dos custos. Notadamente os retornos à sociedade, como a geração de empregos (para começar e como os resultados da tecnologia), contribuições ao conhecimento ou progresso da tecnologia, empoderamento, redução da urbanização excessiva e benefícios éticos como melhorias nos direitos humanos; mais uma vez, imediatamente e em longo prazo, e derivações.
6. Comparações.
• Quais são as alternativas? Como elas se comparam? É hora de lembrar as lições da tecnologia apropriada. Heliógrafos provavelmente são melhores do que telégrafos, mas eles são esquecidos no andar do progresso, concebido de maneira simplista.
7. Impacto sobre o mercado.
• Aqui, é preciso distinguir diversos tipos de mercado: o 'mercado natural' (como com a apócrifa melhor ratoeira - o mercado encontra o produto) vs. o mercado artificial (cosméticos) vs. o mercado assistido (informações sem a venda ativa, por exemplo, planejamento familiar, mas possivelmente com algum esforço para relacionar populações para as quais não há retorno líquido independente, mas que se beneficiariam coletivamente, por exemplo, videodisk em escolas), mais uma vez, procure resultados de curto e longo prazo da tecnologia e das derivações prováveis.
8. Avaliação Geral.
• Combina o descrito anteriormente e se relaciona a questões relevantes, normalmente se deve oferecer apoio por meio de investimento de recursos escassos, facilitação etc., ou mudar para um banimento ou taxação. Normalmente, requer uma análise mais focada no custo-benefício do que uma de custo-efetividade direta. 
9. Recomendações.
• Se o conhecimento local e político for bom o bastante; nem sempre possível, mesmo quando uma AT abrangente é realizada porque, por exemplo, pode-se não ser capaz de prever qual será a resposta do mercado de capital a uma nova oferta. 

Referência: SCRIVEN, Michael. Avaliação, um guia de conceitos. Editora Paz e Terra. Rio de Janeiro. 2018.

* Michael Scriven é professor honorário no departamento de Ciência Organizacional e do Comportamento da Claremont Graduate University, na Califórnia, EUA. Foi presidente da American Educational Research Association (AERA) e da American Evaluation Association (AEA). Recebeu prêmios diversos, incluindo o Lazarsfeld Award da AEA, por suas contribuições à Teoria da Avaliação. É autor de mais de 400 publicações nas áreas de Avaliação, Filosofia da Ciência e Computação.

Para lembrar: 

LISTA-CHAVE DE VERIFICAÇÃO DA AVALIAÇÃO (KEC).

Michael Scriven - Avaliação Um Guia de Conceitos

1. DESCRIÇÃO: O que será avaliado? A descrição deve fornecer uma visão geral e um método de identificação do mesmo programa.
2. ANTECEDENTES E CONTEXTO: A base da perspectiva e delineamento. (formativa vs. somativa, rigorosa vs. ritualística, baseada em objetivos vs. livre de objetivos...).
3. CONSUMIDOR: Quem é impactado pelos efeitos diretos e indiretos do avaliado, o 'grupo impactado ao final da linha'.
4. RECURSOS: O que está disponível para uso pelo ou para o avaliado?
5. VALORES: A fonte dos parâmetros para converter fatos em conclusões avaliativas.
6. PROCESSO: Aplicam-se os valores identificados no ítem 5 ao processo que identificou-se na Descrição (ítem 1). Em seguida aplica-se aos Recursos (ítem 4).
7. RESULTADOS: Quais efeitos são produzidos pelo avaliado, intencionais ou não?
8. CUSTOS: Monetário vs. Psicológico vs. De pessoal vs. Tempo vs. Espaço; inicial de. Recorrente; direto vs. Indireto; nominal vs. Descontado; atual vs de oportunidade; por componentes; quando apropriados.
9. COMPARAÇÕES: com opções alternativas - inclua opções reconhecidas e não reconhecidas, as disponíveis atualmente das que podem ser construídas.
10. GENERABILIDADE: Utilidade, se usado por ou para outras pessoas/ lugares/tempos/versões.
11. SIGNIFICÂNCIA: Uma classificação da importância geral, aplicada a uma síntese, custo-eficácia.
12. RECOMENDAÇÕES: Elas podem ou não serem solicitadas, e podem ou não acompanhar uma avaliação.
13. RELATÓRIO: O vocabulário, extensão, formato, meio, tempo, localização e pessoal para apresentação.
14. META-AVALIAÇÃO: Este ponto de verificação é a ligação para um segundo nível de avaliação - Avaliação da avaliação da avaliação).

O Valor da Informação – Dicas Importantes

O Valor da Informação – Dicas Importantes

A informação é um patrimônio muito valioso de uma empresa ou indivíduo. Ela procede da coleta de dados diários. Esses dados são processados e estruturados levando a tomada de decisões. Tornam-se informação. Essas informações produzem decisões, que associadas às interpretações e as experiências humanas produzem o conhecimento. A utilização do conhecimento pode ampliá-lo, aperfeiçoá-lo e melhorar suas estratégias. Todavia, pode haver perdas, danos, informações imprecisas ou acesso indevido. Por isso é de muita importância a defesa das informações.

Na proteção da informação existem cinco pilares:

1.    Integridade: a informação deve ser confiável.

2.    Disponibilidade: a informação precisa estar disponível às pessoas autorizadas. Um provedor que “cai” e as pessoas não têm acesso à informação é uma falha de segurança.

3.    Não repúdio: emissor e receptor não podem negar comunicação entre eles. Como funciona, por exemplo, a assinatura eletrônica. O não repúdio pode ser usado nos tribunais.

4.    Autenticidade: a informação é realmente da fonte anunciada. Cuidado com e-mails falsos, boletos falsos e sites falsos.

5.    Confidencialidade: o acesso à informação deve ser para quem é permitido. Será que quem acessar aquela informação pode acessá-la? Se houver acesso indevido quais problemas vão acarretar?

Qual o ciclo de vida de uma informação? Nem sempre uma vulnerabilidade pode se tornar um alvo de ataques. Mas é possível. Por isso, toda vulnerabilidade, seja no lugar que a informação é armazenada (hardware, instalação predial, roubos) ou em sua operação (software, mau uso do sistema, bugs, códigos viciados, senhas fracas), deve ser identificada, analisada e constantemente monitorada. Todo monitoramento deve levar em conta o manuseio, o armazenamento, o transporte e o descarte da informação.

Toda ameaça pode se concretizar através de uma vulnerabilidade e causar impactos a uma organização ou a indivíduos. Esses impactos podem ir de leves a graves, muitas vezes ligados à confiabilidade da informação. Saiba que uma informação pode ser:

1.    Irrestrita – qualquer um pode acessar.

2.    Restrita – pessoas autorizadas podem acessar. Se “vazar” não causa impactos graves.

3.    Confidencial – algumas pessoas podem acessar.  Se “vazar” causa impactos médios a graves.

4.    Secreta – Poucas pessoas têm acesso. Se “vazar” causa impactos graves.

Cuide de suas informações. Pode ser uma senha bancária, um aplicativo de banco, arquivos confidenciais, imagens particulares, banco de dados de uma organização, documentos de identificação pessoal. Cuidado, pois uma vulnerabilidade são as redes sociais, fornecem muitas vezes dados postados pelos usuários que podem se tornar fonte para ameaças. Acredita que até lixo, papéis jogados fora, se tornaram material para ameaças e ataques? Há muita informação pessoal ou corporativa que indivíduos maliciosos podem explorar. Cuide-se, não se exponha!

Márcio Ruben – Gestão da Segurança da Informação

Visite:

Gestão da Avaliação

Seminário ENCE "Bem-estar social no Brasil: da expectativa cidadã, aonde chegamos e os futuros pós-pandemia"

Indicação do Professor Paulo Jannuzzi

(HOJE - PARTICIPE 16H)

"Acho que interessa a vcs !

Seminário ENCE "Bem-estar social no Brasil: da expectativa cidadã, aonde chegamos e os futuros pós-pandemia" com Jorge Abrahão de Castro as 16h-17h30. Link: https://ibge-poc.webex.com/ibge-poc-pt/j.php?MTID=m9f0afea6f2d56423cfd8ca2cdf439aa1 "

Prof. Paulo Jannuzzi e os Meus Professores

Prof. Paulo Jannuzzi e os Meus Professores!

É um grande privilégio ter o professor Paulo Jannuzzi como mestre. Na simplicidade, sem muitas pompas, jeito calmo de ensinar, parece até que tudo é fácil. A grande quantidade de informações, dados estatísticos. Gráficos e planilhas do IBGE. História das avaliações, história do desenvolvimento das coletas de dados, história da estatística. Conhecimento profundo e compartilhado sem restrições.

Parabéns professor, uma grande honra ser seu aluno! Tenho orgulho de meus professores entre eles, que passaram pela vida e marcaram,  Teresa Penna Firme, Paulo Jannuzzi, Beth Moreira, Juarez Thives e outros excelentes professores.

"O aprendizado do ensinante ao ensinar não se dá necessariamente através da retificação que o aprendiz lhe faça de erros cometidos. O aprendizado do ensinante ao ensinar se verifica à medida em que o ensinante, humilde, aberto,se  ache permanentemente disponível a repensar o pensado, rever-se em suas posições em que procura envolver-se com a curiosidade dos alunos e dos diferentes caminhos e veredas, que ela os faz percorrer. Alguns desses caminhos e algumas dessas veredas, que a curiosidade às vezes quase virgem dos alunos percorre, estão grávidas de sugestões, de perguntas que não foram percebidas antes pelo ensinante. Mas agora, ao ensinar, não como um burocrata da mente, mas reconstruindo os caminhos de sua curiosidade – razão por que seu corpo consciente, sensível, emocionado, se abre às adivinhações dos alunos, à sua ingenuidade e à sua criatividade – o ensinante que assim atua tem, no seu ensinar, um momento rico de seu aprender. O ensinante aprende primeiro a ensinar mas aprende a ensinar ao ensinar algo que é reaprendido por estar sendo ensinado." Paulo Freire

#gestaodaavaliacao
#profmarcioruben

Diretrizes para Avaliação para a América Latina e o Caribe

AVALIE SEUS PROCESSOS PARA OBTER EXCELENTE PRODUTO

Todo produto final com excelência depende de um processo bem sucedido. Sem um processo eficiente (produção) e eficaz (prático) não se tem efetividade e produto final excelente. Por isso o planejamento de um projeto e a execução dos processos podem ser divididos em projetos ágeis, isto é, micro processos bem sucedidos dentro de um macro processo também logicamente bem sucedido.
#profmarcioruben

Diretrizes para Avaliação para a América Latina e o Caribe

Vídeo Explicativo

A Rede de Monitoramento, Avaliação e Sistematização da América Latina e do Caribe (ReLAC), em colaboração com o Projeto Fomento das Capacidades em Avaliação (FOCEVAL), do Ministério de Planejamento e Política Econômica da Costa Rica (MIDEPLAN), e o Instituto Alemão de Avaliação da Cooperação para o Desenvolvimento (DEval), durante os anos 2014 e 2015, incentivaram um amplo processo de consultas e reuniões com especialistas para a formulação de um documento de diretrizes para a avaliação, tendo como referência, ao mesmo tempo, os documentos de diretrizes das principais associações de avaliadores dos Estados Unidos, Canadá, Europa, África e de diversas entidades internacionais.

Na região da América Latina e do Caribe, o campo se caracteriza por uma demanda crescente de avaliações em contraste com um desenvolvimento incipiente de capacidades e limitados recursos profissionais; por uma realidade complexa caracterizada pela diversidade social, cultural e Lingüística; e grandes brechas de bem estar e acesso aos recursos.

Neste documento, as diretrizes estão agrupadas em três áreas e cinco dimensões chave. São apresentadas as suas definições de forma breve e mais precisa possível. As diretrizes serão revisadas periodicamente visando recolher e incorporar as recomendações e aportes que surjam da experiência de sua aplicação. Este é o primeiro documento que se coloca a serviço dos profissionais e instituições interessadas no campo da avaliação de programas e projetos de desenvolvimento.

Com a formulação deste documento se busca promover avaliações de qualidade, desenvolvimento de capacidades e a aplicação de princípios e critérios éticos para a boa prática profissional, considerando a diversidade de contextos que caracteriza a região. O objetivo é contribuir para o desenvolvimento de um marco comum de referencia que sirva de orientação para a obtenção de avaliações com altos padrões de qualidade, a formação e prática profissional, a facilitação da comunicação entre os atores participantes, a aprendizagem e geração de conhecimentos a partir da prática profissional e o fomento de uma cultura de avaliação e responsabilização social.

O que é Mapa de Processos e Resultados (MaPR)?

 O que é Mapa de Processos e Resultados (MaPR)?

• "O MaPR é um arquétipo instrumental que explicita os processos críticos de um programa, seus marcos e entregas no tempo, as conexões de suas atividades, as relações de antecedências e dependências entre elas, o contexto e os pressupostos de operação do programa, e que subentende que os resultados e impactos do programa advêm da interação de componentes e das condições particulares em que o programa “vive”, opera e se transforma. Com tal conceituação, não deve ser entendido como um diagrama que explicita as hipóteses de relações causais específicas de dimensões ou variáveis em um projeto de pesquisa acadêmico aplicado de avaliação de programas ou em desenhos de pesquisa de avaliação quasi-experimental. Ao contrário desses últimos, orientados na busca de atribuição de relações de causalidade entre componentes específicos do programa sobre variáveis potencialmente impactadas por um programa, o MaPR se presta a uma leitura mais compreensiva de como funcionam, de fato, programas sociais complexos, operados com interveniência de muitos agentes, sob contextos e condições tão diversas pelo país. 
• O MaPR oferece uma narrativa de associação/causalidade mais compreensiva e realista das atividades do programa para a mitigação do problema social originário, ao orientar a interpretação dos resultados como consequência, não de um fator ou atividade específica, mas do “pacote conjugado” composto de atividades, condições de operação e contexto do programa. Há certamente semelhanças conceituais e instrumentais entre o MaPR e outras ferramentas usadas nas técnicas de Desenho de Projetos ou Planejamento Estratégico como modelo lógico, árvore de soluções, diagrama de descritores, mapas estratégicos e mapa de produtos. 
• O MaPR não é um instrumento de coordenação e controle de atividade de projetos, pois não tem o detalhamento que modelos lógicos preconizam; não é ferramenta para diagnósticos de problemáticas sociais para fins de desenho de um programa, pois já explicita um modelo de intervenção; não é recurso específico para comunicação e alinhamento estratégico para projetos multidepartamentais como se prestam os mapas estratégicos, tampouco é um documento de apresentação analógica para fins de auditoria de desempenho operacional como o mapa de produtos. Na realidade, é um pouco de tudo isso, ao oferecer uma narrativa articulada do funcionamento de um programa e da conexão de seus componentes na busca dos resultados e impactos deste, baseado em um “paradigma eclético” de entendimento dos problemas sociais ou em um modelo mais pragmático e, possivelmente, já experimentado de intervenção sobre a realidade. A diferença do MaPR em relação a esses outros instrumentos é que ele é um recurso metodológico para descrever o programa social em questão, para fins de especificação de pesquisas de avaliação e sistemas de monitoramento de programas complexos. Ao explicitar quais são os processos-chave de um programa, quais são as atividades críticas na sua operação cotidiana, o MaPR aponta quais são os processos e componentes que se devem ter indicadores para compor o painel de monitoramento do programa. 
• Ao apresentar esquematicamente o programa e seus componentes - processos, produtos e resultados – o MaPR evidencia os possíveis “objetos de estudo” de pesquisas de avaliação. Com um recurso dessa natureza, aumentam-se as chances de se elaborar pesquisas de avaliação e sistemas de monitoramento que possam trazer insumos relevantes e instrumentais para inovação na gestão de programas e aprendizagem organizacional na Administração Pública."

Cadernos de Estudos Desenvolvimento Social em Debate. – N. 27 (2016)

BAIXAR

EXEMPLOS DE MaPR

MDS - O QUE SÃO INDICADORES?

MDS - O QUE SÃO INDICADORES?

Sistema de Avaliação da Educação Básica

Sistema de Avaliação da Educação Básica

Thereza Penna Firme - Curso Sesc de Gestão Cultural

CIPP E AS ABORDAGENS DAS AVALIAÇÕES

CIPP

CONTEXTO, INSUMO, PROCESSO, PRODUTO.

1. A avaliação do contexto serve para decisões de planejamento. Determinar que necessidades precisam ser atendidas por um programa ajuda a definir seus objetivos.

2. A avaliação do insumo serve para decisões de estruturação. Determinar que recur-sos estão disponíveis, que estratégias alternativas do programa devem ser consi-deradas e que plano parece ter o maior potencial para atender as necessidades e facilitar a criação de procedimentos do programa.

3. A avaliação do processo serve para decisões de implementação. Qual é o grau de êxito da implementação do programa? Que barreiras ameaçam seu sucesso? Que revisões são necessárias? Depois que essas perguntas forem respondidas, será possível supervisionar, controlar e refinar os procedimentos.

4. A avaliação do produto serve para decisões de reciclagem. Que resultados foram obtidos? Até que ponto as necessidades foram reduzidas? O que deverá ser feito com o programa depois que ele chegar a seu termo? Essas perguntas são importantes para julgar o que o programa conseguiu realizar.

PROPOSTA DE CLASSIFICAÇÃO DAS ABORDAGENS DA AVALIAÇÃO

(Avaliação de Programas)

"Aqueles que publicaram propostas de classificação são numerosos demais para
citar aqui, mas alguns exemplos são Guba e Lincoln (1981); House (1983a);
Madaus, Scriven e Stufflebeam (1983); Popham (1975); Scriven (1993); Shadish
et al. (1991); Stake (1975b); e Worthen e Sanders (1973, 1987). Todos eles influen-
ciaram nosso pensamento sobre a categorização das abordagens da avaliação, mas nos baseamos principalmente em nosso próprio trabalho e no de House ao desenvolver o esquema apresentado adiante."

1. Abordagens centradas em objetivos, que se concentram na especificação de metas e
objetivos e na determinação da medida
foram atingidos.

2. Abordagens centradas na administração, em que о interesse central são a identificação e o atendimento das necessidades da informação dos administradores que tomam as decisões.

3. Abordagens centradas no consumidor, em que a questão central é fornecer informações avaliatórias sobre "produtos", definidos genericamente, para o uso de consumidores na escolha entre diferentes produtos, serviços e congéneres.

4. Abordagens centradas em especialistas, que dependem basicamente da aplicação
direta de conhecimentos especializados de profissionais para julgar a qualidade
de qualquer atividade que esteja sendo avaliada.

5. Abordagens centradas no adversário, em que a oposição planejada em termos de ponto de vista dos diferentes avaliadores (prós e contras) é o foco central da avaliação.

6. Abordagens centradas no participante, em que o envolvimento dos participantes
(interessados no objeto da avaliação) é crucial para determinar valores, critérios,
necessidades e dados da avaliação.

A abordagem centrada em objetivos orienta-nos no sentido de perguntar se as
metas e os objetivos já estão definidos e em que medida foram alcançados. As metas
e os objetivos foram avaliados? São defensáveis? Possíveis de atingir? Em que condições
ou em que ambientes? O que impediria que fossem alcançados? O modelo de
avaliação da discrepância (Provus, 1971) levanta outras perguntas sobre padrões,
projeto do-programa, instalação do programa, concretização do processo, metas definitivas
e fmais e análise da relação custo-benefício.
A abordagem específica centrada na administração desenvolvida por Stumebeam
gera perguntas sobre o contexto (necessidade), insumo (projeto), processo (implementação)
e produto (resultados) do programa. As abordagens centradas na administração
também nos lembram a necessidade de procurar conhecer as decisões que
devem ser orientadas pela avaliação, como o que as pessoas que tomam decisões
precisam saber e quando precisam dessas informações.
A abordagem centrada nos participantes lembra-nos que devemos ter certeza de
levar todos os interessados em conta e ouvir o que eles têm a dizer mesmo durante
conversas informais. O processo do programa é crítico e devemos tentar compreender
as diferentes maneiras pelas quais as pessoas o vêem ou os diversos significados
atribuídos a ele. Descrever o programa em toda a sua complexidade como meio de
educar os públicos deve ser considerado algo da maior importãncia. O modelo das
Faces da Avaliação, proposto por Stake (1967), oferece um quadro de referências
para levantarmos perguntas sobre fundamento lógico, intenções, eventos reais e padrões.
Somos lembrados de que descrições completas do objeto real da avaliação e
do contexto no qual opera devem estar contidas em nossa avaliação.
A abordagem centrada nos consumidores gerou muitas listas de verificação e conjuntos
de critérios que podem ser de grande valor para nós ao considerarmos que
componentes ou características estudar numa avaliação ou que padrões usar. A abordagem
centrada em especialistas produziu padrões e críticas que refletem os critérios
e valores usados por especialistas contemporâneos na educação, na saúde mental,
nos serviços de assistência social, na justiça criminal e em outros campos. A abordagem
centrada em adversários lembra-nos de considerar tanto os pontos fortes quanto
·350 Avaliação de programas os pontos fracos do objeto que estamos avaliando e indicar perguntas, preocupações e critérios da avaliação tanto de seus proponentes quando dos oponentes mais ardorosos daquilo que está sendo avaliado.

Fonte: Avaliação de Programas - Wortens Sanders - Ed USP

Referente  Livro Avaliação de Programas- Worthen - es. Gente 

Estude Gestão da Avaliação na Cesgranrio!ACESSE aqui!

Nós indicamos e recomendamos!
Estude Gestão da Avaliação na Faculdade Cesgranrio.
ACESSE E se inscreva:

(Hoje mais do que antes, o Gestor da Avaliação, é o profissional que através de uma metodologia rigorosa vai cooperar com o desenvolvimento eficaz, eficiente e efetivo de sua escola, faculdade, empresa e organização. Divulgue, diga que te indicamos e terás excelente acesso à faculdade).

Michael Scriven

FILOSOFIA

Prolegômenos Προλεγόμενος

PROLEGÔMENOS προλεγόμενος 

Falar de antemão. Em Teologia é apresentar um panorama de todo o curso. Quais os tipos de teologia e explicá-los: patrística, escolástica, dogmática, reformada, liberal, neoliberal, neo-ortodoxa, existencialista, da libertação, carismática etc. Em Filosofia visualizamos as escolas e seus sistemas: pré-socráticos, socráticos, platônicos, aristotélicos, céticos, neoplatônicos, inatistas, empiristas, idealistas, voluntaristas, existencialistas, positivistas, neopositivistas etc. Em avaliação enxergamos os diferentes métodos da avaliação: avaliações centradas em objetivos, avaliações centradas na administração, avaliações centradas em especialistas, avaliações centradas em adversários, avaliações centradas nos consumidores. Avaliações qualitativas ou quantitativas, formativas ou somativas, atividades, insumos, produtos, resultados e impactos. Como em Psicologia não existe apenas uma abordagem de terapia: Behaviorista, psicanalítica, Gestalt,  Social, Fenomenológica etc. Estudar avaliação nos traz discernimento. Aprendi e aprendo cada vez mais com meus estimados professores e minhas estimadas professoras. Construímos um sonho grandioso na Faculdade Cesgranrio, onde docentes e discentes aprendem ensinando e ensinam aprendendo avaliação. O privilégio é de todos, por isso, obrigado por ser mais um que de forma muito modesta participa desse processo. Márcio Ruben

AVALIAÇÃO, ÉTICA E IMPLEMENTAÇÃO!

AVALIAÇÃO, ÉTICA E  IMPLEMENTAÇÃO!

Márcio  Ruben 

Ao  iniciar  meus  estudos  em  avaliação  fiquei  surpreso  com  as  intermináveis definições  sobre  avaliação.  E  se  falarmos  em  metodologia  da  avaliação,  a  confusão  é maior.  Metodologia  ou  tipo  de  avaliação?  “Os  teóricos  de  mais  prestígio  da  área  da avaliação  diferem  muito  na  visão  do  que  é  avaliação  e  de  que  forma  deve  ser  feita” (LIVRO:  AVALIAÇÃO  DE  PROGRAMAS) 1 .  Sei  que  o  conceito  de  avaliação  tem desenvolvido  a  cada  dia,  principalmente  com  as  contribuições  dos  expoentes  da avaliação  modernos  como  Scriven  e  Patton,  e  vários  comitês  e  associações  sobre avaliação.  As  avaliações  de  políticas  públicas,  quando,  por  exemplo,    na  privatização  de estatais,  exige  um  controle  por  empresas  externas  na  qualidade  dos  serviços  prestados  à população.  Muitas  avaliações  somente  são  importantes  para  quem  sofre  um  grande impacto  do  programa  que  afeta  diretamente  a  sua  vida.  Para  diretores  abastados,  o  custo benefício,  pode  ser  irrelevante.  A  falta  de  envolvimento  e  de  resultados  pode  ser equiparado  aos  resultados  de  um  juiz  indiferente  que  não  tem  conhecimento  profundo  e experiência  com  o  caso  examinado.  Conflito  de  interesses  afetam  o  resultado  quando  o gestor  tende  a  indiferença,  pois  não  afeta  o  seu  ego.  Tudo  reduz  a  credibilidade    da avaliação.  A  avaliação  de  um  produto  que  todos  apostam  nele,  porém  ao  ser  avaliado não  apresenta  eficiência.  Scriven  fala  da  “aprovação  dos  campos  de  treinamento  pelos fuzileiros e  de  ritos  de  iniciação  desumanizantes  pelos  membros  de fraternidades”(SCRIVEN:  AVALIAÇÃO:  UM  GUIA  DE  CONCEITOS) 2que  seguem um viés de  justificativa  que  muitos movimentos pelos direitos humanos  não aprovariam. A  avaliação  desses  objetos  de  estudo  depende  do  sujeito  que  avalia.  Mas  qual  é  o padrão?  O  que  é  normativo?  Consultores  de  avaliação  são  híbridos  entre  profissionais externos  e  internos,  pois  vivem  certa  independência  ilusória,  ao  viver  na  verdade  numa dependência  e  responsabilidade  relevante  ao  avaliar  o  seu  objeto  avaliado.  Abdicar  de suas  preferências,  ser  arbitrário,  executar  sua  epochê  fenomenológica.  O  contexto  tem um  caráter  longitudinal 3e  transversal,  diacrônico  e  sincrônico.  O  histórico,  os antecedentes  do  que  se  valia  mais  o  momento  atual,  “o  que  se  passa  na  atualidade” levam  o  avaliador  a  uma  realidade  da  verdade  dos  fatos,  uma  busca  da  verdade  nos moldes  socráticos  de  definição.  Por  exemplo,  numa  avaliação  formativa,  a  verdade  não pode  se  apresentar  apenas  para  o  público  alvo  externo,  também  para  os  que  convivem com  o  avaliado,  o  público  interno  (o  staff)  . 4É  preciso  distinguir  e  identificar  os critérios  para  uma  avaliação.  Não  é  possível  usar  o  mesmo  critério  de  avaliação  de pessoal  para  avaliação  de  produtos,  ou  até  mesmo  quando  se  avaliam  professores,  que conseguem um  grande  mérito por terem um  planejamento de suas  aulas, não é  padrão de critério  para  avaliação  de  pessoal,  que  nem  sempre  apresenta  um  padrão  previsível, determinista 5 . Infelizmente  os  conceitos  metodológicos  e  instrumentais  da  avaliação podem  ser  e  ainda  são,  por  muitos  profissionais  e  acadêmicos,  idiossincráticos.  Quão subjetivo  pode  ser  um  conceito  de  um  fato  objetivo.  Conceituar,  colocar  no  papel, definir.  Pode  ser  “chato”  criar  normas  e  regras.  Inconsistência  entre  a  teoria  e  a  prática. 

Habermas é um filósofo que utiliza de uma hermenêutica relativista em contraste com a hermenêutica positivista, que esta é menos empática. “Ver os eventos numa perspectiva interna”6. Talvez um dos problemas mais complexos da avaliação é na implementação. Saber distinguir entre avaliação e recomendação. Nem sempre uma avaliação parte de dados ou premissas válidas. Recomendações ao cliente podem não ser aceitas, pois suas bases são inadequadas. Não houve uma visão de acordo com os fatos internos, com a realidade presente. Avaliações podem ser excelentes, mas redigidas sem clareza7. Segundo Scriven “o fenômeno da implementação pode ter poucas ou grandes implicações para o campo da avaliação”8. Todavia, uma avaliação pode ser parcial, ou melhor, não consumada ou fragmentária, muitas vezes motivada por medo de suas conclusões. Há vários motivos para uma axiofobia,  principalmente quando interesses não casam, ou quando a ignorância do avaliador a respeito da capacidade do avaliando é o resultado de um péssimo julgamento. Por exemplo, um gestor não pode gostar de ser avaliado, todavia entende o prejuízo de um produto ruim, então mesmo contra a vontade sabe que o avaliador pode ajudá-lo a economizar nos custos do produto e evitar futuros prejuízos9. O que Scriven chama de “ajustar à fechadura a chave”. Mas a utilidade de uma avaliação pode ser descrita muitas vezes como implementação, ouvi muitas vezes isto, principalmente pelos avaliadores da área da saúde. Scriven afirma que, todavia “isto presume que o papel da avaliação é produzir recomendações, visto que somente recomendações são capazes de ser implementadas. Entretanto, muitas avaliações não podem nem devem incorporar recomendações” 10.   “As diretrizes estabelecem uma referência de qualidade para as avaliações de modo que as mesmas sejam confiáveis, úteis, éticas e culturalmente apropriadas.”(RELAC) 11  A avaliação é uma ciência, pois possui métodos, regras. Segue valores, não é uma ciência livre de valores. Ética e moral exigem juízo de valor. Avaliar é julgar, avaliar é ver que a ética é uma política do bem-estar, base de igualdade dos direitos das pessoas.12 Há uma questão ética se, logo no início, a avaliação deveria ser feita, segue um objetivo honesto e arbitrário. A avaliação não depende exclusivamente da expertise do avaliador, mas da sua sagacidade, preparo e consideração ética e moral. Depende de sua equipe e olhar consciente.  “De modo geral, o problema em avaliação primeiro é identificar valores relevantes”13 Sabendo que valores ilícitos violam restrições morais, restrições legais ou consistência lógica.
1Livro  Avaliação  de  Programas,  pág.  45. 2Livro  Avaliação: Um  Guia  de  Conceitos,  pág.  222. 3Ibid.,  pág.  230. 4Ibid.,  pág. 236. 5Ibid.,  pág.  238.
6 Ibid., pág. 117 7 Ibid., pág. 320 8 Ibid., pág. 321 9 Ibid., pág. 500 10 Ibid., pág. 501 11 Diretrizes para Avaliação para a América Latina e o Caribe pág. 5.  12 Livro Avaliação: Um Guia de Conceitos, pág. 501  13 Ibid., pág. 510 14 Ibid., pág. 511 

SEJA UM AMIGO DA SABEDORIA COM O PROF. MÁRCIO RUBEN

SEJA UM AMIGO DA SABEDORIA

COM O

PROF. MÁRCIO RUBEN

ALFAFILOSOFIA

Aprenda a falar em público sobre a sua Avaliação!

O Discurso na Avaliação 

A palavra grega kerygma significa aquilo que é proclamado por um arauto ou proclamador público, uma proclamação por arauto.

A retórica é a arte de elaborar e apresentar o discurso. Disse Aristóteles em seu livro a Arte Retórica e Poética "Logo, se a elaboração do discurso pode existir sem preparativos com maior razão poderá existir – com a arte e cuidados”.

No grego clássico, a palavra homilos, significava falar a uma multidão e conquistá-la, daí o estudo do discurso chamado homilética ou a palavra de cunho religioso homilia.

Em avaliação o discurso é extremamente necessário. 

É muito importante saber o que você vai falar. Leia, pesquise, domine o assunto. 

Também é muito importante haver progressão de pensamento de maneira que o primeiro ponto conduza ao segundo e o segundo a um terceiro etc. Sondando o texto com perguntas encontraremos o assunto que deve dominar o discurso. O uso de perguntas como, por exemplo: 

1. Que é avaliação?
2. Por que avaliar?
3. Como avaliar?
4. Qual o resultado e o impacto da avaliação?

O quê ou quem, o por quê, o como e qual é o resultado.

Na introdução começa-se por exprimir logo de entrada o que se pretende dizer e apresentar a ideia geral. Pode-se começar na forma de conselho, fazendo referência com elogios ou reprovações, ou diretamente a questões que dizem respeito aos ouvintes de modo geral. Importa-se obter a atenção dos ouvintes para todas as partes do discurso  não só na introdução. Então sempre que se oferecer ocasião devemos nos dirigir aos ouvintes chamando a atenção deles à importância do que estamos dizendo e do que vamos fizer. Colabora bastante aprender a se relacionar com os ouvintes, saber que estão ali porque querem nos ouvir, que é essencial como se fala: não tente falar como se escreve, pois se perde a naturalidade. Enquanto o estilo escrito é mais exato o estilo das discussões é o mais dramático. Por exemplo, as frequentes repetições da mesma palavra são censuradas no discurso escrito, porém no discurso falado são meios da própria ação.

Não bastam que nossas palavras sejam intencionalmente coerentes, elas precisam ser estruturadas sobre a realidade, sobre a experiência, sobre algo que pode conectar o orador aos ouvintes, pois eles ouvem em geral o que previamente se identificam e de maneira inteiramente individual.

As divisões e a conclusão conduzem o discurso. As ilustrações devem ser usadas com cuidado, ajuda entender o discurso. Deve-se evitar ilustrações que precisam ser explicadas. Olhar e visualizar o público traz segurança ao ouvinte e aproximação. Nunca termine seu discurso sem conclusão,  na conclusão faça uma revisão de todo assunto tratado, algumas vezes levando à prática, a ação.

(Solicite uma aula sobre o assunto em gestaodaavaliacao@gmail.com prof. Márcio Ruben)

O que é Hermenêutica?

O que é Hermenêutica?

É a ciência e a arte de interpretar.

Três ciências: (Seguem regras)

• Hermenêutica – O que significa?

• Crítica textual – É verdade? É a melhor tradução?

• Exegese – Está de acordo na prática?

É muito importante:

• Contexto precedente e posterior.

• Textos paralelos.

• Ensino geral e do autor.

• Ensino geral de outros textos e outros autores.

Na interpretação do texto, da perícope escolhida (texto a ser examinado):

• Verificar o escopo, isto é, o objetivo do autor.
• Identificar o estílo do autor.
• O uso de figuras de linguagem.
• O contexto do autor: político, social, econômico.

"Para ser moderno é preciso ser extemporâneo" Nietzsche. Isto é, fora de seu tempo, examinar os clássicos,  outras disciplinas. A avaliação é transdisciplinar.

"Não se pode banhar no rio duas vezes da mesma maneira, pois as águas não são mais as mesmas" Heráclito, e, "Nós não somos mais os mesmos, pois sabemos que nos banhamos de novo" Hegel. Isto é, a razão é razão para cada momento do tempo. Para cada época há um jeito de pensar, uma contextualização, não pensamos como nossos pais, nossos antepassados. É preciso viver o passado, utilizar de ferramentas que nos façam nos aproximar do contexto do autor e dos seus escritos. 

A razão tem uma dialética, ora a verdade está no objeto do conhecimento,  ora a verdade está no sujeito do conhecimento. Há uma tese, antítese e síntese. Nem sempre a síntese é a total negação da antítese. A razão se desenvolve no tempo, a razão é o próprio tempo. Na análise dos textos é de suma importância a compreensão do tempo e da razão.  

Em grego, dialética, tem a ver com as palavras dia, através e aletheia,  verdade. É o desvelamento, a retirada do véu, é o movimento de vai e vem, é a afirmação e a negação, é a fenomenologia do espírito. A consciência de si mesmo. 

Todo texto a ser examinado reflete algo mais que letras, reflete espírito e razão. 

Prof. Márcio Ruben

o poder da lógica

o poder da lógica 

Ontem conversei com o jovem muito talentoso e premiado, João, aluno do sistema de informação da Faculdade Cesgranrio sobre a importância da lógica.

Vou postar aqui uma série  de estudos sobre a lógica e o raciocínio lógico.

Tanto a razão como a experiência, o racionalismo e o empirismo, depende da lógica para passar de uma ideia a outra. Ela funciona otimanente aplicada a matemática, mas, quando os números são substitufdos por ideias, coisas curiosas podem acontecer. Parte do problema é que as palavras podem ter mais de um significado. Outro problema da lógica é que geralmente é preciso partir de premissas. Isto significa que, mesmo que  lógica seja correta, suas premissas podem estar erradas e levá-lo a conclusões falsas. 

• Para baixo: dedução 

A dedução é o processo de descobrir coisas que são necessariamente verdadeiras, contanto que os pressupostos de que partimos, denominados premissas, sejam verdadeiros. Aristóteles forneceu um famoso exemplo de um tipo de dedução que ele denominou silogismo. Consiste de três enunciados: duas premissas e uma conclusão . Eis o silogismo de Aristóteles sobre Sócrates: Todo homem é mortal. Sócrates é um homem. Sócrates é mortal. Das duas premissas, podemos deduzir a conclusão sem margem de dúvida. Como observou o próprio Aristóteles, a conclusão só é garantida se as premissas forem de fato verdadeiras. Se nem todo homem for mortal ou se Sócrates não for um homem, a conclusão de que Sócrates é mortal pOderá ser falsa. 

• Para cima: indução 

Outro processo lógico importante é a indução - uma forma de fazer generalizações sobre as coisas. A indução, assim como a dedução, passa das premissas para as conclusões. Mas, ao contrário da dedução, a indução leva a conclusões que podem não ser verdadeiras, mesmo que as premissas o sejam. As conclusões indutivas são prováveis, não certas. Por exemplo, se quisermos saber de que cores podem ser os pombos, sairmos em campo, encontrarmos um bom número de pombos e todos eles forem brancos, poderemos apostar que todos os pombos são brancos. Mas podemos ter certeza? Mesmo ver um milhão de pombos brancos não garante que não haja em algum lugar algum pombo preto. O máximo que podemos dizer é que todos os pombos são provavelmente brancos.

Continua...