A correct method to calculate the IDD value-added indicator in the Brazillian higher education quality assurance framework
Palavras-chave:
Higher education, Value-added modeling, Quality indicators, IDDResumo
This paper investigates the value-added indicator used in the Brazilian higher education quality assurance framework, the so-called IDD indicator for undergraduate programmes (“Indicator of the difference between observed and expected outcomes''). The two main claims are that since 2014 this indicator is calculated incorrectly and that this mistake has relevance for public policy. INEP, the educational statistical agency responsible for educational quality indicators in Brazil, incorrectly uses multilevel modeling in their value-added analysis. The IDD indicator is calculated by estimating a varying intercept linear mixed model, but instead of identifying the intercepts with the value added of courses, INEP uses the mean of the student residuals. That this was indeed the error made is shown by reproducing exactly INEP’s published values using the incorrect method with the microdata for the 2019 assessment cycle. I then compare these values to the ones obtained with the same model and same data, but using the correct value-added measure. A comparison of reliability estimates for both methods shows that this measure of internal consistency is indeed higher for the correct method. As an example of policy relevance, I calculate the number of courses that would change from “satisfactory” to “unsatisfactory” and vice-versa, using the usual criteria established by INEP, if the correct method is applied.
Downloads
Referências
AERA; APA; NCME. Standards for educational and psychological testing. American Educational Research Association, Washington, DC, 2014.
AERA. AERA Statement on Use of Value-Added Models (VAM) for the Evaluation of Educators and Educator Preparation Programs. Educational Researcher, California, v. 44, n. 8, p. 448–452, nov. 2015.
AMERICAN STATISTICAL ASSOCIATION. ASA statement on using value-added models for educational assessment, Virginia, 2014. Disponível em: http://www.amstat.org/policy/pdfs/ASA_VAM_Statement.pdf. Acesso em: 12 abr. 2014
BATES, D. et al. Fitting Linear Mixed-Effects Models Using lme4. Journal of Statistical Software, Los Angeles, v. 67, n. 1, 2015.
BITTENCOURT, H. R. et al. Uma análise da relação entre os conceitos Enade e IDD. Estudos em Avaliação Educacional, São Paulo, SP, v. 19, n. 40, p. 247, ago. 2008.
CASTELLANO, K. E.; HO, A. D. A Practitioner’s Guide to Growth Models. Washington: CCSSO, 2013.
FERNANDES, R. et al. Avaliação de cursos na educação superior: a função e a mecânica do conceito preliminar de curso. Série documental. Textos para discussão. Brasília: Inep, 2009.
FERNANDES, V. Quality of accounting undergraduate programs in Brazil: How to estimate value-added? 2020. Tese (Doutorado em Ciências Contábeis) - Universidade Federal de Uberlândia, Uberlândia, 2020.
IKUTA, C. Y. S. Sobre o Conceito Preliminar de Curso: concepção, aplicação e mudanças metodológicas. Estudos em Avaliação Educacional, São Paulo, SP, v. 27, n. 66, p. 938, dez. 2016.
INEP. O que é o Sinaes. Brasília: Inep, 2015. Disponível em: http://inep.gov.br/sinaes. Acesso em: 30 nov. 2020.
INEP. Indicadores de Qualidade da Educação Superior. Outros documentos. Brasília: Inep, 2020a. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/pesquisas-estatisticas-e-indicadores/indicadores-de-qualidade-da-educacao-superior/outros-documentos. Acesso em: 30 nov. 2020.
INEP. NOTA TÉCNICA No34/2020/CGCQES/DAES, Brasília: Inep, 2020b. Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2019/NOTA_TECNICA_N_34-2020_CGCQES-DAES_Metodologia_de_calculo_do_IDD_2019.pdf. Acesso em: 30 nov. 2020.
INEP. Microdados do Indicador da Diferença entre os Desempenhos Observado e Esperado. Brasília: Inep, 2020c. Disponível em: https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/idd. Acesso em: 30 nov. 2020.
JOLLY, E. Pymer4: Connecting R and Python for Linear Mixed Modeling. Journal of Open Source Software, United States, v. 3, n. 31, p. 862, 26 nov. 2018.
KIM, H.; LALANCETTE, D. Literature Review on the Value-Added Measurement in Higher Education. Paris: OECD Publishing, 2013.
KORETZ, D. Measuring Postsecondary Achievement: Lessons from Large-Scale Assessments in the K-12 Sector. Higher Education Policy, London, v. 32, n. 4, p. 513–536, dez. 2019.
LACERDA, L. L. V. DE; FERRI, C.; DUARTE, B. K. DA C. SINAES: avaliação, accountability e desempenho. Avaliação, Campinas; Sorocaba, v. 21, n. 3, nov. 2016. Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/2779. Acesso em: 30 set. 2020.
LACERDA, L. L. V. DE; FERRI, C. Conceito Preliminar de Curso: conceito único para uma realidade educacional múltipla. Estudos em Avaliação Educacional, São Paulo, SP, v. 28, n. 69, p. 748-772, dez. 2017.
OECD. Assessment of Higher Education Learning Outcomes. Feasibility Study Report. v. 3. Paris: OECD Publishing, 2013. Disponível em: http://www.oecd.org/education/skills-beyond-school/ahelo-main-study.htm. Acesso em: 1 out. 2020.
OECD. Rethinking Quality Assurance for Higher Education in Brazil. Paris: OECD Publishing, 2018. Disponível em: https://www.oecd-ilibrary.org/education/rethinking-quality-assurance-for-higher-education-in-brazil_9789264309050-en. Acesso em: 6 fev. 2019.
POLIDORI, M. M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 439–452, jul. 2009.
PRIMI, R.; SILVA, M. C. R. da; BARTHOLOMEU, D. A validade do Enade para avaliação de cursos superiores. Examen: Política, Gestão e Avaliação da Educação, Brasília, DF, v. 2, n. 2, p. 128–151, dez. 2018.
STEEDLE, J. T. Selecting value-added models for postsecondary institutional assessment. Assessment & Evaluation in Higher Education, Local, v. 37, n. 6, p. 637–652, set. 2012.
TCU. Tribunal de Contas da União. Relatório de auditoria (RA): RA 01047120170. Brasília, 2018. Disponível em: https://tcu.jusbrasil.com.br/jurisprudencia/582915007/relatorio-de-auditoria-ra-ra-1047120170/relatorio-582915239. Acesso em: 30 dez. 2018.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2021 Avaliação: Revista da Avaliação da Educação Superior
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
A remessa de originais implica a autorização para publicação e disponibilização on-line sem o pagamento de direitos atorais.
A reprodução de artigos publicados na Avaliação só é permitida com indicação da fonte. Utilização de material publicado para fins comerciais é proibida.
