Keywords
external validity
predictive validity
incremental validity
How to Cite
Abstract
SLAT-Thinking is the only test that evaluates and distinguishes stages of approaches through performance. Although SLAT-Thinking shows evidence of internal validity, its external validity has not yet been examined. In this paper we study the predictive and incremental validities of SLAT-Thinking. Two models were tested. The predictors were inductive reasoning, SLAT-Thinking approaches and Learning Approaches Scale (EABAP) approaches. The outcome was the Brazilian large-scale exam that evaluates the students that finish secondary education. In both models, the superficial approach of SLAT-Thinking was the main predictor, followed by inductive reasoning. The deep and superficial approaches of SLAT-Thinking were positively associated with academic achievement. While the deep intermediate approach was negatively associated to outcome. Non-linear relationships (positive and negative associations) were found in the two EABAP approaches and inductive reasoning with the outcome. This study shows evidence of predictive and incremental validity of SLAT-Thinking.
References
Alves, A. F., Gomes, C. M. A., Martins, A., & Almeida, L. S. (2016). Social and cultural contexts change but intelligence persists as incisive to explain children's academic achievement. PONTE: International Scientific Researches Journal, 72(9), 70-89. https://doi.org/10.21506/j.ponte.2016.9.6
Alves, A. F., Gomes, C. M. A., Martins, A., & Almeida, L. S. (2017). Cognitive performance and academic achievement: How do family and school converge? European Journal of Education and Psychology, 10(2), 49-56. https://doi.org/10.1016/j.ejeps.2017.07.001
Alves, A. F., Gomes, C. M. A., Martins, A., & Almeida, L. S. (2018). The structure of intelligence in childhood: age and socio-familiar impact on cognitive differentiation. Psychological Reports, 121(1), 79-92. https://doi.org/10.1177/0033294117723019
Alves, F. A., Flores, R. P., Gomes, C. M. A., & Golino, H. F. (2012). Preditores do rendimento escolar: inteligência geral e crenças sobre ensino-aprendizagem. Revista E-PSI, 1, 97-117. https://revistaepsi.com/artigo/2012-ano2-volume1-artigo5/
Banerjee, A., Chitnis, U. B., Jadhav, S. L., Bhawalkar, J. S., & Chaudhury, S. (2009). Hypothesis testing, type I and type II errors. Industrial Psychiatry Journal, 18(2), 127-131. https://doi.org/10.4103/0972-6748.62274
Biggs, J. B. (1985). The role of meta-learning in study process. British Journal of Educational Psychology, 55, 185-212. https://doi.org/10.1111/j.2044-8279.1985.tb02625.x
BRASIL/INEP (2011). Nota Técnica Procedimento de cálculo das notas do Enem. INEP, Brasília. http://download.inep.gov.br/educacao_basica/enem/nota_tecnica/2011/nota_tecnica_procedimento_de_calculo_das_notas_enem_2.pdf
Cardoso, C. O., Seabra, A. G., Gomes, C. M. A., & Fonseca, R. P. (2019). Program for the neuropsychological stimulation of cognition in students: impact, effectiveness, and transfer effect on student cognitive performance. Frontiers in Psychology, 10, 1-16. https://doi.org/10.3389/fpsyg.2019.01784
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.), Erlbaum.
Costa, B. C. G., Gomes, C. M. A., & Fleith, D. S. (2017). Validade da Escala de Cognições Acadêmicas Autorreferentes: autoconceito, autoeficácia, autoestima e valor. Avaliação Psicológica, 16(1), 87-97. https://doi.org/10.15689/ap.2017.1601.10
Dias, N. M., Gomes, C. M. A., Reppold, C. T., Fioravanti-Bastos, A., C., M., Pires, E. U., Carreiro, L. R. R., & Seabra, A. G. (2015). Investigação da estrutura e composição das funções executivas: análise de modelos teóricos. Psicologia: teoria e prática, 17(2), 140-152. https://doi.org/10.15348/1980-6906/psicologia.v17n2p140-152
Fox, J., & Weisberg, S. (2019). car: Companion to Applied Regression, R package (version 3.0-9) [Computer software]. https://cran.r-project.org/web/packages/car/car.pdf
Golino, H.F., & Gomes, C. M. A. (2014). Psychology data from the “BAFACALO project: The Brazilian Intelligence Battery based on two state-of-the-art models – Carroll’s Model and the CHC model”. Journal of Open Psychology Data, 2(1), e6. https://doi.org/10.5334/jopd.af
Golino, H. F., & Gomes, C. M. A. (2019). TDRI: Teste de Desenvolvimento do Raciocínio Indutivo, Hogrefe.
Golino, H. F., Gomes, C. M. A., & Andrade, D. (2014). Predicting academic achievement of high-school students using machine learning. Psychology, 5, 2046-2057. https://doi.org/10.4236/psych.2014.518207
Golino, H. F., Gomes. C. M. A., Commons, M. L., & Miller, P. M. (2014). The construction and validation of a developmental test for stage identification: Two exploratory studies. Behavioral Development Bulletin, 19(3), 37-54. https://doi.org/10.1037/h0100589
Gomes, C. M. A. (2007). Softwares educacionais podem ser instrumentos psicológicos. Psicologia Escolar e Educacional, 11(2), 391-401. https://doi.org/10.1590/S1413-85572007000200016
Gomes, C. M. A. (2010a). Avaliando a avaliação escolar: notas escolares e inteligência fluida. Psicologia em Estudo, 15(4), 841-849. http://www.redalyc.org/articulo.oa?id=287123084020
Gomes, C. M. A. (2010b). Estrutura fatorial da Bateria de Fatores Cognitivos de Alta-Ordem (BaFaCalo). Avaliação Psicológica, 9(3), 449-459. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712010000300011&lng=pt
Gomes, C. M. A. (2010c). Perfis de estudantes e a relação entre abordagens de aprendizagem e rendimento Escolar. Psico (PUCRS. Online), 41(4), 503-509. http://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/6336
Gomes, C. M. A. (2011a). Abordagem profunda e abordagem superficial à aprendizagem: diferentes perspectivas do rendimento escolar. Psicologia: Reflexão e Crítica, 24(3), 438-447. https://doi.org/10.1590/S0102-79722011000300004
Gomes, C. M. A. (2011b). Validade do conjunto de testes da habilidade de memória de curto-prazo (CTMC). Estudos de Psicologia (Natal), 16(3), 235-242. https://doi.org/10.1590/S1413-294X2011000300005
Gomes, C. M. A. (2012). Validade de construto do conjunto de testes de inteligência cristalizada (CTIC) da bateria de fatores cognitivos de alta-ordem (BaFaCAlO). Revista Interinstitucional de Psicologia, 5(2), 294-316. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1983-82202012000200009&lng=pt&tlng=pt
Gomes, C. M. A. (2013). A construção de uma medida em abordagens de aprendizagem. Psico (PUCRS. Online), 44(2), 193-203. http://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/11371
Gomes, C. M. A., & Almeida, L. S. (2017). Advocating the broad use of the decision tree method in education. Practical Assessment, Research & Evaluation, 22(10), 1-10. https://pareonline.net/getvn.asp?v=22&n=10
Gomes, C. M. A., Amantes, A., & Jelihovschi, E. G. (2020). Applying the Regression Tree Method to Predict Students’ Science Achievement. Trends in Psychology. 28(1), 99-177. https://doi.org/10.9788/s43076-019-00002-5
Gomes, C. M. A., & Borges, O. N. (2007). Validação do modelo de inteligência de Carroll em uma amostra brasileira. Avaliação Psicológica, 6(2), 167-179. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712007000200007&lng=en&tlng=pt
Gomes, C. M. A., & Borges, O. N. (2008a). Avaliação da validade e fidedignidade do instrumento crenças de estudantes sobre ensino-aprendizagem (CrEA). Ciências & Cognição (UFRJ), 13(3), 37-50. http://www.cienciasecognicao.org/revista/index.php/cec/article/view/60
Gomes, C. M. A., & Borges, O. (2008b). Qualidades psicométricas de um conjunto de 45 testes cognitivos. Fractal: Revista de Psicologia, 20(1), 195-207. https://doi.org/10.1590/S1984-02922008000100019
Gomes, C. M. A. & Borges, O. N. (2009a). O ENEM é uma avaliação educacional construtivista? Um estudo de validade de construto. Estudos em Avaliação Educacional, 20(42), 73-88. https://doi.org/10.18222/eae204220092060
Gomes, C. M. A., & Borges, O. N. (2009b). Propriedades psicométricas do conjunto de testes da habilidade visuo espacial. PsicoUSF, 14(1), 19-34. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-82712009000100004&lng=pt&tlng=pt
Gomes, C. M. A., & Borges, O. (2009c). Qualidades psicométricas do conjunto de testes de inteligência fluida. Avaliação Psicológica, 8(1), 17-32. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712009000100003&lng=pt&tlng=pt
Gomes, C. M. A., de Araújo, J., Ferreira, M. G., & Golino, H. F. (2014). The validity of the Cattel-Horn-Carroll model on the intraindividual approach. Behavioral Development Bulletin, 19(4), 22-30. https://doi.org/10.1037/h0101078
Gomes, C. M. A., Farias, H. B., & Jelihovschi, E. G. (2022). Approaches to learning does matter to predict academic achievement. Revista de Psicología, 40(2), 905-933. https://doi.org/10.18800/psico.202202.010
Gomes, C. M. A., & Gjikuria, E. (2018). Structural Validity of the School Aspirations Questionnaire (SAQ). Psicologia: Teoria e Pesquisa, 34, e3438. https://doi.org/10.1590/0102.3772e3438
Gomes, C. M. A., & Golino, H. F. (2012a). O que a inteligência prediz: diferenças individuais ou diferenças no desenvolvimento acadêmico? Psicologia: teoria e prática, 14(1), 126-139. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1516-36872012000100010&lng=pt&tlng=pt
Gomes, C. M. A., & Golino, H. F. (2012b). Validade incremental da Escala de Abordagens de Aprendizagem (EABAP). Psicologia: Reflexão e Crítica, 25(4), 400-410. https://doi.org/10.1590/S0102-79722012000400001
Gomes, C. M. A., & Golino, H. F. (2014). Self-reports on students' learning processes are academic metacognitive knowledge. Psicologia: Reflexão e Crítica, 27(3), 472-480. https://doi.org/10.1590/1678-7153.201427307
Gomes, C. M. A., & Golino, H. (2015). Factor retention in the intra-individual approach: Proposition of a triangulation strategy. Avaliação Psicológica, 14(2), 273-279. https://doi.org/10.15689/ap.2015.1402.12
Gomes, C. M. A., Golino, H. F., & Menezes, I. G. (2014). Predicting School Achievement Rather than Intelligence: Does Metacognition Matter? Psychology, 5, 1095-1110. https://doi.org/10.4236/psych.2014.59122
Gomes, C. M. A., Golino, H. F., Pinheiro, C. A. R., Miranda, G. R., & Soares, J. M. T. (2011). Validação da Escala de Abordagens de Aprendizagem (EABAP) em uma amostra Brasileira. Psicologia: Reflexão e Crítica, 24(1), 19-27. https://doi.org/10.1590/S0102-79722011000100004
Gomes, C. M. A., Golino, H. F., Santos, M. T., & Ferreira, M. G., (2014). Formal-Logic Development Program: Effects on Fluid Intelligence and on Inductive Reasoning Stages. British Journal of Education, Society & Behavioural Science, 4(9), 1234-1248. http://www.sciencedomain.org/reviewhistory.php?iid=488&id=21&aid=4724
Gomes, C. M. A., & Jelihovschi, E. G. (2019). Presenting the Regression Tree Method and its application in a large-scale educational dataset. International Journal of Research & Method In Education, 43(2), 201-221. https://doi.org/10.1080/1743727X.2019.1654992
Gomes, C. M. A., & Jelihovschi, E. G. (2020). Comparing the Predictive Power of the CART and CTREE algorithms. Revista Avaliação Psicológica, 19(1), 87-96. https://doi.org/10.15689/ap.2020.1901.17737.10
Gomes, C. M. A., Lemos, G. C., & Jelihovschi, E. G. (2020). Comparing the predictive power of the CART and CTREE algorithms. Avaliação Psicológica, 19(1), 87-96. https://doi.org/10.15689/ap.2020.1901.17737.10
Gomes, C. M. A. & Linhares, I. (2018). Investigação da validade de conteúdo do TAP-Pensamento. [Pôster]. I Encontro Anual da Rede Nacional de Ciência para Educação (CPE). https://doi.org/10.13140/RG.2.2.31110.40006
Gomes, C. M. A., & Marques, E. L. L. (2016). Evidências de validade dos estilos de pensamento executivo, legislativo e judiciário. Avaliação Psicológica, 15(3), 327-336. https://doi.org/10.15689/ap.2016.1503.05
Gomes, C. M. A., Marques, E. L. L., & Golino, H. F. (2014). Validade Incremental dos Estilos Legislativo, Executivo e Judiciário em Relação ao Rendimento Escolar. Revista E-Psi, 2, 31-46. https://revistaepsi.com/artigo/2013-2014-ano3-volume2-artigo3/
Gomes, C. M. A., Quadros, J. S., Araujo, J., & Jelihovschi, E. G. (2020). Measuring students’ learning approaches through achievement: structural validity of SLAT-Thinking. Estudos de Psicologia (Natal), 25(1), 33-43. https://doi.org/10.22491/1678-4669.20200004
Hebbali, A. (2020). olsrr: Tools for Building OLS Regression Models, R package (version 0.5.3) [Computer software]. https://cran.r-project.org/web/packages/olsrr/olsrr.pdf
Muniz, M., Gomes, C. M. A., & Pasian, S. R. (2016). Factor structure of Raven's Coloured Progressive Matrices. Psico-USF, 21(2), 259-272. https://doi.org/10.1590/1413-82712016210204
Osei-Bryson, K. (2008). Post-pruning in regression tree induction: An integrated approach. Expert Systems with Applications, 34, 1481-1490. https://doi.org/10.1016/j.eswa.2007.01.017
Pereira, B. L. S., Golino, M. T. S., & Gomes, C. M. A. (2019). Investigando os efeitos do Programa de Enriquecimento Instrumental Básico em um estudo de caso único. European Journal of Education Studies, 6(7), 35-52. https://doi.org/10.5281/zenodo.3477577
Pires, A. A. M., & Gomes, C. M. A. (2018). Proposing a method to create metacognitive school exams. European Journal of Education Studies, 5(8), 119-142. https://doi.org/10.5281/zenodo.2313538
R Core Team. (2020). R: A language and environment for statistical computing (version 4.0) [Computer software]. https://www.R-project.org/
Richardson, M., Abraham, C., & Bond, R. (2012). Psychological correlates of university students' academic performance: a systematic review and meta-analysis. Psychological Bulletin, 138(2), 353-387. https://doi.org/10.1037/a0026838
Reppold, C. T., Gomes, C. M. A., Seabra, A. G., Muniz, M., Valentini, F., & Laros, J. A. (2015). Contribuições da psicometria para os estudos em neuropsicologia cognitiva. Psicologia: Teoria e Prática, 17(2), 94-106. https://doi.org/10.15348/1980-6906/psicologia.v17n2p94-106
Soper, D.S. (2023). Beta (Type II Error Rate) Calculator for Multiple Regression [Software]. https://www.danielsoper.com/statcalc
Therneau. T., & Atkinson, B. (2019). rpart: Recursive Partitioning and Regression Trees R package (version 4.1-15) [Computer software]. https://cran.r-project.org/web/packages/rpart/rpart.pdf
Valentini, F., Gomes, C. M. A., Muniz, M., Mecca, T. P., Laros, J. A., & Andrade, J. M. (2015). Confiabilidade dos índices fatoriais da Wais-III adaptada para a população brasileira. Psicologia: teoria e prática, 17(2), 123-139. https://doi.org/10.15348/1980-6906/psicologia.v17n2p123-139
Watkins, D. (2001). Correlates of Approaches to Learning: A Cross-Cultural Meta-Analysis. In R. J. Sternberg & L. F. Zhang (Eds.), Perspectives on thinking, learning and cognitive styles (pp. 132–157), Lawrence Erlbaum Associates.
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Copyright (c) 2023 Cristiano Mauro Assis Gomes, Jhonys de Araujo, Enio Galinkin Jelihovschi