1. INTRODUCCIÓN
⌅La producción científica en las universidades españolas, una parte esencial del sistema de ciencia y tecnología del país, se ha incrementado en las últimas décadas. Prueba de ello son los datos arrojados por la Conferencia de Rectores de Universidades Españolas, la cual determina que el crecimiento de dicha producción (medida como número de artículos en la base de datos Scopus) ha sido del 89.9% entre los años 2007 y 2017, representando en 2017 el 3.2% de la producción mundial (Hernández-Armenteros y Pérez-García, 2020Hernández-Armenteros, J. y Pérez-García, J.A. (2020). La Universidad Española en Cifras 2017/2018. Conferencia de Rectores de Universidades Españolas. Disponible en: https://bit.ly/3sGadVy ). Este hecho ha repercutido, a su vez, en la proliferación de estudios que analizan dicha productividad desde diversos prismas (evolución, contenido, redes de autores, etc.) (Quevedo-Blasco y otros, 2019Quevedo-Blasco, R., Guillén-Riquelme, A., y Buela-Casal, G. (2019). Análisis bibliométrico de las revistas de Psicología afines al ámbito Jurídico-Forense atendiendo a la WoS y el JCR (2018). Revista de Investigación en Educación, 17(3), 165-178. DOI: https://doi.org/10.35869/reined.v17i3.2153 ; Lorenzo, 2022Lorenzo, G. (2022). Análisis de la producción científica en el uso de la realidad virtual en la educación a partir de la estructura conceptual, social e intelectual.RED. Revista de Educación a Distancia, 22(69), Art 6. DOI: https://doi.org/10.6018/red.502601 ; Sánchez-Vigil y otros, 2021Sánchez-Vigil, J. M.; Salvador-Benítez, A., y Olivera-Zaldua, M. (2021). Producción científica sobre Fotografía en las revistas de Documentación (2000-2019). Revista Española de Documentación Científica, 44(1), e287. DOI: https://doi.org/10.3989/redc.2021.1.1749 ).
En este sentido, las tesis doctorales pueden considerarse un referente de la investigación, por lo que su análisis permite conocer el estado de la actividad científica de las universidades, así como evaluar la productividad de estas en diferentes disciplinas (Delgado y otros, 2006Delgado, E., Torres, D., Jiménez, E., y Ruiz-Pérez, R. (2006). Análisis bibliométrico y de redes sociales aplicado a las tesis bibliométricas defendidas en España (1976-2002): temas, escuelas científicas y redes académicas. Revista Española de Documentación Científica, 29(4), 493-524. DOI: https://doi.org/10.3989/redc.2006.v29.i4.306 ; Mochón-Bezares y Sorli-Rojo, 2020Mochón-Bezares, G., y Sorli-Rojo, Á. (2020). Tesis doctorales sobre hormigón en universidades españolas. Un análisis bibliométrico, 1977-2019. Informes de la Construcción, 73(563), e406. DOI: https://doi.org/10.3989/ic.79082 ). Para Turner (2000)Turner, S. (2000). What are Disciplines? And how is Interdisciplinarity Different? En P. Weingart, P., y Stehr, N. (eds.), Practising Interdisciplinarity, 46-65). University of Toronto Press., las tesis doctorales son un mecanismo esencial para introducir y establecer relaciones entre nuevos investigadores en un campo científico. Es por esto que el análisis de las tesis doctorales “se justifica, no solo por la transcendencia que tienen para la comunidad científica, sino también por la variedad de actores que participan en su producción y evaluación y las relaciones que se establecen entre ellos” (Repiso y otros, 2013Repiso, R., Torres, D., y Delgado, E. (2013). La investigación científica sobre Cine en España a partir de sus tesis doctorales: Análisis de redes sociales (1978-2007). ICONO 14. Revista de Comunicación y Tecnologías Emergentes, 11(2), 385-404. DOI: https://doi.org/10.7195/ri14.v11i2.530 ).
Son numerosos los estudios que han analizado la producción de tesis doctorales españolas en torno a diferentes campos como la Psicología (Agudelo y otros, 2003Agudelo, D., Bretón-López, J., Ortiz-Recio, G., Poveda-Vera, J., Teva, I., Valor-Segura, I., y Vico, C. (2003). Análisis de la productividad científica de la Psicología española a través de las tesis doctorales.Psicothema,15(4), 595-609. Disponible en: https://bit.ly/354YV5p ; Olmedilla y otros, 2017Olmedilla, A., Abenza, L., Serrano, A., Muñiz, A.M., García-Angulo, F., y Ortega, E. (2017). Estudio bibliométrico de tesis doctorales sobre psicología del deporte. Cuadernos de Psicología del Deporte, 17(2), 121-130. Disponible en: https://bit.ly/34Zykqd ), la Economía (Ortega, 2010Ortega, E. (2010). La investigación en marketing a través de las tesis doctorales españolas. Investigaciones Europeas de Dirección y Economía de la Empresa, 16(1), 127-147. DOI: https://doi.org/10.1016/S1135-2523(12)60006-9 ; Peña y otros, 2019Peña, A. R., Jiménez, M., Ruiz, J., y Pontón, T. (2019). La producción científica en el “Sector de Hostelería y Turismo”: Un análisis bibliométrico de las tesis doctorales españolas en el periodo 1978-2018. Investigaciones Turísticas, 18, 71-94. DOI: https://doi.org/10.14198/INTURI2019.18.04 ), la Medicina (Fernández-Guerrero, 2015Fernández-Guerrero, I. M. (2015). Tesis doctorales españolas en medicina de urgencias y emergencias (1978- 2013). Emergencias, 27(2), 129-134. Disponible en: https://bit.ly/3BxV1On ; Moyano y otros, 2006Moyano, M., Delgado, C. J., y Buela-Casal, G. (2006). Análisis de la productividad científica de la psiquiatría española a través de las tesis doctorales en la base de datos TESEO (1993-2002). International Journal of Psychology and Psychological Therapy, 6(1), 111-120. Disponible en: https://bit.ly/3LHncz9 ), las Humanidades (Salgado-Orellana y otros, 2021Salgado-Orellana, N., Berrocal, E., y Gutiérrez-Braojos, C. (2021). A Scientometric Study of Doctoral Theses on the Roma in the Iberian Peninsula During the 1977-2018 Period. Scientometrics,126, 437-458. DOI: https://doi.org/10.1007/s11192-020-03723-y ) o la Comunicación escrita y audiovisual (Díaz-Campo, 2014Díaz-Campo, J. (2014). La investigación sobre Internet en las facultades de Comunicación españolas. Análisis bibliométrico de tesis doctorales (1997-2012). Documentación de las Ciencias de la Información, 37, 305-320. DOI: https://doi.org/10.5209/rev_DCIN.2014.v37.46828 , 2016Díaz-Campo, J. (2016). Análisis bibliométrico de las tesis doctorales sobre Internet en las universidades españolas (1996-2011). Transinformação, 28(3), 337-348. DOI: https://doi.org/10.1590/2318-08892016000300008 ; Olivera y otros, 2016Olivera, M., Sánchez, J.M., y Marcos, J.C. (2016). Análisis de las tesis doctorales sobre fotografía en la universidad española. Ibersid: Revista de Sistemas de Información y Documentación, 10(2), 13-20. DOI: https://doi.org/10.54886/ibersid.v10i2.4328 ; Repiso y otros, 2011Repiso, R., Torres, D., y Delgado, E. (2011). Análisis bibliométrico y de redes sociales en tesis doctorales españolas sobre televisión (1976/2007). Comunicar, 37, 151-159. DOI: https://doi.org/10.3916/C37-2011-03-07 , 2013Repiso, R., Torres, D., y Delgado, E. (2013). La investigación científica sobre Cine en España a partir de sus tesis doctorales: Análisis de redes sociales (1978-2007). ICONO 14. Revista de Comunicación y Tecnologías Emergentes, 11(2), 385-404. DOI: https://doi.org/10.7195/ri14.v11i2.530 ; Segarra-Saavedra y otros, 2021Segarra-Saavedra, J., Cascales-Gonzálvez, B., y Carretón-Ballester, C. (2021). Análisis bibliométrico de las tesis doctorales españolas sobre “comunicación interna” (1986/2019). Revista Internacional de Relaciones Públicas, 11(21), 69-96. DOI: https://doi.org/10.5783/RIRP-21-2021-05-69-96 ). La Educación también ha sido objeto de estudio en este sentido, encontrando publicaciones que analizan tesis por descriptores (Ferreira, 2020Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 ; Moreno-Fernández y Moreno-Crespo, 2016Moreno-Fernández, O., y Moreno-Crespo, P. (2016). Análisis bibliométrico de las tesis doctorales españolas indexadas con el descriptor “Sector de la educación” (1976/2014). Revista Española de Documentación Científica, 39(3), e146. DOI: https://doi.org/10.3989/redc.2016.3.1331 ) y otras referidas a temas más específicos, como la Educación Matemática (Fernández-Cano y otros, 2003Fernández-Cano, A., Torralbo, M., Rico, L., Gutiérrez, P., y Maz, A. (2003). Análisis cienciométrico de las tesis doctorales españolas en Educación Matemática (1976-1998). Revista Española de Documentación Científica, 26(2), 162-176. Disponible en: https://bit.ly/3H06bg6 ), la Tutoría (López-Gómez, 2016López-Gómez, E. (2016) Análisis de las tesis doctorales sobre tutoría: aproximación bibliométrica y tendencias temáticas. Revista General de Información y Documentación, 26(1), 147-164. DOI: https://doi.org/10.5209/rev_rgid.2016.v26.n1.53047 ), la Inclusión Educativa (Suárez y López, 2018Suárez, B., y López, A. (2018). Investigación en Educación Inclusiva: la producción de trabajos en revistas españolas y tesis doctorales. Revista de Educación Inclusiva, 11(1), 151-174. Disponible en: https://bit.ly/3Jeb3jI ) o las Altas Capacidades Intelectuales (Padial y Fernández-Cano, 2019Padial, J. J., y Fernández-Cano, A. (2019). Análisis cienciométrico de tesis doctorales españolas sobre altas capacidades y sobredotación (1986-2017). REIDOCREA. Revista Electrónica de Investigación y Docencia Creativa, 8, 292-308. DOI: https://doi.org/10.30827/digibug.57762 ).
Sin embargo, no se han encontrado evidencias de estudios que analicen tesis doctorales sobre el Programa para la Evaluación Internacional de Alumnos (PISA, Programme for International Student Assessment, en inglés) o que empleen datos extraídos de este, siendo este tipo de evaluaciones internacionales potentes fuentes de información capaces de interconectar distintos temas educativos entre sí, dada la riqueza de sus datos (Cordero y otros, 2013Cordero, J. M., Crespo, E., y Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: Una revisión de la literatura en España. Revista de Educación, 362, 273-297. DOI: https://doi.org/10.4438/1988-592X-RE-2011-362-161 ; Leunda y otros, 2017Leunda, I., Garmendia, I., y Etxeberria, J. (2017). Statistical Matching en la práctica - Una aplicación a la evaluación del Sistema educativo mediante PISA y TALIS. Revista de Investigación Educativa, 35(2), 371-388. DOI: https://doi.org/10.6018/rie.35.2.262171 ; Lindblad y otros, 2015Lindblad, S., Pettersson, D., y Popkewitz, T. S. (2015). International comparisons of school results: a systematic review of research on large scale assessments in education. Swedish Research Council.). Es por ello por lo que parece necesario analizar el desarrollo científico de este campo y su difusión (Mølstad y otros, 2017Mølstad, C. E., Pettersson, D., y Forsberg, E. (2017). A Game of Thrones: Organising and Legitimising Knowledge Through PISA Research. European Educational Research Journal, 16(6), 869-884. DOI: https://doi.org/10.1177/1474904117715835 ). En este sentido, Rovira-Esteva y otros (2015)Rovira-Esteva, S., Orero, P., y Franco, A. J. (2015). Bibliometric and bibliographical research in translation studies. Perspectives, 23(2), 159-160. ponen de manifiesto la importancia del artículo científico como unidad de medida de la investigación, atendiendo a indicadores bibliométricos como el índice de impacto o el número de citas del mismo. Son diversos los estudios que han focalizado su objetivo en analizar la producción científica en torno a PISA. Así pues, Domínguez y otros (2012)Domínguez, M., Vieira, M. J., y Vidal, J. (2012). The impact of the Programme for International Student Assessment on academic journals. Assessment in Education: Principles, Policy y Practice, 19(4), 393-409. DOI: https://doi.org/10.1080/0969594X.2012.659175 y Luzón y Torres (2013)Luzón, A., y Torres, M. (2013). La presencia de PISA en la literatura científica y su tratamiento en la prensa internacional. Profesorado. Revista de Currículum y Formación del Profesorado, 17(2), 194-224. concluyeron que el impacto de PISA en la investigación empezó a ser notorio a partir del año 2007, generando interés en diversos campos de conocimiento diferentes al educativo, como es el caso de la Psicología, la Economía o las Ciencias Experimentales. Otros estudios encontraron que los aspectos sociales, económicos y culturales, así como las políticas educativas, tienen una gran relevancia para la investigación, por encima incluso de las prácticas instruccionales o el rendimiento del alumnado en las competencias objeto de estudio de PISA (Cordeiro y Teodoro, 2022Cordeiro, C. D., y Teodoro, V. D. (2022). How PISA Is Present In The Scientific Production. En Teorodo, A. (ed.), Critical Perspectives on PISA as a Means of Global Governance Risks, Limitations, and Humanistic Alternatives, 28-46. Routledge.; González-Mayorga y otros, 2022González-Mayorga, H., Vieira, M. J., y Vidal, J. (2022). El uso de los resultados españoles de PISA en publicaciones científicas.Revista de Investigación Educativa,40 (1), 183-202. DOI: https://doi.org/10.6018/rie.451201 ; Hopfenbeck y otros, 2018Hopfenbeck, T. N., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan, J., y Baird, J.-A. (2018). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research, 62(3), 333-353. DOI: https://doi.org/10.1080/00313831.2016.1258726 ). Asimismo, Pereira y otros (2016)Pereira, D., Perales, M.J., y Bakieva, M. (2016). Análisis de tendencias en las investigaciones realizadas a partir de los datos del Proyecto PISA. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), art M10. DOI: https://doi.org/10.7203/relieve.22.1.8248 ponen de manifiesto que la información utilizada por PISA se está infrautilizando por los investigadores, a pesar de los esfuerzos de la OCDE por hacerla manejable y transparente.
El presente estudio busca dar visibilidad a la producción de tesis doctorales españolas sobre PISA o que han empleado datos de esta evaluación a través de dos tipos de análisis complementarios como son el bibliométrico y el de las redes sociales (ARS). Para ello, se pretende alcanzar dos objetivos: por un lado, analizar la producción de tesis doctorales, atendiendo a su evolución y a los diferentes actores que intervienen en ella (universidades, directores y miembros de los tribunales calificadores); por otro lado, identificar las diferentes estructuras de colaboración que se han dado en la investigación científica el torno a PISA a partir de la producción de las tesis doctorales analizadas.
2. MATERIAL Y MÉTODOS
⌅El estudio tiene un diseño longitudinal descriptivo. Analiza las tesis doctorales españolas que hacen referencia a PISA defendidas entre los cursos académicos 2001/2002 y 2020/2021. Para extraer la información se ha empleado como principal fuente de información la base de datos TESEO, dependiente del Ministerio de Universidades. Esta base de datos es la que aporta una mayor cantidad de información sobre las tesis doctorales defendidas en las universidades españolas (Mochón-Bezares y Sorli-Rojo, 2020Mochón-Bezares, G., y Sorli-Rojo, Á. (2020). Tesis doctorales sobre hormigón en universidades españolas. Un análisis bibliométrico, 1977-2019. Informes de la Construcción, 73(563), e406. DOI: https://doi.org/10.3989/ic.79082 ). No obstante, es conveniente tener en cuenta que diversos autores han señalado algunas limitaciones, como la ausencia de normalización de sus registros o la falta de sistematización de la información por parte de las universidades que han de remitir la información sobre las tesis doctorales defendidas en ellas (Delgado y otros, 2006Delgado, E., Torres, D., Jiménez, E., y Ruiz-Pérez, R. (2006). Análisis bibliométrico y de redes sociales aplicado a las tesis bibliométricas defendidas en España (1976-2002): temas, escuelas científicas y redes académicas. Revista Española de Documentación Científica, 29(4), 493-524. DOI: https://doi.org/10.3989/redc.2006.v29.i4.306 ; Ferreira, 2020Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 ). Estas limitaciones, sin embargo, no afectan al contenido necesario para el presente estudio.
Así pues, siguiendo la metodología de estudios similares (Delgado y otros, 2006Delgado, E., Torres, D., Jiménez, E., y Ruiz-Pérez, R. (2006). Análisis bibliométrico y de redes sociales aplicado a las tesis bibliométricas defendidas en España (1976-2002): temas, escuelas científicas y redes académicas. Revista Española de Documentación Científica, 29(4), 493-524. DOI: https://doi.org/10.3989/redc.2006.v29.i4.306 ; Ferreira, 2020Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 ), se llevó a cabo una búsqueda avanzada con la frase exacta “PISA” en el título/resumen. Además, se acotó la búsqueda al periodo comprendido entre los cursos escolares 2001/2002 (teniendo en cuenta que la publicación de los resultados de la primera oleada, PISA 2000, fueron publicados en diciembre de 2001) y 2020/2021, recuperando un total de 420 registros. No obstante, y dado que una de las limitaciones que presenta TESEO es que solo muestra las fichas de los primeros 250 registros en una búsqueda tan amplia, a continuación, se llevaron a cabo dos búsquedas ajustando el intervalo temporal entre los cursos 2001/2002 y 2014/2015 la primera (180 registros), y entre 2015/2016 y 2020/2021 la segunda (240 registros) para conseguir el acceso a la totalidad de registros. Posteriormente, mediante la lectura de la ficha completa, se seleccionaron las tesis que cumplían con el criterio de inclusión de hacer referencia a PISA como el Programa Internacional de Evaluación de los Estudiantes y no a otros términos homógrafos, como la ciudad italiana de Pisa o el término informático PISA (Protocol Independent Switch Architecture). Además, se excluyeron aquellas tesis en las que el término “PISA” objeto de estudio se hacía únicamente en las referencias bibliográficas y no en el cuerpo del resumen. Finalmente, se seleccionaron un total de 135 tesis doctorales, las cuales componen la muestra y cuya referencia se puede consultar en el Anexo I del presente trabajo.
Una vez configurado el corpus final, se creó una tabla en Microsoft Excel en la que se procedió a extraer la información de las fichas de las tesis doctorales. Para ello, se tuvieron en cuenta las siguientes variables:
-
Curso académico (a partir de la fecha de lectura).
-
Universidad.
-
Titularidad de la Universidad (a partir de la variable Universidad).
-
Descriptores.
-
Idioma de la tesis doctoral.
-
Acceso abierto a la tesis desde la ficha de TESEO. Disponible en:
-
Rama de conocimiento.
-
Ámbito de conocimiento (según lo establecido en el Anexo I del Real Decreto 822/2021Real Decreto 822/2021, de 28 de septiembre, por el que se establece la organización de las enseñanzas universitarias y del procedimiento de aseguramiento de su calidad. Boletín Oficial del Estado, 233, (29 de septiembre de 2021), Disponible en: https://www.boe.es/eli/es/rd/2021/09/28/822 , de 28 de septiembre, por el que se establece la organización de las enseñanzas universitarias y del procedimiento de aseguramiento de su calidad).
-
Autor.
-
Sexo del autor.
-
Director/es de la tesis doctoral.
-
Número de directores por tesis doctoral.
-
Sexo de los directores.
-
Miembros del tribunal calificador, especificando presidente, vocal(es) y secretario.
-
Sexo de los miembros del tribunal.
La ausencia de datos en algunos campos y la ausencia de normalización de los nombres de los directores o los miembros del tribunal se solventó empleando la base de datos Dialnet tesis1 Dialnet: https://dialnet.unirioja.es/tesis .
Posteriormente, se recopiló información de cada uno de los autores que tenían perfil de investigador en la base de datos Scopus respecto al número de artículos científicos publicados hasta el año 2021 (se han descartado tipologías como ensayos, editoriales, capítulos de libro y libros de actas de congresos), número de citas de dichas publicaciones, índice H del investigador, número de revistas diferentes y número de artículos en cada una de ellas. Por otro lado, se recopiló información de cada una de las revistas en las que se ha publicado en el portal Scimago Journal and Country Rank (SJR)2 SJR website: https://www.scimagojr.com/ como el indicador SJR 2021 y cuartil de las categorías en las que están mejor posicionadas, el índice H de la publicación y el país de edición. La recogida de datos se llevó a cabo a finales de marzo de 2022, actualizándose los datos de las revistas al indicador SJR 2021 en mayo de 2022.
Para el estudio de la producción de las tesis doctorales y de la producción científica se llevaron a cabo análisis descriptivos en Microsoft Excel, mientras que para el análisis de las redes sociales se empleó el software VOSviewer v1.6.18. Las redes generadas emplean como elemento relacional la co-autoría en publicaciones científicas de los autores de las tesis doctorales y el acoplamiento bibliográfico de las revistas en las que se publicó dicha producción, utilizando como unidad de análisis a los propios autores y a las publicaciones respectivamente. En el análisis del acoplamiento de las revistas se ha tenido en cuenta, además, la fuerza de enlace, entendida para este caso como el número de citas que tiene en común una revista con otras publicaciones (van Eck y Waltman, 2022Van Eck, N. J., y Waltman, L. (2022). Manual for VOSviewer version 1.6.18. Univeristeit Leiden.).
3. RESULTADOS
⌅3.1 La producción de tesis doctorales sobre PISA: evolución, universidades productoras y ámbitos de conocimiento
⌅En total, se defendieron 135 tesis doctorales sobre PISA en las universidades españolas entre los cursos académicos 2001/2002 y 2020/2021. En la Figura 1 se muestra la evolución de las tesis doctorales desde el curso 2001/2002, en la cual se puede apreciar que, si bien en los primeros cursos apenas se defendieron tesis doctorales con esta temática, es a partir del curso 2009/2010 cuando empieza a haber un incremento en la producción de estas. Es en el curso 2015/2016 donde se produce un mayor incremento sobre el curso anterior, pasando de 7 a 27 tesis doctorales, siendo este el curso más prolífico, no solo respecto a las tesis doctorales sobre PISA, sino también en número de tesis aprobadas, según datos del Sistema Integrado de Información Universitaria (SIIU)3 Tesis doctorales de universidades españolas. Años 2015-2020 (SIIU): https://tabsoft.co/3IxkVnc . Por otro lado, se ha observado que, en los años posteriores, la producción de tesis doctorales descendió de forma significativa.
Las 135 tesis fueron producidas en 40 universidades diferentes, de las cuales el 82.5% (n=33) son instituciones públicas y el restante 17.5% (n=7) son privadas, un dato más elevado que el esperado teniendo en cuenta que aproximadamente el 90% de los estudiantes de doctorado se encuentran en universidades públicas (Ministerio de Universidades, 2022Ministerio de Universidades (2022). Datos y cifras del sistema universitario español. Publicación 2021-22. Gobierno de España, Ministerio de Universidades. Disponible en: https://www.universidades.gob.es/wp-content/uploads/2022/11/Datos_y_Cifras_2021_22.pdf ). Las universidades con mayor productividad en tesis doctorales sobre PISA son la Universidad de Granada (n=18), seguida de la Universidad Nacional de Educación a Distancia (UNED) y la Universidad Autónoma de Barcelona (n=11 en ambos casos), la Universidad de Barcelona y la Universidad de León (n=7). En la Tabla I puede verse un desglose de las universidades productoras, así como la evolución por periodos de cinco años del número de tesis en el periodo analizado. En ella se destaca que la Universidad de León, si bien no es la institución más prolífica en producción de tesis doctorales sobre PISA, sí que es la única con presencia de tesis doctorales sobre esta temática en los cuatro quinquenios analizados.
| Universidad | Nº tesis | % tesis | Nº de tesis por quinquenios | |||
|---|---|---|---|---|---|---|
| 2001/2006 | 2006/2011 | 2011/2016 | 2016/2021 | |||
| Granada | 18 | 13.33 | 0 | 1 | 9 | 8 |
| Autónoma de Barcelona | 11 | 8.14 | 0 | 2 | 8 | 1 |
| Nacional de Educación a Distancia | 11 | 8.14 | 0 | 2 | 6 | 3 |
| Barcelona | 7 | 5.18 | 0 | 2 | 3 | 2 |
| León | 7 | 5.18 | 1 | 1 | 3 | 2 |
| Complutense de Madrid | 6 | 4.44 | 0 | 0 | 4 | 2 |
| Oviedo | 6 | 4.44 | 1 | 0 | 4 | 1 |
| Salamanca | 6 | 4.44 | 0 | 0 | 5 | 1 |
| València (Estudi General) | 6 | 4.44 | 0 | 1 | 2 | 3 |
| Autónoma de Madrid | 4 | 2.96 | 0 | 0 | 2 | 2 |
| Extremadura | 4 | 2.96 | 0 | 1 | 0 | 3 |
| País Vasco/Euskal Herriko Unibertsitatea | 4 | 2.96 | 0 | 1 | 0 | 3 |
| Sevilla | 4 | 2.96 | 0 | 0 | 3 | 1 |
| Alicante | 3 | 2.22 | 0 | 0 | 3 | 0 |
| Málaga | 3 | 2.22 | 0 | 0 | 1 | 2 |
| Politécnica de València | 3 | 2.22 | 0 | 1 | 0 | 2 |
| Santiago de Compostela | 3 | 2.22 | 0 | 0 | 3 | 0 |
| Cádiz | 2 | 1.48 | 0 | 0 | 1 | 1 |
| Católica de Valencia San Vicente Mártir | 2 | 1.48 | 0 | 1 | 0 | 1 |
| Pablo de Olavide | 2 | 1.48 | 0 | 0 | 2 | 0 |
| San Pablo-CEU | 2 | 1.48 | 0 | 0 | 0 | 2 |
| Valladolid | 2 | 1.48 | 0 | 0 | 1 | 1 |
| Zaragoza | 2 | 1.48 | 0 | 0 | 0 | 2 |
| Otras (17) | 17 | 12.59 | 0 | 1 | 12 | 4 |
| Total | 135 | 100 | 2 | 14 | 72 | 47 |
Respecto al ámbito de conocimiento de las tesis, el 51.11% (n=69) pertenecen al de Ciencias de la Educación (en el cual se han incluido las tesis sobre didácticas específicas de otras áreas), seguido del ámbito de Ciencias Económicas, Administración y Dirección de Empresas, Marketing, Comercio, Contabilidad y Turismo, con un 14.81% (n=20), Ciencias del Comportamiento y Psicología, con un 13.33% (n=18) y Ciencias Sociales, Trabajo Social, Relaciones Laborales y Recursos Humanos, Sociología, Ciencia Política y Relaciones Internacionales, con un 11.11% (n=15) del total de las tesis. Todas ellas pertenecen a la rama de conocimiento de las Ciencias Sociales y Jurídicas, al igual que las tesis referidas a Derecho y Especialidades Jurídicas, con una menor presencia (n=3). Asimismo, un número menor de tesis doctorales se han encuadrado en otras ramas de conocimiento, como las Artes y Humanidades (n=5), las Ciencias (n=4) y las Ciencias de la Salud (n=1), tal y como se puede observar en la Tabla II.
| Rama de conocimiento | Ámbito de conocimiento | Frecuencia | Porcentaje |
|---|---|---|---|
| Ciencias Sociales y Jurídicas | Ciencias de la Educación. | 69 | 51.11% |
| Ciencias Económicas, Administración y Dirección de Empresas, Marketing, Comercio, Contabilidad y Turismo. | 20 | 14.81% | |
| Ciencias del Comportamiento y Psicología. | 18 | 13.33% | |
| Ciencias Sociales, Trabajo Social, Relaciones Laborales y Recursos Humanos, Sociología, Ciencia Política y Relaciones Internacionales. | 15 | 11.11% | |
| Derecho y Especialidades Jurídicas. | 3 | 2.22% | |
| Arte y Humanidades | Filología, Estudios Clásicos, Traducción y Lingüística. | 3 | 2.22% |
| Historia, Arqueología, Geografía, Filosofía y Humanidades. | 2 | 1.48% | |
| Ciencias | Matemáticas y Estadística. | 3 | 2.22% |
| Química. | 1 | .74% | |
| Ciencias de la Salud | Enfermería. | 1 | .74% |
| Total | 135 | 100 | |
Para llevar a cabo la categorización de las tesis doctorales analizadas se han empleado un total de 112 descriptores diferentes. Teniendo en cuenta todos ellos para cada una de las tesis, el descriptor que se repite con mayor frecuencia es ‘sector de la educación’ (n=23), seguido de ‘evaluación de alumnos’ (n=20) y ‘organización y planificación de la educación’ (n=13), teniendo estos tres descriptores una clara vinculación con el ámbito de las Ciencias de la Educación. No obstante, se han encontrado otros descriptores que podrían vincularse a ámbitos de conocimiento diferentes al estrictamente educativo, entre los que destacan ‘matemáticas’ (n=10), ‘modelos econométricos’ (n=7), ‘lengua y literatura’ (n=6) o ‘psicología evolutiva’ (n=5). En la Tabla III se muestran los descriptores presentes en, al menos, cinco tesis doctorales.
| Descriptores | Frecuencia | Porcentaje |
|---|---|---|
| Sector de la educación | 23 | 17.03% |
| Evaluación de alumnos | 20 | 14.81% |
| Organización y planificación de la educación | 13 | 9.62% |
| Matemáticas | 10 | 7.4% |
| Educación básica | 9 | 6.66% |
| Educación superior | 9 | 6.66% |
| Métodos pedagógicos | 8 | 5.92% |
| Pedagogía | 8 | 5.92% |
| Problemas de aprendizaje | 8 | 5.92% |
| Modelos econométricos | 7 | 5.18% |
| Pedagogía comparada | 7 | 5.18% |
| Preparación de profesores | 7 | 5.18% |
| Lengua y literatura | 6 | 4.44% |
| Psicología escolar | 6 | 4.44% |
| Formación y empleo de profesores | 5 | 3.7% |
| Métodos educativos | 5 | 3.7% |
| Política educativa | 5 | 3.7% |
| Procesos cognitivos | 5 | 3.7% |
| Psicología evolutiva | 5 | 3.7% |
| Sociología de la educación | 5 | 3.7% |
Atendiendo al idioma de publicación, el 84.55% de las tesis (n=115) están escritas en castellano, mientras que el 8.08% (n=11) están escritas en inglés. Otras lenguas que se han encontrado son el catalán (5.14%, n=7), el gallego y el portugués (0.73%, n=1 en ambos casos). Por último, solamente 18 (13.33%) de las tesis doctorales analizadas obtuvieron la Mención Internacional, si bien es cierto que esta consideración aparece con el Real Decreto 99/2011Real Decreto 99/2011, de 28 de enero, por el que se regulan las enseñanzas oficiales de doctorado. Boletín Oficial del Estado, núm. 35 (10 de febrero de 2011). Disponible en: https://www.boe.es/eli/es/rd/2011/01/28/99/con , de 28 de enero, por el que se regulan las enseñanzas oficiales de doctorado. Así pues, la primera Mención Internacional en las tesis analizadas la encontramos en una tesis leída a finales del curso 2010/2011 (último curso del segundo quinquenio académico analizado). Asimismo, se puede acceder al archivo de las tesis doctorales desde la ficha de TESEO en un 42.65% (n=57) de estas, mientras que para acceder al texto completo del 57.35% (n=78) restante se ha de acudir a los repositorios institucionales de las universidades de origen.
3.2 Autoría y dirección de tesis doctorales sobre PISA, y participación en tribunales
⌅De los 135 autores de las tesis doctorales, un 61.48% (n=83) son mujeres y un 38.51% (n=52) son hombres. Sin embargo, de los 193 directores diferentes que han dirigido los trabajos, se ha observado una mayor presencia de hombres (59.58%, n=115) que de mujeres (40.41%, n=78). Llama la atención que entre los profesores que más tesis dirigen no aparezca profesorado de la Universidad Autónoma de Barcelona, siendo junto a la UNED la segunda universidad con mayor número de tesis producidas, lo que indica que la totalidad de profesores de esta institución que han dirigido tesis doctorales sobre PISA, lo han hecho solo una vez. En este sentido, la institución con un mayor número de directores es la Universidad de Granada, con 26 directores diferentes, seguida de la Universidad Autónoma de Barcelona, con 18 directores, y la UNED con 16. Asimismo, se ha observado que el 51.85% (n=70) de tesis fueron dirigidas por un solo director, mientras que las tesis restantes (48.14%, n=65) han sido codirigidas, de forma mayoritaria, por dos directores (42.96%, n=58) y, en menor medida, por tres directores (5.18%, n=7).
Respecto a la participación en tribunales, se han contabilizado en su composición un total de 476 profesores diferentes, de los cuales un 56.3% (n=268) son hombres y un 43.69% (n=208) son mujeres. Si se establece la diferenciación por roles dentro del tribunal, han ejercido como presidentes un total de 124 profesores diferentes, con una representación masculina (71.77%, n=89) muy superior a la femenina (28.22%, n=35) y, de los cuales, 11 han presidido un tribunal hasta en dos ocasiones (diez hombres y una mujer). Respecto a las vocalías, estas fueron ejercidas por un total de 370 profesores distintos (hombres: 58.92%, n=218; mujeres: 41.08%, n=152). Asimismo, han sido 28 los profesores que han ejercido como vocales en tribunales en dos ocasiones. Por último, han sido secretarios de tribunal 127 profesores diferentes, repitiendo dicho cargo un total de 6 profesores4 En dos tesis doctorales no se pudo recuperar el dato “secretario del tribunal” al no estar incluido en la ficha TESEO. . Destaca que, si bien en los cargos de presidente y vocal ha habido una presencia mayoritaria de hombres, en el rol de secretario de tribunal el porcentaje de hombres (51.18%, n=65) es muy similar al de mujeres (48.81%, n=62).
3.3 Producción científica de los autores de las tesis doctorales sobre PISA y análisis de redes sociales
⌅De los 135 autores de las tesis doctorales, 63 (46.66%) tienen perfil de investigador en Scopus, produciendo un total de 439 artículos científicos indizados en esta base de datos (x̄=6.96, σ=8.61) hasta 2021. En la Tabla IV se puede observar cuál ha sido la producción científica de los autores de las tesis doctorales con diez o más artículos de investigación, medida en número de estos, número de coautores diferentes, revistas diferentes en las que han publicado, citas recibidas, media de citas recibidas por artículo e índice H, en Scopus. Se observa una concentración en la publicación en 15 autores (23.8% del total de autores) que tienen 10 o más artículos en Scopus y suman 302 publicaciones científicas (68.79% del total de artículos).
| Autor | Nº de artículos en Scopus | Nº de coautores diferentes | Nº de revistas diferentes | Veces citado | x̄ citas / artículo | Índice H |
|---|---|---|---|---|---|---|
| Franco Mariscal, Antonio Joaquín | 37 | 23 | 18 | 266 | 7.18 | 10 |
| Moreno Doña, Alberto | 35 | 45 | 14 | 112 | 3.2 | 7 |
| Cerda Etchepare, Gamal Abdel | 30 | 46 | 19 | 172 | 5.73 | 8 |
| Benítez Baena, Isabel | 28 | 63 | 24 | 264 | 9.42 | 10 |
| Orcos Palma, Lara | 21 | 25 | 11 | 152 | 7.23 | 7 |
| Fernández Alonso, Rubén | 20 | 24 | 13 | 248 | 12.4 | 8 |
| Contreras García, José Miguel | 18 | 20 | 11 | 64 | 3.55 | 5 |
| Peña Suárez, Elsa | 17 | 31 | 14 | 241 | 14.17 | 9 |
| Puig Mauriz, Blanca | 17 | 17 | 8 | 106 | 6.23 | 6 |
| Polo Fernández, Cristina | 16 | 25 | 12 | 85 | 5.31 | 5 |
| Crespo Cebada, Eva | 15 | 24 | 13 | 235 | 15.66 | 8 |
| Calet Ruiz, Nuria | 14 | 17 | 10 | 148 | 10.57 | 7 |
| Di Paolo, Antonio | 13 | 9 | 12 | 146 | 11.23 | 7 |
| Zakaryan, Diana | 11 | 16 | 8 | 48 | 4.36 | 5 |
| Blanco Anaya, Paloma | 10 | 10 | 6 | 37 | 3.7 | 4 |
Estos datos, a simple vista, podrían ser un indicador de ajuste al modelo cuadrático inverso de Lotka, el cual establece que la mayor productividad científica se concentra en un pequeño grupo de autores. Dicha ley bibliométrica plantea, por un lado, que el número de autores que tiene n contribuciones es de, aproximadamente, 1/n2 de los que solo han publicado un artículo; y, por otro lado, que el porcentaje de autores que publican un solo artículo se sitúa en torno al 60% (Fernández-Cano, 1995Fernández-Cano, A. (1995). Métodos para evaluar la investigación en psicopedagogía. Síntesis.; Urbizagástegui, 1999Urbizagástegui, R. (1999). La ley de Lotka y la literatura de bibliometría. Investigación Bibliotecológica: Archivonomía, Bibliotecología e Información, 13(27), 125-141. DOI: https://doi.org/10.22201/iibi.0187358xp.1999.27.3913 ). En la Tabla V se puede observar que, si bien la distribución del número de artículos por autor es inversamente proporcional a n2, el porcentaje de autores con una sola contribución es de 23.8%, siendo muy inferior al propuesto inicialmente por Lotka, por lo que podría decirse que el presente estudio no se ajusta a dicha ley bibliométrica.
| Nº de artículos por autor (n) | Nº de autores | Aplicación de la Ley de Lotka (15/n2) | Porcentaje sobre el total de autores |
|---|---|---|---|
| 1 | 15 | 15 | 23.8% |
| 2 | 18 | 3.75 | 28.57% |
| 3 | 2 | 1.6667 | 3.17% |
| 4 | 5 | 0.9375 | 7.93% |
| 6 | 2 | 0.4167 | 3.17% |
| 7 | 3 | 0.3061 | 4.76% |
| 9 | 3 | 0.1852 | 4.76% |
| 10 | 1 | 0.15 | 1.58% |
| 11 | 1 | 0.1240 | 1.58% |
| 13 | 1 | 0.0888 | 1.58% |
| 14 | 1 | 0.0765 | 1.58% |
| 15 | 1 | 0.0667 | 1.58% |
| 16 | 1 | 0.0586 | 1.58% |
| 17 | 2 | 0.0519 | 3.17% |
| 18 | 1 | 0.0463 | 1.58% |
| 20 | 1 | 0.0375 | 1.58% |
| 21 | 1 | 0.0340 | 1.58% |
| 28 | 1 | 0.0191 | 1.58% |
| 30 | 1 | 0.0167 | 1.58% |
| 35 | 1 | 0.0122 | 1.58% |
| 37 | 1 | 0.0110 | 1.58% |
Para el análisis de las redes sociales de la producción científica se han tenido en cuenta los coautores de los trabajos, siendo estos, en muchos casos, los propios directores de la tesis, ya que 51 de los 63 autores de las tesis que tienen perfil en Scopus han publicado al menos un trabajo con sus directores (80.95%). Dicho análisis nos permite conocer la estructura social que ha generado la producción científica de los autores de las tesis doctorales. En la Figura 2 se pueden observar las 19 conexiones más representativas entre los autores con, al menos, cuatro artículos. En dicha representación se pueden observar cuatro clústeres diferenciados por colores (rojo, azul, verde y amarillo), entre los que diversos autores actúan de nexo de unión entre ellos. El clúster rojo está formado principalmente por profesores de la Universidad de Oviedo, entre las que destacan las figuras de Rubén Fernández Alonso, autor de una de las tesis doctorales analizadas, y del director de la misma, José Muñiz, dándose entre estos autores la conexión de colaboración más fuerte de toda la red, marcada por el grosor de la línea que les une. Asimismo, se puede observar cómo es José Muñiz quien establece conexión con el clúster azul, también formado principalmente por profesores de la Universidad de Oviedo, entre la que destaca Elsa Peña Suárez (su tesis también fue dirigida por José Muñiz) y con el clúster verde, formado por profesores de diversas universidades. En este clúster verde destaca la figura de Isabel Benítez Baena, profesora de la Universidad de Granada y autora de una de las tesis doctorales analizadas, y que tal y como se ha podido observar en la Tabla IV, es la autora que ha contado con un mayor número de coautorías diferentes. Por otro lado, se puede observar que el clúster azul es el único que establece conexiones con los otros tres clústeres restantes a través de Elsa Peña Suárez.
Por otro lado, tan solo 42 de los 439 artículos (9.57%) que componen la producción científica de los autores de las tesis doctorales objeto de estudio hacen referencia a PISA. Estos fueron escritos por 24 de ellos, suponiendo un 38.1% del total de autores con producción científica. Dichos artículos se encuentran recogidos en el Anexo II del presente estudio.
Los 439 artículos han sido publicados en 217 revistas diferentes. Tal y como se puede observar en la Tabla VI, la revista donde se ha publicado con más frecuencia es Enseñanza de las Ciencias, revista sobre la enseñanza de las ciencias y las matemáticas editada por el Instituto de Ciencias de la Educación de la Universidad Autónoma de Barcelona, con 15 publicaciones (3.42% del total). Otras revistas con más de diez publicaciones son: Estudios Pedagógicos (n=13), Revista Eureka sobre Enseñanza y Divulgación de las Ciencias (n=13), Revista de Educación (n=13), Bolema-Mathematics Education Bulletin (n=12) y Psicothema (n=12). Asimismo, los artículos que hacen referencia a PISA (n=42) fueron publicados en 33 revistas diferentes (15.2% sobre el total), siendo la Revista de Educación la que ha publicado un mayor número de artículos (n=6).
| Revista | Nº de artículos | % sobre el total de artículos | Mejor cuartil (índice) SJR 2021 | Categoría del mejor cuartil | Índice H | País |
|---|---|---|---|---|---|---|
| Enseñanza de las Ciencias | 15 | 3.42% | Q2 (0.59) | Educación | 17 | España |
| Estudios Pedagógicos | 13 | 2.96% | Q3 (0.23) | Educación | 22 | Chile |
| Revista de Educación | 13 | 2.96% | Q3 (0.34) | Educación | 33 | España |
| Revista Eureka | 13 | 2.96% | Q2 (0.41) | Educación | 11 | España |
| Bolema - Mathematics Education Bulletin | 12 | 2.73% | Q3 (0.32) | Educación | 11 | Brasil |
| Psicothema | 12 | 2.73% | Q1 (1.02) | Psicología | 70 | España |
| Frontiers in Psychology | 9 | 2.05% | Q1 (0.87) | Psicología | 133 | Suiza |
| Journal of Chemical Education | 8 | 1.82% | Q2 (0.5) | Química | 90 | Estados Unidos |
| Mathematics | 7 | 1.59% | Q2 (0.54) | Informática | 43 | Suiza |
| Education Sciences | 6 | 1.37% | Q2 (0.52) | Aplicaciones informáticas | 30 | Suiza |
| Psychology, Society and Education | 6 | 1.37% | Q3 (0.21) | Sociología y C. Políticas | 9 | España |
| Retos | 6 | 1.37% | Q3 (0.32) | Educación | 19 | España |
| Anales de Psicología | 5 | 1.14% | Q2 (0.55) | Psicología | 35 | España |
| Educación Química | 5 | 1.14% | Q3 (0.19) | Química | 12 | México |
| Journal of Mathematical Chemistry | 5 | 1.14% | Q2 (0.54) | Matemáticas aplicadas | 65 | Países Bajos |
| Revista de Psicodidáctica | 5 | 1.14% | Q1 (0.84) | Educación | 31 | España |
Por otro lado, se puede observar que las dieciséis revistas (7.37%) de la Tabla VI publican casi un tercio de los artículos (n=140, 31.89%), correspondiendo al núcleo en la aplicación de la ley de Bradford, en su aplicación práctica, se corresponden con las publicaciones periódicas no sólo más productivas sino también más relevantes para cubrir una determinada área del conocimiento (Urbizagástegui, 2016Urbizagástegui, R. (2016). El crecimiento de la literatura sobre la ley de Bradford. Investigación Bibliotecológica: Archivonomía, Bibliotecología e Información, 30(68), 51-72. DOI: https://doi.org/10.1016/j.ibbai.2016.02.003 ). Los trabajos restantes se reparten en otras 201 revistas diferentes (92.63%), cuya división por zonas se puede observar en la Figura 3.
Para analizar el acoplamiento bibliográfico de las revistas, se escogieron aquellas que tenían al menos cinco documentos, coincidiendo con las del núcleo del modelo de Bradford. Así pues, en la Figura 4 se puede observar cómo es la revista Frontiers in Psychology la que tiene un mayor número de enlaces con otras publicaciones, seguida de Enseñanza de las Ciencias, Journal of Chemical Education y Psicothema. Por otro lado, tal y como se puede apreciar en la Tabla VII, otras como Revista de Educación, a pesar del elevado número de citas, presenta una menor fuerza de conexiones con otras publicaciones. Respecto al análisis por clústeres, se pueden identificar cinco grupos diferenciados por temáticas: revistas de matemáticas (clúster rojo), revistas de psicología (clústeres verde y azul) y revistas sobre didáctica de las ciencias experimentales (clústeres morado y amarillo). No obstante, estos clústeres incluyen revistas de otros ámbitos de conocimiento o con un enfoque más amplio, como puede ser la revista Education Science.
| Revista | Nº de artículos | Citas | Fuerza del enlace | |
|---|---|---|---|---|
| 1 | Frontiers in Psychology | 11 | 68 | 206 |
| 2 | Enseñanza de las Ciencias | 15 | 73 | 165 |
| 3 | Journal of Chemical Education | 8 | 120 | 150 |
| 4 | Psicothema | 13 | 269 | 150 |
| 5 | Educación Química | 5 | 30 | 136 |
| 6 | Estudios Pedagógicos | 14 | 61 | 131 |
| 7 | Revista de Psicodidáctica | 5 | 61 | 127 |
| 8 | Revista Eureka | 13 | 34 | 124 |
| 9 | Mathematics | 8 | 26 | 118 |
| 10 | Anales de Psicología | 5 | 40 | 93 |
| 11 | Revista de Educación | 13 | 124 | 92 |
| 12 | Journal of Mathematical Chemistry | 5 | 25 | 87 |
| 13 | Psychology, Society and Education | 6 | 21 | 79 |
| 14 | Retos | 6 | 7 | 60 |
| 15 | Bolema - Mathematics Education Bulletin | 12 | 39 | 50 |
| 16 | Education Sciences | 5 | 72 | 6 |
Respecto a la procedencia de las revistas, es España el país que edita un mayor número de revistas, con 49 publicaciones diferentes (22.58%), seguida de países como Reino Unido (n=48, 22.11%), Estados Unidos (n=44, 20.27%) y Países Bajos (n=23, 10.59%).
4. DISCUSIÓN Y CONCLUSIONES
⌅El objetivo de este estudio es analizar la producción de tesis doctorales sobre PISA e identificar las estructuras de colaboración en la producción científica resultante de dichas tesis doctorales. Se han encontrado 135 tesis.
Respecto al primer objetivo, se puede decir que, a pesar de que los resultados de la primera oleada de PISA fueron publicados en diciembre de 2001, esta evaluación no empezó a tener impacto en las tesis doctorales hasta 2009/2010. En este curso, PISA empieza a tener presencia en las tesis doctorales, alcanzando la mayor frecuencia en el curso 2015/2016. Para Salgado-Orellana y otros (2018)Salgado-Orellana, N., Ferrada, C., Puraivan, E., y Parraguez, R. (2018). Un estudio cienciométrico sobre las tesis doctorales españolas en acción tutorial (1980-2016). Revista General de Información y Documentación, 28(2), 415-434. DOI: https://doi.org/10.5209/RGID.60805 , este crecimiento podría guardar relación con la entrada en vigor del Real Decreto 99/2011Real Decreto 99/2011, de 28 de enero, por el que se regulan las enseñanzas oficiales de doctorado. Boletín Oficial del Estado, núm. 35 (10 de febrero de 2011). Disponible en: https://www.boe.es/eli/es/rd/2011/01/28/99/con , el cual otorga un plazo máximo de cinco años para la elaboración y lectura de la tesis doctoral en régimen de estudios a tiempo completo. No obstante, al igual que sucede en estudios previos, se ha observado un patrón decreciente en los últimos cursos académicos (Fernández-Bautista y otros, 2014Fernández-Bautista, A., Torralbo, M., y Fernández-Cano, A. (2014). Análisis longitudinal de tesis doctorales españolas en educación (1841-2012). RELIEVE, 20(2), art. 2. DOI: https://doi.org/10.7203/relieve.20.2.4479 ). Por otro lado, la producción de las tesis doctorales por instituciones académicas está liderada por la Universidad de Granada, seguida de la UNED y la Universidad Autónoma de Barcelona, coincidiendo estos datos con los de otros estudios (Ferreira, 2020Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 ; Moreno-Fernández y Moreno-Crespo, 2016Moreno-Fernández, O., y Moreno-Crespo, P. (2016). Análisis bibliométrico de las tesis doctorales españolas indexadas con el descriptor “Sector de la educación” (1976/2014). Revista Española de Documentación Científica, 39(3), e146. DOI: https://doi.org/10.3989/redc.2016.3.1331 ).
En torno al ámbito de conocimiento de las tesis doctorales, se ha podido constatar que, si bien más de la mitad pertenecen al ámbito de las Ciencias de la Educación, un amplio porcentaje de ellas pertenecen a otros ámbitos de las Ciencias Sociales y Jurídicas como: las Ciencias Económicas, Administración y Dirección de Empresas, Márketing, Comercio, Contabilidad y Turismo; las Ciencias del Comportamiento y la Psicología; y a otras Ciencias Sociales, Trabajo Social, Relaciones Laborales y Recursos Humanos, Sociología, Ciencia Política y Relaciones Internacionales. Estos resultados ponen de manifiesto que el interés por los temas educativos tiene trascendencia en otras áreas de conocimiento, como la Psicología, concretada en los mecanismos de que regulan la conducta y la adquisición del aprendizaje -y sus dificultades- (Garzón y otros, 2019Garzón, J. A., Rojas, O. D., Cañizares, L. A., y Culqui, C. P. (2019). El impacto de la psicología en el ámbito educativo. Revista Científica Mundo de la Investigación y el Conocimiento, 3(2), 543-565. DOI: https://doi.org/10.26820/recimundo/3.(2).abril.2019.543-565 ); o la Economía y el interés que suscita la financiación de los sistemas educativos y la evaluación de las políticas educativas (Lassibille y Navarro, 2012Lassibille, G., y Navarro, M. L. (2012). Un compendio de investigaciones en economía de la educación. Presupuesto y Gasto Público, 67, 9-28.). Por otro lado, los descriptores más empleados para la categorización de las tesis doctorales han sido el de “sector de la educación”, “evaluación de alumnos” y “organización y planificación de la educación”. Se observa en este caso que los descriptores de TESEO son muy amplios, lo cual no permite conocer el objetivo de las tesis. En relación al idioma, se ha observado que el castellano es el idioma predominante, si bien en un bajo porcentaje se han encontrado tesis escritas en otros idiomas, hecho que podría explicarse en los requerimientos establecidos en el anteriormente citado Real Decreto 99/2011 para la obtención de la Mención Internacional.
Respecto a la autoría de las tesis doctorales, se ha observado una mayor presencia de mujeres que de hombres, hecho que no se constata en ninguno de los otros roles (dirección de tesis doctorales y membresía en los tribunales) analizados en el presente estudio. Al igual que sucede en estudios similares (Ferreira, 2020Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 ; Olmedilla y otros, 2017Olmedilla, A., Abenza, L., Serrano, A., Muñiz, A.M., García-Angulo, F., y Ortega, E. (2017). Estudio bibliométrico de tesis doctorales sobre psicología del deporte. Cuadernos de Psicología del Deporte, 17(2), 121-130. Disponible en: https://bit.ly/34Zykqd ; Peña y otros, 2019Peña, A. R., Jiménez, M., Ruiz, J., y Pontón, T. (2019). La producción científica en el “Sector de Hostelería y Turismo”: Un análisis bibliométrico de las tesis doctorales españolas en el periodo 1978-2018. Investigaciones Turísticas, 18, 71-94. DOI: https://doi.org/10.14198/INTURI2019.18.04 ), la diferencia más significativa la encontramos en la presidencia de los tribunales, mientras que en la secretaría de estos se ha observado una mayor paridad entre hombres y mujeres. Teniendo en cuenta que las presidencias de los tribunales suelen estar ocupadas por el profesor de mayor rango académico, y que la mayoría de las tesis analizadas han sido producidas en universidades públicas, una posible explicación podría encontrarse en que, según datos del Ministerio de Universidades para el curso 2019-20205 PDI permanente en centros propios de universidades públicas por categoría, sexo y rama de enseñanza: https://bit.ly/3vdBvW7 , un 63.2% de los funcionarios docentes universitarios (categorías de Profesor Titular de Universidad y Catedrático de Universidad) son hombres y el 36.8% son mujeres, números que se ven incrementados si solo se tiene en cuenta la categoría de Catedrático de Universidad (75.13% hombres y 24.87% mujeres).
Respecto a la producción científica derivada de las tesis doctorales sobre PISA, concretada en 439 artículos científicos, se ha evidenciado que la mayor parte de ésta ha sido desarrollada por unos pocos autores. Sin embargo, la distribución no se ajusta a los parámetros propuestos en ley de la Lotka, debido a que el número de autores con un artículo se queda muy lejos del 60%. Asimismo, se ha observado cómo diversos autores han ejercido como nexo de unión de las diferentes redes de colaboración en la producción científica, destacando las figuras del Catedrático José Muñiz y de los profesores Rubén Fernández Alonso y Elsa Peña Suárez (todos ellos pertenecientes a la Universidad de Oviedo), así como de Isabel Benítez Baena, profesora de la Universidad de Granada. Por otro lado, se ha constatado que tan solo en torno al 40% de los autores de las tesis han incluido en su producción científica aspectos relacionados con PISA.
Por otro lado, se ha evidenciado que aproximadamente un tercio de la producción científica se ha publicado en 16 de un total de 217 revistas, lo que pone de manifiesto que esta distribución se ajusta al modelo de Bradford. Es la revista Enseñanza de las Ciencias, especializada en la didáctica de las ciencias y de las matemáticas, la que recoge un mayor número de publicaciones, con 15 trabajos. No obstante, el análisis de redes determinó que es la revista Frontiers in Psychology, de carácter más interdisciplinar dentro de la rama de la psicología, la que genera un mayor número de enlaces con otras publicaciones.
A modo de conclusión, los resultados del presente estudio permiten conocer el impacto que ha tenido PISA en la realización de tesis doctorales, completando con esta perspectiva estudios realizados previamente sobre artículos científicos (Cordeiro y Teodoro, 2022Cordeiro, C. D., y Teodoro, V. D. (2022). How PISA Is Present In The Scientific Production. En Teorodo, A. (ed.), Critical Perspectives on PISA as a Means of Global Governance Risks, Limitations, and Humanistic Alternatives, 28-46. Routledge.; Domínguez y otros, 2012Domínguez, M., Vieira, M. J., y Vidal, J. (2012). The impact of the Programme for International Student Assessment on academic journals. Assessment in Education: Principles, Policy y Practice, 19(4), 393-409. DOI: https://doi.org/10.1080/0969594X.2012.659175 ; González-Mayorga y otros, 2022González-Mayorga, H., Vieira, M. J., y Vidal, J. (2022). El uso de los resultados españoles de PISA en publicaciones científicas.Revista de Investigación Educativa,40 (1), 183-202. DOI: https://doi.org/10.6018/rie.451201 ; Hopfenbeck y otros, 2018Hopfenbeck, T. N., Lenkeit, J., El Masri, Y., Cantrell, K., Ryan, J., y Baird, J.-A. (2018). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research, 62(3), 333-353. DOI: https://doi.org/10.1080/00313831.2016.1258726 ; Luzón y Torres, 2013Luzón, A., y Torres, M. (2013). La presencia de PISA en la literatura científica y su tratamiento en la prensa internacional. Profesorado. Revista de Currículum y Formación del Profesorado, 17(2), 194-224.). Asimismo, permiten confirmar que, a través de PISA, la OCDE alcanza el objetivo de crear una base empírica que pueda contribuir a la mejora en la toma de decisiones (OECD, 1999OECD (1999). Measuring students’ knowledge and skills. A New Framework for Assessment. OECD Publications Service. Disponible en: https://bit.ly/431WFVm ).
La principal limitación del estudio radica en el empleo de la base de datos TESEO debido a diversas carencias ya advertidas en el apartado de material y métodos. Existen otras fuentes documentales alternativas que recogen tesis doctorales españolas, como Dialnet o la Biblioteca Virtual Miguel de Cervantes, las cuales, sin embargo, no ofrecen el mismo nivel de detalle en el reporte de los datos. Asimismo, otras bases de datos como TDR (Tesis Doctorales en Red) o los repositorios propios de las universidades españolas únicamente recogen datos a nivel regional e institucional, respectivamente. Por estas razones, estamos de acuerdo con Ferreira (2020)Ferreira, C. (2020). Productividad científica y evolución de las tesis doctorales en Educación Superior: análisis por género y temáticas. Revista Española de Documentación Científica, 4(4), e278. DOI: https://doi.org/10.3989/redc.2020.4.1711 y Mochón-Bezares y Sorli-Rojo (2020)Mochón-Bezares, G., y Sorli-Rojo, Á. (2020). Tesis doctorales sobre hormigón en universidades españolas. Un análisis bibliométrico, 1977-2019. Informes de la Construcción, 73(563), e406. DOI: https://doi.org/10.3989/ic.79082 en que, a pesar de sus limitaciones, TESEO es la base de datos de referencia para la recuperación y análisis de la producción de tesis doctorales españolas. Por otro lado, el presente trabajo no valora el contenido de dichos trabajos, excepto la vinculación a descriptores muy amplios de la base de datos TESEO, por lo que el análisis de los textos completos para conocer el tratamiento que se está haciendo de PISA, en la línea del estudio realizado por González-Mayorga y otros (2022)González-Mayorga, H., Vieira, M. J., y Vidal, J. (2022). El uso de los resultados españoles de PISA en publicaciones científicas.Revista de Investigación Educativa,40 (1), 183-202. DOI: https://doi.org/10.6018/rie.451201 para el análisis de artículos científicos sobre PISA, y su inclusión en las tendencias de investigación actuales podría suponer una futura línea de investigación en este sentido.