La producción científica en las universidades españolas, una parte esencial del sistema de ciencia y tecnología del país, se ha incrementado en las últimas décadas. Prueba de ello son los datos arrojados por la Conferencia de Rectores de Universidades Españolas, la cual determina que el crecimiento de dicha producción (medida como número de artículos en la base de datos Scopus) ha sido del 89.9% entre los años 2007 y 2017, representando en 2017 el 3.2% de la producción mundial (Hernández-Armenteros y Pérez-García, 2020). Este hecho ha repercutido, a su vez, en la proliferación de estudios que analizan dicha productividad desde diversos prismas (evolución, contenido, redes de autores, etc.) (Quevedo-Blasco y otros, 2019; Lorenzo, 2022; Sánchez-Vigil y otros, 2021).

En este sentido, las tesis doctorales pueden considerarse un referente de la investigación, por lo que su análisis permite conocer el estado de la actividad científica de las universidades, así como evaluar la productividad de estas en diferentes disciplinas (Delgado y otros, 2006; Mochón-Bezares y Sorli-Rojo, 2020). Para Turner (2000), las tesis doctorales son un mecanismo esencial para introducir y establecer relaciones entre nuevos investigadores en un campo científico. Es por esto que el análisis de las tesis doctorales “se justifica, no solo por la transcendencia que tienen para la comunidad científica, sino también por la variedad de actores que participan en su producción y evaluación y las relaciones que se establecen entre ellos” (Repiso y otros, 2013).

Son numerosos los estudios que han analizado la producción de tesis doctorales españolas en torno a diferentes campos como la Psicología (Agudelo y otros, 2003; Olmedilla y otros, 2017), la Economía (Ortega, 2010; Peña y otros, 2019), la Medicina (Fernández-Guerrero, 2015; Moyano y otros, 2006), las Humanidades (Salgado-Orellana y otros, 2021) o la Comunicación escrita y audiovisual (Díaz-Campo, 2014, 2016; Olivera y otros, 2016; Repiso y otros, 2011, 2013; Segarra-Saavedra y otros, 2021). La Educación también ha sido objeto de estudio en este sentido, encontrando publicaciones que analizan tesis por descriptores (Ferreira, 2020; Moreno-Fernández y Moreno-Crespo, 2016) y otras referidas a temas más específicos, como la Educación Matemática (Fernández-Cano y otros, 2003), la Tutoría (López-Gómez, 2016), la Inclusión Educativa (Suárez y López, 2018) o las Altas Capacidades Intelectuales (Padial y Fernández-Cano, 2019).

Sin embargo, no se han encontrado evidencias de estudios que analicen tesis doctorales sobre el Programa para la Evaluación Internacional de Alumnos (PISA, Programme for International Student Assessment, en inglés) o que empleen datos extraídos de este, siendo este tipo de evaluaciones internacionales potentes fuentes de información capaces de interconectar distintos temas educativos entre sí, dada la riqueza de sus datos (Cordero y otros, 2013; Leunda y otros, 2017; Lindblad y otros, 2015). Es por ello por lo que parece necesario analizar el desarrollo científico de este campo y su difusión (Mølstad y otros, 2017). En este sentido, Rovira-Esteva y otros (2015) ponen de manifiesto la importancia del artículo científico como unidad de medida de la investigación, atendiendo a indicadores bibliométricos como el índice de impacto o el número de citas del mismo. Son diversos los estudios que han focalizado su objetivo en analizar la producción científica en torno a PISA. Así pues, Domínguez y otros (2012) y Luzón y Torres (2013) concluyeron que el impacto de PISA en la investigación empezó a ser notorio a partir del año 2007, generando interés en diversos campos de conocimiento diferentes al educativo, como es el caso de la Psicología, la Economía o las Ciencias Experimentales. Otros estudios encontraron que los aspectos sociales, económicos y culturales, así como las políticas educativas, tienen una gran relevancia para la investigación, por encima incluso de las prácticas instruccionales o el rendimiento del alumnado en las competencias objeto de estudio de PISA (Cordeiro y Teodoro, 2022; González-Mayorga y otros, 2022; Hopfenbeck y otros, 2018). Asimismo, Pereira y otros (2016) ponen de manifiesto que la información utilizada por PISA se está infrautilizando por los investigadores, a pesar de los esfuerzos de la OCDE por hacerla manejable y transparente.

El presente estudio busca dar visibilidad a la producción de tesis doctorales españolas sobre PISA o que han empleado datos de esta evaluación a través de dos tipos de análisis complementarios como son el bibliométrico y el de las redes sociales (ARS). Para ello, se pretende alcanzar dos objetivos: por un lado, analizar la producción de tesis doctorales, atendiendo a su evolución y a los diferentes actores que intervienen en ella (universidades, directores y miembros de los tribunales calificadores); por otro lado, identificar las diferentes estructuras de colaboración que se han dado en la investigación científica el torno a PISA a partir de la producción de las tesis doctorales analizadas.

El estudio tiene un diseño longitudinal descriptivo. Analiza las tesis doctorales españolas que hacen referencia a PISA defendidas entre los cursos académicos 2001/2002 y 2020/2021. Para extraer la información se ha empleado como principal fuente de información la base de datos TESEO, dependiente del Ministerio de Universidades. Esta base de datos es la que aporta una mayor cantidad de información sobre las tesis doctorales defendidas en las universidades españolas (Mochón-Bezares y Sorli-Rojo, 2020). No obstante, es conveniente tener en cuenta que diversos autores han señalado algunas limitaciones, como la ausencia de normalización de sus registros o la falta de sistematización de la información por parte de las universidades que han de remitir la información sobre las tesis doctorales defendidas en ellas (Delgado y otros, 2006; Ferreira, 2020). Estas limitaciones, sin embargo, no afectan al contenido necesario para el presente estudio.

Así pues, siguiendo la metodología de estudios similares (Delgado y otros, 2006; Ferreira, 2020), se llevó a cabo una búsqueda avanzada con la frase exacta “PISA” en el título/resumen. Además, se acotó la búsqueda al periodo comprendido entre los cursos escolares 2001/2002 (teniendo en cuenta que la publicación de los resultados de la primera oleada, PISA 2000, fueron publicados en diciembre de 2001) y 2020/2021, recuperando un total de 420 registros. No obstante, y dado que una de las limitaciones que presenta TESEO es que solo muestra las fichas de los primeros 250 registros en una búsqueda tan amplia, a continuación, se llevaron a cabo dos búsquedas ajustando el intervalo temporal entre los cursos 2001/2002 y 2014/2015 la primera (180 registros), y entre 2015/2016 y 2020/2021 la segunda (240 registros) para conseguir el acceso a la totalidad de registros. Posteriormente, mediante la lectura de la ficha completa, se seleccionaron las tesis que cumplían con el criterio de inclusión de hacer referencia a PISA como el Programa Internacional de Evaluación de los Estudiantes y no a otros términos homógrafos, como la ciudad italiana de Pisa o el término informático PISA (Protocol Independent Switch Architecture). Además, se excluyeron aquellas tesis en las que el término “PISA” objeto de estudio se hacía únicamente en las referencias bibliográficas y no en el cuerpo del resumen. Finalmente, se seleccionaron un total de 135 tesis doctorales, las cuales componen la muestra y cuya referencia se puede consultar en el Anexo I del presente trabajo.

Una vez configurado el corpus final, se creó una tabla en Microsoft Excel en la que se procedió a extraer la información de las fichas de las tesis doctorales. Para ello, se tuvieron en cuenta las siguientes variables:

La ausencia de datos en algunos campos y la ausencia de normalización de los nombres de los directores o los miembros del tribunal se solventó empleando la base de datos Dialnet tesis ¹ .

Posteriormente, se recopiló información de cada uno de los autores que tenían perfil de investigador en la base de datos Scopus respecto al número de artículos científicos publicados hasta el año 2021 (se han descartado tipologías como ensayos, editoriales, capítulos de libro y libros de actas de congresos), número de citas de dichas publicaciones, índice H del investigador, número de revistas diferentes y número de artículos en cada una de ellas. Por otro lado, se recopiló información de cada una de las revistas en las que se ha publicado en el portal Scimago Journal and Country Rank (SJR) ² como el indicador SJR 2021 y cuartil de las categorías en las que están mejor posicionadas, el índice H de la publicación y el país de edición. La recogida de datos se llevó a cabo a finales de marzo de 2022, actualizándose los datos de las revistas al indicador SJR 2021 en mayo de 2022.

Para el estudio de la producción de las tesis doctorales y de la producción científica se llevaron a cabo análisis descriptivos en Microsoft Excel, mientras que para el análisis de las redes sociales se empleó el software VOSviewer v1.6.18. Las redes generadas emplean como elemento relacional la co-autoría en publicaciones científicas de los autores de las tesis doctorales y el acoplamiento bibliográfico de las revistas en las que se publicó dicha producción, utilizando como unidad de análisis a los propios autores y a las publicaciones respectivamente. En el análisis del acoplamiento de las revistas se ha tenido en cuenta, además, la fuerza de enlace, entendida para este caso como el número de citas que tiene en común una revista con otras publicaciones (van Eck y Waltman, 2022).

El objetivo de este estudio es analizar la producción de tesis doctorales sobre PISA e identificar las estructuras de colaboración en la producción científica resultante de dichas tesis doctorales. Se han encontrado 135 tesis.

Respecto al primer objetivo, se puede decir que, a pesar de que los resultados de la primera oleada de PISA fueron publicados en diciembre de 2001, esta evaluación no empezó a tener impacto en las tesis doctorales hasta 2009/2010. En este curso, PISA empieza a tener presencia en las tesis doctorales, alcanzando la mayor frecuencia en el curso 2015/2016. Para Salgado-Orellana y otros (2018), este crecimiento podría guardar relación con la entrada en vigor del Real Decreto 99/2011, el cual otorga un plazo máximo de cinco años para la elaboración y lectura de la tesis doctoral en régimen de estudios a tiempo completo. No obstante, al igual que sucede en estudios previos, se ha observado un patrón decreciente en los últimos cursos académicos (Fernández-Bautista y otros, 2014). Por otro lado, la producción de las tesis doctorales por instituciones académicas está liderada por la Universidad de Granada, seguida de la UNED y la Universidad Autónoma de Barcelona, coincidiendo estos datos con los de otros estudios (Ferreira, 2020; Moreno-Fernández y Moreno-Crespo, 2016).

En torno al ámbito de conocimiento de las tesis doctorales, se ha podido constatar que, si bien más de la mitad pertenecen al ámbito de las Ciencias de la Educación, un amplio porcentaje de ellas pertenecen a otros ámbitos de las Ciencias Sociales y Jurídicas como: las Ciencias Económicas, Administración y Dirección de Empresas, Márketing, Comercio, Contabilidad y Turismo; las Ciencias del Comportamiento y la Psicología; y a otras Ciencias Sociales, Trabajo Social, Relaciones Laborales y Recursos Humanos, Sociología, Ciencia Política y Relaciones Internacionales. Estos resultados ponen de manifiesto que el interés por los temas educativos tiene trascendencia en otras áreas de conocimiento, como la Psicología, concretada en los mecanismos de que regulan la conducta y la adquisición del aprendizaje -y sus dificultades- (Garzón y otros, 2019); o la Economía y el interés que suscita la financiación de los sistemas educativos y la evaluación de las políticas educativas (Lassibille y Navarro, 2012). Por otro lado, los descriptores más empleados para la categorización de las tesis doctorales han sido el de “sector de la educación”, “evaluación de alumnos” y “organización y planificación de la educación”. Se observa en este caso que los descriptores de TESEO son muy amplios, lo cual no permite conocer el objetivo de las tesis. En relación al idioma, se ha observado que el castellano es el idioma predominante, si bien en un bajo porcentaje se han encontrado tesis escritas en otros idiomas, hecho que podría explicarse en los requerimientos establecidos en el anteriormente citado Real Decreto 99/2011 para la obtención de la Mención Internacional.

Respecto a la autoría de las tesis doctorales, se ha observado una mayor presencia de mujeres que de hombres, hecho que no se constata en ninguno de los otros roles (dirección de tesis doctorales y membresía en los tribunales) analizados en el presente estudio. Al igual que sucede en estudios similares (Ferreira, 2020; Olmedilla y otros, 2017; Peña y otros, 2019), la diferencia más significativa la encontramos en la presidencia de los tribunales, mientras que en la secretaría de estos se ha observado una mayor paridad entre hombres y mujeres. Teniendo en cuenta que las presidencias de los tribunales suelen estar ocupadas por el profesor de mayor rango académico, y que la mayoría de las tesis analizadas han sido producidas en universidades públicas, una posible explicación podría encontrarse en que, según datos del Ministerio de Universidades para el curso 2019-2020 ⁵ , un 63.2% de los funcionarios docentes universitarios (categorías de Profesor Titular de Universidad y Catedrático de Universidad) son hombres y el 36.8% son mujeres, números que se ven incrementados si solo se tiene en cuenta la categoría de Catedrático de Universidad (75.13% hombres y 24.87% mujeres).

Respecto a la producción científica derivada de las tesis doctorales sobre PISA, concretada en 439 artículos científicos, se ha evidenciado que la mayor parte de ésta ha sido desarrollada por unos pocos autores. Sin embargo, la distribución no se ajusta a los parámetros propuestos en ley de la Lotka, debido a que el número de autores con un artículo se queda muy lejos del 60%. Asimismo, se ha observado cómo diversos autores han ejercido como nexo de unión de las diferentes redes de colaboración en la producción científica, destacando las figuras del Catedrático José Muñiz y de los profesores Rubén Fernández Alonso y Elsa Peña Suárez (todos ellos pertenecientes a la Universidad de Oviedo), así como de Isabel Benítez Baena, profesora de la Universidad de Granada. Por otro lado, se ha constatado que tan solo en torno al 40% de los autores de las tesis han incluido en su producción científica aspectos relacionados con PISA.

Por otro lado, se ha evidenciado que aproximadamente un tercio de la producción científica se ha publicado en 16 de un total de 217 revistas, lo que pone de manifiesto que esta distribución se ajusta al modelo de Bradford. Es la revista Enseñanza de las Ciencias, especializada en la didáctica de las ciencias y de las matemáticas, la que recoge un mayor número de publicaciones, con 15 trabajos. No obstante, el análisis de redes determinó que es la revista Frontiers in Psychology, de carácter más interdisciplinar dentro de la rama de la psicología, la que genera un mayor número de enlaces con otras publicaciones.

A modo de conclusión, los resultados del presente estudio permiten conocer el impacto que ha tenido PISA en la realización de tesis doctorales, completando con esta perspectiva estudios realizados previamente sobre artículos científicos (Cordeiro y Teodoro, 2022; Domínguez y otros, 2012; González-Mayorga y otros, 2022; Hopfenbeck y otros, 2018; Luzón y Torres, 2013). Asimismo, permiten confirmar que, a través de PISA, la OCDE alcanza el objetivo de crear una base empírica que pueda contribuir a la mejora en la toma de decisiones (OECD, 1999).

La principal limitación del estudio radica en el empleo de la base de datos TESEO debido a diversas carencias ya advertidas en el apartado de material y métodos. Existen otras fuentes documentales alternativas que recogen tesis doctorales españolas, como Dialnet o la Biblioteca Virtual Miguel de Cervantes, las cuales, sin embargo, no ofrecen el mismo nivel de detalle en el reporte de los datos. Asimismo, otras bases de datos como TDR (Tesis Doctorales en Red) o los repositorios propios de las universidades españolas únicamente recogen datos a nivel regional e institucional, respectivamente. Por estas razones, estamos de acuerdo con Ferreira (2020) y Mochón-Bezares y Sorli-Rojo (2020) en que, a pesar de sus limitaciones, TESEO es la base de datos de referencia para la recuperación y análisis de la producción de tesis doctorales españolas. Por otro lado, el presente trabajo no valora el contenido de dichos trabajos, excepto la vinculación a descriptores muy amplios de la base de datos TESEO, por lo que el análisis de los textos completos para conocer el tratamiento que se está haciendo de PISA, en la línea del estudio realizado por González-Mayorga y otros (2022) para el análisis de artículos científicos sobre PISA, y su inclusión en las tendencias de investigación actuales podría suponer una futura línea de investigación en este sentido.