University journals in the context of evaluation criteria for scientific performance in Spain
DOI:
https://doi.org/10.3989/redc.2015.2.1191Keywords:
Research evaluation, evaluation criteria, sexennial evaluation, national accreditation, CNEAI, ANECA, academic journals, scholarly journals, regularity and periodicity, peer review, journal impact indexes, journal assessment systemsAbstract
The evaluation of scientific performance in Spain through the “national accreditation” system and the sexennials (a research assessment program that evaluates academic staff every six years) does not only confer social and personal recognition to professors and researchers, but it also has an influence over their future academic careers. This is a controversial issue where the greatest criticism centers on academic journals and how they are evaluated. Within academic journals, university journals are those considered to be the most disadvantaged. In this article we explore the state of Spanish academic journals from the perspective of how evaluation criteria are applied by different agencies, using several indicators: regularity, periodicity, peer review, their presence in journal impact indexes, and their position in various journal assessment systems. Our results have detected significant deficiencies, but although there are some differences when comparing university and non-university journals, they are not significant. These conclusions can be of interest for evaluation agencies in order to consider rectifying criteria that currently penalize university publishing directly or indirectly.
Downloads
References
Abadal, E.; Rius Alcaraz, Ll. (2008). Revistas científicas de las universidades españolas: acciones básicas para aumentar su difusión e impacto. Revista Espa-ola de Documentación Científica, 31(2), 242-262.
Abellanas, M. (2006). Evaluación científica. El País, 4/12/2006.
Aliaga, FM.; Almerich, G.; Suárez-Rodríguez, JM. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Revista Espa-ola de Documentación Científica, 36(2), en008.
ANECA. (2008). Principios y orientaciones para la aplicación de los criterios de evaluación. Versión 2.0, 31/01/2008. http://www.aneca.es/Programas/ACADEMIA/ACADEMIA Documentos-del-Programa [acceso Septiembre 2013].
Argüelles, JC. (2005). La selección natural en la ciencia. El País, 26/01/2005.
Bordons, M.; Fernandez, MT.; Gomez, I. (2002). Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country. Scientometrics, 53(2), 195-206. http://dx.doi.org/10.1023/A:1014800407876
Buela-Casal, G. (2007). Reflexiones sobre el sistema de acreditación del profesorado funcionario de Universidad en España. Psicothema, 19, 473-482. PMid:17617988
Buela-Casal, G.; Sierra, JC. (2007). Criterios, indicadores y estándares para la acreditación de profesores titulares y catedráticos de Universidad. Psicothema, 19, 537-551. PMid:17959105
Cancelo, M.; Bastida, M. (2013). La evaluación de la investigación en España: los sexenios en las áreas de economía y empresa. CIRIEC-España, Revista de Economía Pública, Social y Cooperativa, 78, 265-292.
CNEAI. (2013). Resolución de 15 de noviembre de 2013, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. BOE núm. 279, de 21/11/2013, p. 92880-92893. http://www.mecd.gob.es/ministerio-mecd/organizacion/organismos/cneai/criterios-evaluacion.html [acceso Diciembre 2013].
Cortina, A. (2008) ¿La calidad de las humanidades? El País, 24/11/2008.
Conde, C. (2012). La edición científica en la universidad actual. Unelibros, 25, (Oto-o 2012), p.26.
CSE. (2013). COUNCIL OF SCIENCE EDITORS. CSE's White Paper on Promoting Integrity in Scientific Journal Publications, 2013. http://www.councilscienceeditors.org/i4a/pages/index.cfm?pageid=3331 [acceso Septiembre 2013].
CSIC. (2013). Directorio de revistas de CC Sociales y Humanidades. http://bddoc.csic.es:8080/inicioBuscarCampos. html;jsessionid=1E1FD2C754BB949FBE318262D59386DD?estado_formulario=show&bd=ISOC&tabla=revi [acceso julio 2013].
Delgado López-Cózar, E.; Torres Salinas, D. (2013). Las revistas universitarias españolas. ¿Cómo sobrevivir en un entorno electrónico? III Jornadas Unión de Editoriales Universitarias españolas. Madrid, 6 de junio de 2013. http://hdl.handle.net/10481/27623
DICE. (2010). Difusión y Calidad Editorial de las Revistas españolas de Humanidades y Ciencias Sociales y Jurídicas. http://dice.cindoc.csic.es/ [acceso Enero 2014].
EC3. (2011). Evaluación de la Ciencia y la Comunicación Científica. Índice de Impacto de las Revistas españolas de Ciencias Sociales, Humanidades y Jurídicas. http://ec3.ugr.es [acceso Enero 2014].
Echeburúa Odriozola, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la psicología clínica: una primera reflexión. Análisis y Modificación de la Conducta, 288(119), 391-404.
ERIH. (2011). European Reference Index for the Humanities.
Espinet Rubio, A. (2006). Perversiones, paradojas y traumas en la evaluación científica. Anales de Química, 102(4), 60-63.
FECYT. (2013). Fundación Espa-ola para la Ciencia y la Tecnología. Sistema de Evaluación de la Calidad de Revistas Científicas. http://evaluacionarce.fecyt.es/publico/index.aspx [acceso Enero 2014].
Fernández Esquinas, M.; Pérez Yruela, M.; Merchán Hernández, C. (2006). EL sistema de incentivos y recompensas en la ciencia pública espa-ola. En: Sebastián, J; Mu-oz, E (eds.). Radiografía de la investigación pública en España. Madrid; Biblioteca Nueva, p. 148-206.
González, A.I. (2011). Calidad de la Edición Universitaria. Unelibros, 23(Oto-o 2011), 9.
González Teruel, A.; Abad García, MF.; Hernández San Miguel, J.; Ruiz Castell, J. (2010). Localización de identificación de las revistas universitarias para su integración en repositorios institucionales. El caso de la Universitat de València. BiD: textos universitaris de biblioteconomia i documentació, 2010, 25. http://www.ub.edu/bid/25/gonzalez2.htm
ICMJ. (2013). INTERNATIONAL COMMITTEE OF MEDICAL JOURNAL EDITORS. Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication, 2013. http://www.icmje.org/urm_main.html [acceso Septiembre 2013].
Játiva, JM. (2013). Una sentencia ratifica el derecho de los profesores interinos a los sexenios. El País, 03/01/2013. http://ccaa.elpais.com/ccaa/2013/01/03/valencia/1357244175_689084.html
Jiménez Contreras, E.; Moya Anegón, F.; Delgado López-Cózar, E. (2003). The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, 32(1), 123-142.
Morán, F. (2013). Un sello de calidad de las publicaciones universitarias es absolutamente necesario. Unelibros, 26 (Primavera 2013), 9.
Mu-oz, JM. (2013). La batalla por los sexenios. El País, 14/12/2013. http://ccaa.elpais.com/ccaa/2013/12/11/andalucia/1386781747_518219.html
Ruiz-Pérez, R.; Delgado López-Cózar, E.; Jiménez Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones cientifícas: 1989-2009. Psicothema, 22(4), 898-908. PMid:21044530
Salvador Coderch, P.; Azagra Malo, A.; Gómez Ligüerre, C. (2008). Criterios de evaluación de la actividad investigadora en derecho civil, derecho privado y análisis del derecho. InDret, 3, 2-63.
SJR. (2012). SCImago Journal and Country Rank. http://www.scimagojr.com/ [acceso Septiembre 2013].
Torres Salinas, D. (2007). Dise-o de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud: 1994-2005[tesis doctoral]. Granada; Universidad.
UNE. (2009). Crónica. Las editoriales universitarias reivindican un trato no discriminatorio en la evaluación del profesorado. Unelibros, 18 (Primavera 2009), 3.
Ulrichsweb. (2013). Ulrichs Global Serial Directory. http://ulrichsweb.serialssolutions.com/ [acceso Diciembre 2013].
WOS. (2013). Web of Science. https://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID T2c4aw5hR6FQeR6seII&preferencesSaved [acceso Enero 2014].
Zamora, H.; Aguillo, I.; Ortega, JL.; Granadino, B. (2007). Calidad formal, impacto y visibilidad de las revistas electrónicas universitarias españolas. El profesional de la información, 2007,16 (1), 13-23. http://dx.doi.org/10.3145/epi.2007.jan.02
Zuckerman, H. y Merton, RK. (1971). Patterns of evaluation in science: institutionalisation, structure and functions of the referee system. Minerva, 9, 66-100. http://dx.doi.org/10.1007/BF01553188
Published
How to Cite
Issue
Section
License
Copyright (c) 2015 Consejo Superior de Investigaciones Científicas (CSIC)
This work is licensed under a Creative Commons Attribution 4.0 International License.
© CSIC. Manuscripts published in both the printed and online versions of this Journal are the property of Consejo Superior de Investigaciones Científicas, and quoting this source is a requirement for any partial or full reproduction.All contents of this electronic edition, except where otherwise noted, are distributed under a “Creative Commons Attribution 4.0 International” (CC BY 4.0) License. You may read here the basic information and the legal text of the license. The indication of the CC BY 4.0 License must be expressly stated in this way when necessary.
Self-archiving in repositories, personal webpages or similar, of any version other than the published by the Editor, is not allowed.
