La evaluación de las Humanidades y de las Ciencias Sociales en revisión
DOI:
https://doi.org/10.3989/redc.2018.3.1552Palabras clave:
evaluación de la investigación, Humanidades y Ciencias Sociales, evaluación cualitativa, evaluación cuantitativa, acceso abierto, métricas alternativas, métricas responsables, impacto social de la investigación, libros académicos, revistas académicasResumen
La evaluación de las Humanidades y las Ciencias Sociales ha resultado siempre controvertida. En este artículo se revisan los cambios que se están produciendo en las metodologías y enfoques de la evaluación, así como las líneas de trabajo que están marcando estos procesos de evaluación en Europa. Las claves de la evaluación científica en la actualidad pueden resumirse en: 1. Utilización de datos completos sobre producción científica y desarrollo de fuentes de indicadores para revistas y libros académicos, al margen de las bases de datos comerciales; 2. Evaluación más cualitativa y/o con enfoques bottom up; 3. El acceso abierto y su implicación en la evaluación científica; 4. Métricas alternativas y citas abiertas; 5. Métricas responsables; 6. Impacto social de la investigación.
Descargas
Citas
Alperin, J.P.; Rozemblum, C. (2017). The Reinterpretation of the Visibility and Quality of New Policies to Assess Scientific Publications. Revista Interamericana de Bibliotecología, 40 (3).
Anderson, R. (2017). Cabell's New Predatory Journal Blacklist: A Review. The Scholarly Kitchen. https:// scholarlykitchen.sspnet.org/2017/07/25/cabells-new-predatory-journal-blacklist-review/
ANECA (2017). Méritos evaluables para la acreditación nacional para el acceso a los cuerpos docentes universitarios. http://www.aneca.es/Programas-de-evaluacion/ ACADEMIA/Criterios-de-evaluacion-noviembre-2017
Beall, J. (2017). What I learned from predatory publishers. Biochemia Medica, 27 (2), 273–278. https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC5493177/ https://doi.org/10.11613/BM.2017.029 PMid:28694718 PMCid:PMC5493177
Benneworth, P.; Olmos-Pe-uela, J.; Muhonen, R. (2017). Towards a common understanding on the societal impact of SSH research. ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities, pp. 32-35. Antwerp, Belgium https://www.uantwerpen.be/images/uantwerpen/ container41447/files/A5-BOOK_RESSH2017_170717- interactive.pdf
Björk, B. C.; Solomon, D. (2012). Open access versus subscription journals: a comparison of scientific impact. BMC medicine, 10 (1), 73. https://doi.org/10.1186/1741-7015-10-73 PMid:22805105 PMCid:PMC3398850
Costas, R.; Zahedi, Z.; Wouters, P. (2015). Do "altmetrics" correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, 66 (10), 2003-2019. https://doi.org/10.1002/asi.23309
De Filippo, D.; Sanz-Casado, E.; Salido, C. U.; Ardanuy, J.; Gómez-Caridad, I. (2011). El papel de las bases de datos institucionales en el análisis de la actividad científica de las universidades. Revista Espa-ola de Documentación Científica, 34 (2), 165-189. https://doi.org/10.3989/redc.2011.2.797
DORA (2013). San Francisco Declaration on Research Assessment. http://crln.acrl.org/index.php/crlnews/ article/view/9104/9996
ENRESSH (2015). Memorandum of understanding for the implementation of the COST action European Network for Research Evaluation in the SSH CA15137. http://enressh.eu/wp-content/uploads/2016/10/ CA15137-e.pdf
ERIH Plus revision (2017). https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/erih_revision_completed
Espa-a. Jefatura del Estado (2011). Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación. Boletín Oficial del Estado, número 131. https://www.boe. es/boe/dias/2011/06/02/pdfs/BOE-A-2011-9617.pdf
European Commission. Commission recommendation of 17.7.2012 on access to and preservation of scientific information. http://ec.europa.eu/research/science-society/document_library/pdf_06/recommendation-access-and-preservation-scientific-information_en.pdf
European Commission (2017). Towards a Horizon 2020 platform for open access. Nota informativa. https:// ec.europa.eu/research/openscience/pdf/information_ note_platform_public.pdf#view=fit&pagemode=none
Ferrara, A.; Bonaccorsi, A. (2016). How robust is journal rating in Humanities and Social Sciences? Evidence from a large-scale, multi-method exercise. Research Evaluation, 25 (3), 279-291. https://doi.org/10.1093/reseval/rvv048
Ferwerda, E.; Pinter, F.; Stern, N. (2017). A landscape study on open access and monographs: Policies, funding and publishing in eight European countries. Knowledge Exchange.
Giménez-Toledo, E. (2016). Malestar. Los investigadores ante su evaluación. Madrid/Frankfurt: Iberoamericana Vervuert.
Giménez-Toledo, E. (2017). Edición académica en espa-ol: la diversidad como desafío. Revista de Occidente, 438, 77-103. http://www.ortegaygasset.edu/publicaciones/revistadeoccidente/noviembre-2017
Giménez-Toledo, E. (ed.). (2018). Estudio cualitativo de las editoriales académicas. La percepción de la comunidad científica espa-ola. Madrid: Federación del Gremio de Editores de Espa-a
Giménez-Toledo, E.; Ma-ana-Rodríguez, J.;Engels, Tim C. E.; Ingwersen, P.; Siverten, G.; Verleysen, F. T.; Zuccala, A. (2016). Taking scholarly books into account: current developments in five european countries. Scientometrics, 107 (2), 685-699. https://doi.org/10.1007/s11192-016-1886-5
Giménez-Toledo, E.; Ma-ana-Rodríguez, J. (2016). Lo cuantitativo en las Humanidades: los casos de la evaluación y la edición científica. Índice. Revista de Estadística y Sociedad, 69, 25-27. http://www.revistaindice.com/numero69/p25.pdf
Gingras, Y.; Khelfaoui, M. (2017). Assessing the effect of the United States' "citation advantage" on other countries' scientific impact as measured in the Web of Science (WoS) database. Scientometrics, 114 (2), 517-532. https://doi.org/10.1007/s11192-017-2593-6
Henny, J. M. (ed.) (2015). L'edition scientifique institutionelle en France. Rapport. Paris: AEDRES.
Hicks, D.; Wouters, P.; Waltman, L.; De Rijcke, S.; Rafols, I. (2015). The Leiden Manifesto for research metrics. Nature, 520 (7548), 429-431. https://doi.org/10.1038/520429a PMid:25903611
Hicks, D. (2004). The four literatures of social science. En: Handbook of quantitative science and technology research. Dordrecht: Springer, pp. 473-496.
Hug, S.; Ochsner, M. (2014). A framework to explore and develop criteria for assessing research quality in the humanities. International Journal of Education Law and Policy. 10 (1), 55–68.
ISSI (2017). Open citations: A letter from the scientometric community to scholarly publishers. http://issi-society.org/open-citations-letter/
Editorial: Journals Under Threat: A Joint Response from History of Science, Technology and Medicine Editors (2009). Centaurus, 51, 1–4.
Jubb, M. (2017). Academic Books and their Futures: A Report to the AHRC and the British Library. London.
Kulczycki, E. (2017). Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland. Research Evaluation, 26 (1), 41–52. https://doi.org/10.1093/reseval/rvw023
Martin, B. R.; Tang, P.; Morgan Jones, M. (2010). Towards a bibliometric database for the social sciences and humanities-A European Scoping Project. http://sro. sussex.ac.uk/29810/
Matthews, D. (2015). REF sceptic to lead review into research assessment. Times Higher Education. https:// www.timeshighereducation.com/news/ref-sceptic-lead-review-research-assessment
McCulloch, S. (2017). The importance of being REF-able: academic writing under pressure from a culture of counting. LSE Impact blog. http://blogs.lse.ac.uk/ impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/
Ministerio de Educación, Cultura y Deporte (2017). Resolución de 23 de noviembre de 2017, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. Boletín Oficial del Estado, número 292. Madrid, Espa-a. https://www.boe. es/boe/dias/2017/12/01/pdfs/BOE-A-2017-14085.pdf
NISO Alternative Assessment Metrics (Altmetrics) Initiative (s.d.). http://www.niso.org/standards-committees/altmetrics
Ochsner, M.; Hug, S.; Dieter-Daniel, H. (2016). Research Assessment in the Humanities. Springer International Publishing. https://doi.org/10.1007/978-3-319-29016-4
Ochsner, M.; Hug, S.; Galleron, I. (2017a). The future of research assessment in the humanities: bottom-up assessment procedures. Palgrave Communications, 3.
Ochsner, M.; Kulczyck, E.; Gedutis, A. (2017b). Diversity of Research Evaluation Systems in Europe. Nordic Workshop for Bibliometrics. Helsinki, Finland. http://www. helsinki.fi/astro/library/nwb22/D1-05-Ochsner.pdf
Olmos-Pe-uela, J.; Molas-Gallart, J.; Castro-Martínez, E. (2014). Informal collaborations between social sciences and humanities researchers and non-academic partners. Science and Public Policy, 41 (4), 493–506. https://doi.org/10.1093/scipol/sct075
Puuska, H.M.; Pölönen, J.; Engels, T.; Sivertsen, G. (2017). Towards the integration of European research information. Spring 2017 Membership Meeting of euroCRIS, Dublin. https://dspacecris.eurocris.org/ bitstream/11366/593/1/euroCRIS_MMDublin_Puuska_Towards_integration_of_European_research_information_20170531.pdf
Ràfols, I.; Robinson-García, N.; van Leeuwen, T. (2017). How to make altmetrics useful in societal impact assessments: shifting from citation to interaction approaches. Impact of Social Sciences Blog. http://blogs. lse.ac.uk/impactofsocialsciences/2017/03/23/how-to-make-altmetrics-useful-in-societal-impact-assessments-shifting-from-citation-to-interaction-approaches/
Reale, E.; De Filippo, D.; Gómez, I.; Lepori, B.; Potì, B.; Primeri, E.; Probst, C.; Sanz-Casado, E. (2011). New uses of the institutional databases of universities: indicators of research activity. Research Evaluation, 20 (1), 47-60. https://doi.org/10.3152/095820211X12941371876300
Research Council of Norway (2017). Evaluation of the Humanities in Norway. Report. Oslo: The Research Council of Norway https://www.forskningsradet.no/en/ Publications/1220788265688
Research Excellence Framework (REF) (2014). Main panel D criteria http://www.ref.ac.uk/2014/media/ref/ content/pub/panelcriteriaandworkingmethods/01_12 _2D.pdf
Riggio, G. (2017). Indicadores bibliométricos de la actividad científica de la República Dominicana. Tesis doctoral. Madrid: Universidad Carlos III.
Sivertsen, G. (2017a). Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective. Palgrave Communications 3.
Sivertsen, G. (2017b). Frameworks for understanding the societal relevance of the Humanities. ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities, pp. 30- 31. Antwerp, Belgium. https://www.uantwerpen.be/ images/uantwerpen/container41447/files/A5-BOOK_ RESSH2017_170717-interactive.pdf
Solomon, D. J.; Björk, B. C. (2012a). A study of open access journals using article processing charges. Journal of the Association for Information Science and Technology, 63 (8), 1485-1495. https://doi.org/10.1002/asi.22673
Solomon, D. J.; Björk, B. C. (2012b). Publication fees in open access publishing: Sources of funding and factors influencing choice of journal. Journal of the association for information science and technology, 63 (1), 98-107. https://doi.org/10.1002/asi.21660
Tanner, S. (2016). An analysis of the Arts and Humanities submitted research outputs to REF 2014 with a focus on academic books. https://academicbookfuture. files.wordpress.com/2016/11/abof_academic-books-ref2014-report_simon-tanner.pdf
Terämä, E.; Smallman, M.; Lock, S. J.; Johnson, C.; Austwick, M. Z. (2016). Beyond academia–Interrogating research impact in the research excellence framework. PloS one, 11 (12), e0168533. https://doi.org/10.1371/journal.pone.0168533 PMid:27997599 PMCid:PMC5173344
Thelwall, M. (2014). Five recommendations for using alternative metrics in the future UK Research Excellence Framework. http://blogs.lse.ac.uk/impactofsocialsciences/2014/10/23/alternative-metrics-future-uk-research-excellence-framework-thelwall/
Thelwall, M.; Haustein, S.; Larivière, V.; Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS one, 8 (5), e64841. https://doi.org/10.1371/journal.pone.0064841 PMid:23724101 PMCid:PMC3665624
Torres-Salinas, D.; Robinson-Garcia, N.; Gorraiz, J. (2017). Filling the citation gap: measuring the multidimensional impact of the academic book at institutional level with PlumX. Scientometrics, 113 (3), 1371-1384. https://doi.org/10.1007/s11192-017-2539-z
Vessuri, H.; Guédon, J. C.; Cetto, A. M. (2013). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62 (5), 647-665. https://doi.org/10.1177/0011392113512839
Wilsdon , J.; Allen, L.; Belfiore, E.; Campbell, P.; Curry, S.; Hill, S.; Jones, R.; Kain, R.; Kerridge, S.; Thelwall, M.; Tinkler, J.; Viney. I.; Hill, J. Wouters, P. and Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management.
Zaltz Austwick, M. (2017). Does high-impact research come at the expense of quality? An automated analysis of the REF impact landscape. LSE Impact blog. http://blogs.lse. ac.uk/impactofsocialsciences/2017/03/02/does-high-impact-research-come-at-the-expense-of-quality-an-automated-analysis-of-the-ref-impact-landscape/
Zuccala, A.; Verleysen, F.; Cornacchia, R.; Engels, T. (2015). Altmetrics for the humanities: Comparing Goodreads reader ratings with citations to history books. Aslib Journal of Information Management, 67 (3), 320- 336. https://doi.org/10.1108/AJIM-11-2014-0152
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2018 Consejo Superior de Investigaciones Científicas (CSIC)
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
© CSIC. Los originales publicados en las ediciones impresa y electrónica de esta Revista son propiedad del Consejo Superior de Investigaciones Científicas, siendo necesario citar la procedencia en cualquier reproducción parcial o total.Salvo indicación contraria, todos los contenidos de la edición electrónica se distribuyen bajo una licencia de uso y distribución “Creative Commons Reconocimiento 4.0 Internacional ” (CC BY 4.0). Puede consultar desde aquí la versión informativa y el texto legal de la licencia. Esta circunstancia ha de hacerse constar expresamente de esta forma cuando sea necesario.
No se autoriza el depósito en repositorios, páginas web personales o similares de cualquier otra versión distinta a la publicada por el editor.
