1. INTRODUCCIÓN
⌅La encuesta se ha definido como un método sistemático de obtención de datos mediante respuestas a preguntas realizadas a un grupo de entidades con el propósito de describir las características de la población a la que pertenecen (Groves y otros, 2009Groves, R. M.; Fowler, F. J.; Couper, M. P.; Lepkowski, J. M., Singer, E.; Roger, T. (2009). Survey Methodology (2nd edition). Hoboken (New Jersey): John Wiley & Sons. ). Este método de investigación ha sido ampliamente utilizado en todos los campos de conocimiento, desde las Ciencias de la Salud a las Ciencias Sociales incluyendo la Biblioteconomía y Documentación.
Realizar una investigación apropiada con encuestas implica una “ciencia” que requiere la misma planificación y estructura que cualquier otro estudio que emplee el método cuantitativo, donde hay que definir principalmente (Morgan y Carcioppolo, 2014Morgan, S. E.; Carcioppolo, N. (2014). Survey research methodology in health communication. En: Whaley B. B. (ed.). Research Methods in Health Communication. Principles and Application; pp. 78-96. New York: Routledge.): a) la población a estudiar, número de individuos a incluir y cómo se van a seleccionar; b) qué datos se van a recoger (diseño del cuestionario); c) cómo se va a distribuir el cuestionario (método de administración); y d) cuándo iniciar la encuesta y hacer un seguimiento de los que no responden.
La replicabilidad de un estudio es una piedra angular del método científico, y para garantizar que sea posible, hay que proporcionar suficiente transparencia en la información sobre el trabajo realizado (McNutt, 2014McNutt, M. (2014). Journals unite for reproducibility. Science, 346 (6210), 679. https://doi.org/10.1126/science.aaa1724 ). Es obligación del investigador describir los métodos y hallazgos de manera precisa y detallada en todas las publicaciones derivadas de la investigación, cumpliendo con los estándares para la divulgación (American Association for Public Opinion Research (AAPOR), 2015aAmerican Association for Public Opinion Research (AAPOR). (2015a). The Code of Professional Ethics and Practices (Revised 11/30/2015). Disponible en: https://www.aapor.org/Standards-Ethics/AAPOR-Code-of-Ethics/AAPOR_Code_Accepted_Version_11302015.aspx [Fecha de consulta: 10/03/2020]).
La divulgación completa de los métodos empleados y una completa transparencia en todos los niveles sigue siendo el incentivo más poderoso para promover datos de alta calidad (Logan y otros, 2020Logan, C.; Parás, P.; Robbins, M.; Zechmeister, E. J. (2020). Improving Data Quality in Face-to-Face Survey Research. Political Science and Politics, 53 (1), 46-50. https://doi.org/10.1017/S1049096519001161 ) y requisito esencial para valorar la calidad de una encuesta. Esta calidad está relacionada con los posibles errores que se pueden cometer en cada fase del proceso de investigación (Jedinger y otros, 2018Jedinger, A.; Watteler, O.; Förster, A. (2018). Improving the quality of survey data documentation: A total survey error perspective. Data, 3(4), 1-10. https://doi.org/10.3390/data3040045 ). Como método de investigación, una encuesta está sujeta a distintos tipos de errores, y cada uno de ellos reduce la posibilidad de llegar a conclusiones correctas a partir de los datos recogidos.
Estos errores se pueden clasificar en dos grandes grupos: los debidos a la observación o de medición y los errores debidos a la no observación. Los tres tipos de errores debidos a la no observación son: (1) error de cobertura, (2) error de no respuesta, y (3) error de muestreo. Y las potenciales fuentes de errores de observación: (1) el entrevistador, (2) el encuestado, (3) el cuestionario, y (4) el modo de recolección de datos (Groves, 1987Groves, R. M. (1987). Research on Survey Data Quality. The Public Opinion Quarterly, 51 (Part 2: Supplement: 50th Anniversary Issue), S156-S172. https://doi.org/10.1086/269077 ; Weisberg, 2018Weisberg, H. F. (2018). Total Survey Error. En: Atkeson, L. R.; Michael, A. R. (eds.). The Oxford Handbook of Polling and Survey Methods; pp. 13-27. New York: Oxford University Press.). Los errores de observación y de no observación conforman el error total que se puede cometer en una encuesta (Groves y Lyberg, 2010Groves, R. M.; Lyberg, L. (2010). Total survey error: Past, present, and future. Public Opinion Quarterly, 74 (5), 849-879. https://doi.org/10.1093/poq/nfq065.).
Sin información clara y completa sobre los procedimientos en los que se basan las encuestas, es difícil poder evaluar los posibles errores y la calidad de la investigación, de ahí que se haya destacado la importancia de que los investigadores proporcionen información completa y exhaustiva sobre el diseño de la encuesta, así como sobre el proceso y análisis estadístico de los datos recogidos. La calidad de los datos de una encuesta sigue siendo una preocupación primordial y la calidad de la metodología empleada en estudios de encuestas es esencial tanto para asegurar la fiabilidad y validez de los resultados como para generalizar los resultados a las poblaciones de las que proceden las muestras analizadas.
Cada vez existe un mayor reconocimiento de la importancia de ser transparentes y proporcionar la información necesaria para permitir que la comunidad científica pueda evaluar de manera objetiva e imparcial la validez y utilidad de conclusiones de un estudio. La falta de información compromete tanto la transparencia como la fiabilidad de la investigación (Bennett y otros, 2011Bennett, C.; Khangura, S.; Brehaut, J. C.; Graham, I. D.; Moher, D.; Potter, B. K.; Grimshaw, J. (2011). Reporting guidelines for survey research: An analysis of published guidance and reporting practices. PLoS Medicine, 8 (8), 1-11. https://doi.org/10.1371/journal.pmed.1001069 ). Asimismo, la falta de transparencia obstaculiza el progreso científico y puede llevar a conclusiones erróneas sobre las implicaciones de los resultados de una investigación. Para evitar estos problemas, se han desarrollado diferentes iniciativas con el propósito de mejorar la calidad de la información de los estudios.
La necesidad de divulgar los métodos empleados en una encuesta ha sido promovida por la American Association for Public Opinion Research a través de su Iniciativa de Transparencia (AAPOR, 2015bAmerican Association for Public Opinion Research (AAPOR). (2015b). Transparency Initiative Disclosure Elements. Disponible en: https://www.aapor.org/AAPOR_Main/media/transparency-initiative/Transparency_Initiative_Disclosure_Elements_050115.pdf [Fecha de consulta: 10/03/2020]), y de la publicación reciente de recomendaciones para diseñar y crear una encuesta lo mejor posible (AAPOR, 2020American Association for Public Opinion Research (AAPOR). (2020). Best Practices for Survey Research. Disponible en: https://www.aapor.org/Standards-Ethics/Best-Practices.aspx [Fecha de consulta: 10/03/2020]), complementado con una serie de preguntas que ayudan a evaluar la validez y calidad de los resultados de una encuesta (Baker y otros, 2016Baker, R.; Brick, M.; Keeter, S.; Biemer, P.; Kennedy, C.; Kreuter, F.; Mercer, A.; Terhanian, G. (2016). AAPOR report: Evaluating Survey Quality in Today’s Complex Environment. Disponible en: http://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Reassessing_Survey_Methods_Report_Final.pdf [Fecha de consulta: 10/03/2020]). Otras recomendaciones de interés sobre mejores prácticas en investigación de encuestas son las publicadas en un informe de la National Science Foundation basado en dos conferencias celebradas (Krosnick, y otros, 2015Krosnick, J. A; Presser, S.; Fealing, K. H.; Ruggles, S.; Vannette, D. L. (2015). The Future of Survey Research: Challenges and Opportunities. Arlington, VA: National Science Foundation.).
También se han desarrollado guías con la finalidad de ayudar a los investigadores a que no omitan ningún detalle importante y garantizar una publicación mínimamente adecuada que permita la reproducibilidad (Wharton, 2017Wharton, T. (2017). Rigor, Transparency, and Reporting Social Science Research: Why Guidelines Don’t Have to Kill Your Story. Research on Social Work Practice, 27 (4), 487-493. https://doi.org/10.1177/1049731515622264 ). Son herramientas que indican los criterios que los autores deben informar para que los lectores puedan evaluar de manera crítica la calidad de la investigación (Hui y otros, 2019Hui, W.; Lui, S. M.; Lau, W. K. (2019). A reporting guideline for IS survey research. Decision Support Systems, 126 (May), 113136. https://doi.org/10.1016/j.dss.2019.113136 ). En la investigación con encuestas destacan en el campo de la Medicina las publicadas por Bennett y otros (2011)Bennett, C.; Khangura, S.; Brehaut, J. C.; Graham, I. D.; Moher, D.; Potter, B. K.; Grimshaw, J. (2011). Reporting guidelines for survey research: An analysis of published guidance and reporting practices. PLoS Medicine, 8 (8), 1-11. https://doi.org/10.1371/journal.pmed.1001069 , Grimshaw (2014)Grimshaw, J. (2014). SURGE (The SUrvey Reporting GuidelinE). En: Moher, D.; Altman, D. G.; Schulz, K. F.; Simera, I.; Wager, E.(eds.). Guidelines for Reporting Health Research: A User’s Manual, pp. 206-213. New York: John Wiley & Sons. https://doi.org/10.1002/9781118715598.ch20 , Draugalis y otros (2008)Draugalis, J. L. R.; Coons, S. J.; Plaza, C. M. (2008). Best practices for survey research reports: A synopsis for authors and reviewers. American Journal of Pharmaceutical Education, 72 (1). https://doi.org/10.5688/aj720111 , además de la de Rybakov y otros (2020)Rybakov, K. N.; Beckett, R., Dilley, I.; Sheehan, A. H. (2020). Reporting quality of survey research articles published in the pharmacy literature. Research in Social and Administrative Pharmacy. https://doi.org/10.1016/j.sapharm.2020.01.005 en el área de Farmacia, Hui y otros (2019)Hui, W.; Lui, S. M.; Lau, W. K. (2019). A reporting guideline for IS survey research. Decision Support Systems, 126 (May), 113136. https://doi.org/10.1016/j.dss.2019.113136 en el campo de Sistemas de Información, y Eysenbach (2004)Eysenbach, G. (2004). Improving the quality of web surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES). Journal of Medical Internet Research, 6 (3), 1-6. https://doi.org/10.2196/jmir.6.3.e34 en encuestas web.
Existe mucha literatura sobre cómo diseñar y ejecutar con rigor una investigación con encuestas. Sin embargo, en la práctica, incluso la encuesta de mayor calidad no llega a cumplir con todas los requisitos establecidos en los manuales de diseño de encuestas y recopilación de datos (Dale, 2006Dale, A. (2006). Quality issues with survey research. International Journal of Social Research Methodology: Theory and Practice, 9 (2), 143-158. https://doi.org/10.1080/13645570600595330 ). Mucha investigación con encuestas no se hace bien y, por ello, a menudo tiene una reputación empañada (Totten y otros, 1999Totten, V. Y.; Panacek, E. A.; Price, D. (1999). Basics of research (Part 14) Survey Research Methodology: Designing the survey instrument. Air Medical Journal, 18 (1), 26-34. https://doi.org/10.1016/S1067-991X(99)90006-8 ).
No se han realizado muchos estudios que evalúen la calidad de los informes de investigación de encuestas, pero todos ellos tienen un denominador común: proporcionan insuficiente información para evaluar la calidad de las encuestas; así se ha constatado en el área de Farmacia (Rybakov y otros, 2020Rybakov, K. N.; Beckett, R., Dilley, I.; Sheehan, A. H. (2020). Reporting quality of survey research articles published in the pharmacy literature. Research in Social and Administrative Pharmacy. https://doi.org/10.1016/j.sapharm.2020.01.005 ), en Radiología (Shankar y Maturen, 2019Shankar, P. R.; Maturen, K. E. (2019). Survey Research Reporting in Radiology Publications: A Review of 2017 to 2018. Journal of the American College of Radiology, 16 (10), 1378-1384. https://doi.org/10.1016/j.jacr.2019.07.012 ) y en el campo de la Medicina (Bennett y otros, 2011Bennett, C.; Khangura, S.; Brehaut, J. C.; Graham, I. D.; Moher, D.; Potter, B. K.; Grimshaw, J. (2011). Reporting guidelines for survey research: An analysis of published guidance and reporting practices. PLoS Medicine, 8 (8), 1-11. https://doi.org/10.1371/journal.pmed.1001069 ; Turk y otros, 2018Turk, T.; Elhady, M. T.; Rashed, S.; Abdelkhalek, M.; Nasef, S. A.; Khallaf, A. M; Huy, N. T. (2018). Quality of reporting web-based and non-web-based survey studies: What authors, reviewers and consumers should consider. PLoS One, 13 (6), 1-15. https://doi.org/10.1371/journal.pone.0194239 ).
La encuesta ha sido un método de investigación empleado habitualmente en el área de Biblioteconomía y Documentación (Powell, 1999Powell, R. R. (1999). Recent trends in research: A methodological essay. Library and Information Science Research, 21 (1), 91-119. https://doi.org/10.1016/S0740-8188(99)80007-3 ; Starr, 2012Starr, S. (2012). Survey research: We can do better. Journal of the Medical Library Association, 100 (1), 1-2. https://doi.org/10.3163/1536-5050.100.1.001 ; Hernon y Schwartz, 2000Hernon, P.; Schwartz, C. (2000). Survey research. A time for introspection. Library and Information Science Research, 22 (2), 117-121. https://doi.org/10.1016/S0740-8188(99)00049-3 ), siendo más frecuente en los artículos publicados en las revistas Journal of the Medical Library Association y Bulletin of the Medical Library Association (Gore y otros, 2009Gore, S. A.; Nordberg, J. M.; Palmer, L. A.; Piorun, M. E. (2009). Trends in health sciences library and information science research: An analysis of research publications in the Bulletin of the Medical Library Association and Journal of the Medical Library Association from 1991 to 2007. Journal of the Medical Library Association, 97 (3), 203-211. https://doi.org/10.3163/1536-5050.97.3.009 ), habiéndose confirmado en la actualidad como el método de investigación dominante en Biblioteconomía y Documentación (Ullah y Ameen, 2018Ullah, A.; Ameen, K. (2018). Account of methodologies and methods applied in LIS research: A systematic review. Library and Information Science Research, 40 (1), 53-60. https://doi.org/10.1016/j.lisr.2018.03.002 ). Su empleo en el ámbito bibliotecario permite demostrar científicamente su valor y contribución y proporcionar datos sobre el impacto en sus usuarios (Bertot y Jaeger, 2008Bertot, J. C.; Jaeger, P. T. (2008). Survey research and libraries: Not necessarily like in the textbooks. Library Quarterly, 78 (1), 99-105. https://doi.org/10.1086/523911 ), optando en algunos casos de ellas por incorporar encuestas en sus páginas web de inicio para averiguar las preferencias y medir la satisfacción de sus usuarios (Hernon y Schwartz, 2000Hernon, P.; Schwartz, C. (2000). Survey research. A time for introspection. Library and Information Science Research, 22 (2), 117-121. https://doi.org/10.1016/S0740-8188(99)00049-3 ).
A pesar de su amplio uso, se desconoce en qué medida los académicos en Biblioteconomía y Documentación han seguido unas buenas prácticas en sus investigaciones con encuestas al no existir estudios que evalúen su calidad y rigor metodológico.
2. OBJETIVOS
⌅El objetivo principal consiste en evaluar la información proporcionada en los estudios realizados en el área de la Biblioteconomía y Documentación (en inglés, Library Science, LS) que emplean exclusivamente encuestas como método de investigación cuantitativa. De manera específica, se trata de evaluar la transparencia en la información que se proporciona sobre el diseño y ejecución de la investigación necesaria para garantizar su reproducibilidad, así como para contrastar la validez de sus conclusiones.
3. MÉTODO
⌅Estudio transversal de artículos publicados sobre investigación con encuestas entre el 1 de enero y el 31 de diciembre de 2019 en revistas del área de Biblioteconomía y Documentación incluidas en el Journal Citation Reports, edición 2018.
Fuentes de información y estrategia de búsqueda: Para identificar los artículos se realizó una búsqueda en la colección principal de Web of Science (WoS) con los términos “survey” OR “questionnaire” en el campo Tema (título, abstract, palabras clave de autor y Keyword Plus) en las revistas clasificadas en la categoría Library Science según los estudios de Huang y otros (2019)Huang, M-H; Shaw, W. C.; Lin, C. S. (2019). One category, two communities: subfield differences in “Information Science and Library Science” in Journal Citation Reports. Scientometrics, 119 (2), 1059-1079. https://doi.org/10.1007/s11192-019-03074-3 y Abrizah y otros (2014)Abrizah, A.; Noorhidawati, A.; Zainab, A. N. (2014). LIS journals categorization in the Journal Citation Report: a stated preference study. Scientometrics, 102 (2), 1083-1099. https://doi.org/10.1007/s11192-014-1492-3 . Además, se añadieron las revistas Reference Services Quarterly y Journal of the Australian Library and Information Association, no incluidas en los listados de estos estudios, pero específicas del área LS. Todas las revistas (Anexo 2) se buscaron con el prefijo SO= y se combinaron con el operador OR.
La decisión de utilizar solo revistas del área de Biblioteconomía y Documentación y no todas las clasificadas en la categoría JCR “Information Science and Library Science”, se debe a que este etiquetado tradicional que une la Biblioteconomía y Documentación al campo de las Ciencia de la Información ha sido una decisión problemática, ya que aunque están relacionados no son lo mismo y no deberían ir unidos bajo la misma etiqueta descriptiva. Para Huang y otros (2019)Huang, M-H; Shaw, W. C.; Lin, C. S. (2019). One category, two communities: subfield differences in “Information Science and Library Science” in Journal Citation Reports. Scientometrics, 119 (2), 1059-1079. https://doi.org/10.1007/s11192-019-03074-3 , la categoría Information Science and Library Science en el JCR combina dos campos diferentes, Management Information Systems (MIS) y Library and Information Science (LIS) llegando a identificar hasta cuatro subcampos diferentes: Library Science, Information Science, Scientometrics y Management Information Systems.
La fecha de ejecución de la búsqueda fue el 20 de febrero de 2020, y se actualizó el 16 de marzo para comprobar si se habían introducido nuevos registros en la base de datos que cumplieran con los criterios de búsqueda.
Criterios de inclusión/exclusión: Se definió como criterio de inclusión que las publicaciones fuesen artículos originales y usaran cuestionarios como método de recogida de la colección de datos empleando metodología cuantitativa. Se aplicaron los siguientes criterios de exclusión: artículos con métodos de entrevista semiestructurada, focus groups y otros métodos de investigación cualitativos que emplearan cuestionarios exclusivamente con preguntas abiertas. También se excluyeron artículos no disponibles a texto completo.
Para comprobar que cumplían los criterios de elegibilidad, los autores examinaron el título y resumen de los artículos y, cuando no había suficiente información para tomar una decisión fundamentada, el texto completo.
Extracción de datos: Se desarrolló, por consenso entre los tres autores, un instrumento de evaluación o lista de validación (checklist) basado en los empleados en la literatura científica. Se eligieron únicamente ítems que definen una investigación con encuesta y están relacionados específicamente con el cuestionario. En una primera fase, se seleccionaron 24 ítems procedentes de la guía SURGE (SUrvey Reporting GuidelinE) (Grimshaw, 2014Grimshaw, J. (2014). SURGE (The SUrvey Reporting GuidelinE). En: Moher, D.; Altman, D. G.; Schulz, K. F.; Simera, I.; Wager, E.(eds.). Guidelines for Reporting Health Research: A User’s Manual, pp. 206-213. New York: John Wiley & Sons. https://doi.org/10.1002/9781118715598.ch20 ) y de las empleadas en los estudios de Bennet y otros (2011)Bennett, C.; Khangura, S.; Brehaut, J. C.; Graham, I. D.; Moher, D.; Potter, B. K.; Grimshaw, J. (2011). Reporting guidelines for survey research: An analysis of published guidance and reporting practices. PLoS Medicine, 8 (8), 1-11. https://doi.org/10.1371/journal.pmed.1001069 y Rybakov y otros (2020)Rybakov, K. N.; Beckett, R., Dilley, I.; Sheehan, A. H. (2020). Reporting quality of survey research articles published in the pharmacy literature. Research in Social and Administrative Pharmacy. https://doi.org/10.1016/j.sapharm.2020.01.005 . En una segunda fase, se revisaron las 10 preguntas relacionadas con las mejores prácticas para las encuestas de la American Association for Public Opinion Research (AAPOR, 2020American Association for Public Opinion Research (AAPOR). (2020). Best Practices for Survey Research. Disponible en: https://www.aapor.org/Standards-Ethics/Best-Practices.aspx [Fecha de consulta: 10/03/2020]) y se añadieron 5 ítems. En la tercera y última fase, se revisó la Checklist for Reporting Results of Internet E-Surveys-CHERRIES (Eysenbach, 2004Eysenbach, G. (2004). Improving the quality of web surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES). Journal of Medical Internet Research, 6 (3), 1-6. https://doi.org/10.2196/jmir.6.3.e34 ) de la que se seleccionaron otros 3 ítems.
Se excluyeron de estas guías todos aquellos ítems presentes en el título, resumen e introducción relacionados con los objetivos o contexto del estudio, y los que hacen referencia a la presentación completa y adecuada de los resultados, ya que estos apartados son comunes a otros tipos de estudios científicos y se presupone que en los artículos evaluados por pares deberían estar siempre presentes. También se eliminaron otros ítems como la declaración de espónsor o financiación del estudio.
El instrumento quedó integrado finalmente por 32 ítems, codificados según se muestra en el Anexo 1 y agrupados en categorías que reflejan las etapas necesarias en el diseño y ejecución de una encuesta científica: a) población diana y muestra; b) desarrollo de un cuestionario válido y fiable; c) administración y distribución del cuestionario; y d) proceso de datos y análisis de resultados. Además, contiene ítems relacionados con aspectos éticos como consentimiento informado, anonimato y confidencialidad.
Los tres autores evaluaron de manera independiente el texto completo del conjunto final de estudios incluidos (n=181); dudas sobre la codificación se resolvieron por consenso.
Análisis estadístico de los datos: Los datos se recogieron y procesaron con el paquete estadístico SPSS v.22. Los resultados se resumieron con estadísticos descriptivos, presentando el número y porcentaje de artículos que cumplían con cada ítem.
4. RESULTADOS
⌅La estrategia de búsqueda recuperó 243 publicaciones. En un primer paso se excluyeron 4 que eran revisiones de libros y 9 artículos de los que no se pudo conseguir el texto completo. De los 230 artículos que quedaron, se excluyeron 49 que no cumplían los criterios de inclusión, bien porque no empleaban el cuestionario como técnica de recolección de datos (en estos artículos se empleaba el término de búsqueda “survey” entendido como estudio, examen, revisión o análisis) o utilizaban técnicas de metodología cualitativa (entrevistas, análisis de contenido en cuestionarios que contenían exclusivamente preguntas abiertas); se excluyó también un artículo que no empleaba datos primarios sino procedentes de encuestas nacionales, y otro que era una revisión sistemática de estudios de encuestas. Finalmente, quedaron 181 artículos que cumplían los criterios de inclusión (Figura 1).
La distribución del número de artículos evaluados en cada revista se muestra en el Anexo 2. De las 37 revistas que pertenecen a LS, 22 revistas contienen artículos evaluados, destacando Journal of Librarianship and Information Science con 45 artículos; 3 revistas han publicado artículos que emplean metodología de encuestas, pero se han excluido por no poder acceder al texto completo: Libri, Serials Review y Journal of the Australian Library and Information Association. En 2 revistas los artículos publicados no emplean el término “survey” entendido como encuesta, y en 12 revistas no se han publicado artículos sobre cuestionarios o encuestas en el año 2019.
En la tabla I se presenta el porcentaje de artículos que cumple con cada uno de los elementos listados en el instrumento de evaluación. De aquellos en los que se evalúa su presencia o ausencia, el mayor grado de cumplimiento se da en los siguientes: definición de la población diana y, en los artículos que utilizan un cuestionario existente, todos hacen referencia al trabajo original.
| Si n (%) | No n (%) | |||
|---|---|---|---|---|
| Población y muestra | ||||
| 1 | Se define con precisión qué elementos forman parte de la población diana | 153 (84,5%) | 28 (15,5%) | |
| 2 | Se describe el marco muestral | 72 (39,8%) | 109 (60,2% | |
| 3 | Método de selección de la muestra (tipo de muestreo) | |||
| Probabilístico | 15 (8,3%) | |||
| No probabilístico | 64 (35,3%) | |||
| Probabilístico y no probabilístico | 1 (0,6%) | |||
| No consta | 101 (55,8%) | |||
| 4 | Se describe el proceso de cálculo o justificación del tamaño muestral (generalización de resultados o comparación de grupos) | 9 (5,0%) | 172 (95,0%) | |
| Diseño y desarrollo del cuestionario | ||||
| 5 | Tipo de herramienta | |||
| Nueva | 156 (86,2%) | |||
| Adaptada | 17 (9,4%) | |||
| Existente | 8 (4,4%) | |||
| 6 | Se presenta el cuestionario completo o las principales preguntas | 61 (33,7%) | 120 (66,3%) | |
| 7 | Para herramientas existentes, se presentan las propiedades psicométricas | 4 (50%) | 4 (50%) | |
| 8 | Para herramientas existentes, hay referencias al trabajo original | 8 (100%) | ||
| 9 | Para herramientas nuevas o adaptadas, se informa de su desarrollo o que se ha hecho prueba piloto o pre-test | 39 (22,5%) | 134 (77,5%) | |
| 10 | Para herramientas nuevas o adaptadas, se ha valorado la fiabilidad | 36 (20,8%) | 137 (79,2%) | |
| 11 | Para herramientas nuevas o adaptadas, se ha valorado la validez | 26 (15,0%) | 147 (85,0%) | |
| 12 | Se proporciona un libro de códigos | 2 (1,1%) | 179 (98,9%) | |
| Administración del cuestionario | ||||
| 13 | Modo de administración | |||
| Autoadministrado por email/web | 120 (66,3%) | |||
| Autoadministrado en persona en papel | 15 (8,3%) | |||
| Entrevista personal (cara a cara) | 2 (1,1%) | |||
| Entrevista asistida por ordenador | 1 (0,6%) | |||
| Entrevista asistida por teléfono | 0 (0,0%) | |||
| Modo mixto | 2 (1,1%) | |||
| No declarado | 31 (17,1%) | |||
| Autoadministrado por web/email y en papel | 9 (5,0%) | |||
| Entrevista personal, asistida por ordenador y por teléfono | 1 (0,6%) | |||
| 14 | Se indica el lugar y/o fecha de administración | 108 (59,7%) | 73 (40,3%) | |
| 15 | Información sobre método de contacto (email, carta) y nº de contactos (recordatorios) | |||
| Tipo y número | 23 (12,7%) | |||
| Solo tipo | 51 (28,2%) | |||
| Ninguna información | 107 (59,1%) | |||
| 16 | Se proporciona información sobre el estudio, instrucciones u otro material a los encuestados | 14 (7,7%) | 167 (92,3%) | |
| 17 | Información sobre si había o no incentivos para aumentar la tasa de respuesta | 17 (9,4%) | 164 (90,6%) | |
| Proceso de datos y resultados | ||||
| 18 | Se indica el programa o herramienta empleada para introducir los datos | 65 (35,9%) | 116 (64,1%) | |
| 19 | Se describe el procedimiento empleado para verificar la calidad de los datos | 5 (2,8%) | 176 (97,2%) | |
| 20 | Se indica el método para tratar los datos perdidos | 4 (2,2%) | 177 (97,8%) | |
| 21 | Se describe el método y tests estadísticos utilizados para el análisis de datos | 90 (49,7%) | 91 (50,3%) | |
| 22 | Se indica la tasa de respuesta | 83 (45,9%) | 98 (54,1%) | |
| 23 | Se proporciona el método para calcular la tasa de respuesta | 28 (15,5%) | 153 (84,5%) | |
| 24 | Se proporciona el método para el análisis del error de no respuesta | 181 (100%) | ||
| 25 | Hay información sobre cómo difieren los que han respondido de los que no | 181 (100%) | ||
| 26 | Se informa del número de cuestionarios incompletos | 24 (13,3%) | 157 (86,7%) | |
| 27 | Se exponen las limitaciones del estudio | 94 (51,9%) | 87 (48,1%) | |
| 28 | Se discute la generalización de los resultados | 53 (29,3%) | 128 (70,7%) | |
| Aspectos éticos | ||||
| 29 | Se ha aprobado por un comité de ética o de revisión institucional | 20 (11,0%) | 161 (89,0%) | |
| 30 | Existe un procedimiento de consentimiento informado | 14 (7,7%) | 167 (92,3%) | |
| 31 | Se informa de que el cuestionario es anónimo y/o confidencial | 43 (23,8%) | 138 (76,2%) | |
| 32 | Se describe cómo se ha garantizado la confidencialidad/privacidad de los datos | 9 (5,0%) | 172 (95,0%) | |
Cabe destacar que existe una deficiente información en muchos artículos. Así, más del 75% de los artículos carecen de información en 17 de los elementos evaluados. Aquellos que faltan en más del 95% de los artículos son los siguientes: no se describe el proceso de cálculo o se justifica el tamaño de la muestra, no se proporciona un libro de códigos, no se describe el procedimiento empleado para verificar la calidad de los datos, no se indica el método para tratar los datos perdidos, o no se describe cómo se ha garantizado la confidencialidad o privacidad de los datos. En ninguno de los artículos se proporciona información sobre el método para el análisis del error de no respuesta, o cómo difieren los que han contestado de los que no lo han hecho.
En cuanto al tipo de muestreo utilizado, predomina el no probabilístico frente al probabilístico, si bien no consta en más de la mitad de los artículos. En 15 artículos (8,9%) se emplea una muestra probabilística y en 64 (35,3%) una muestra no probabilística, de los que 17 (9,4%) usan una muestra de conveniencia, en 13 (7,2%) utilizan una muestra de voluntarios, en 10 (5,5%) una muestra intencional, en 2 artículos emplean el muestreo de bola de nieve, en otros 2 el de cuotas, y en 1 combinan la muestra de conveniencia y de bola de nieve. En 1 artículo se utilizan dos poblaciones, seleccionando una muestra probabilística en una población y una muestra no probabilística en la otra población. En 19 artículos solo se indica que es no probabilístico.
En los artículos que emplean cuestionarios creados de novo o adaptados, solo en 36 (20,8%) consta que se ha evaluado la fiabilidad, la mayoría de ellos (33) con el test de consistencia interna (alfa de Cronbach), en 1 artículo con el test-retest, y en 2 artículos se ha hecho tanto el test-retest como el test de consistencia interna. Solo 26 artículos han validado el cuestionario, en 14 de ellos la validez de constructo, en 6 la validez de contenido, en 2 artículos la validez aparente, y en 4 tanto la validez de contenido como la de constructo.
El modo de administración más frecuente es directamente a través de la web o de correo electrónico (invitación enviada a servidores de listas) con un enlace al cuestionario.
Aunque muchos artículos no declaraban explícitamente el método o programa empleado para introducir los datos; se contabilizaron todos aquellos que indicaban que el cuestionario se distribuía a través de Qualtrics o Google Forms.
De los 4 artículos que indicaban que se tenían en cuenta los datos perdidos en el análisis de datos, en uno de ellos se calculaba la tasa de respuesta en cada ítem y en otro se empleaba el método de regresión de mínimos cuadrados con 5 imputaciones; en los otros dos, solo se indicaba que se tenían en cuenta los datos perdidos en los porcentajes calculados.
Poco más de la mitad de los artículos describen las limitaciones del estudio, y la mayoría (70,7%) no incluye ninguna discusión sobre la generalización de los resultados. En cuanto a los indicadores relacionados con la ética, en todos ellos hay un muy deficiente registro siendo el que mayor porcentaje obtiene la información sobre el anonimato o confidencialidad de las encuestas.
5. DISCUSIÓN
⌅Las encuestas son un método de investigación frecuente en las revistas especializadas en LS en el Journal Citation Reports; durante el año 2019, las dos terceras partes de las publicaciones del alcance de nuestro objeto de estudio han publicado artículos basados en investigaciones con encuestas. Sin embargo, en este estudio se han detectado deficiencias importantes en muchos de los aspectos evaluados y recomendados por la AAPOR y en las guías de información SURGE, CHERRIES y de los autores en las que se basa nuestro instrumento de evaluación.
En cualquier estudio, los investigadores deben cumplir con la norma científica de reproducibilidad, y ello exige que se detalle de manera completa y precisa el método empleado en una encuesta, lo que aumenta la credibilidad del estudio. Por el contrario, la falta de información implica desconocimiento sobre la ejecución de cada una de las etapas necesarias y no permite evaluar la precisión o sesgo de los resultados y, en consecuencia, la validez de sus conclusiones.
A continuación, se analizan y discuten los elementos de información evaluados en este estudio, haciendo hincapié en su utilidad para la replicabilidad y en su influencia a la hora de poder identificar y valorar los distintos tipos de errores que se pueden cometer en los estudios con encuestas, así como su repercusión en los resultados.
También se comparan nuestros resultados con los obtenidos por Bennet y otros (2011)Bennett, C.; Khangura, S.; Brehaut, J. C.; Graham, I. D.; Moher, D.; Potter, B. K.; Grimshaw, J. (2011). Reporting guidelines for survey research: An analysis of published guidance and reporting practices. PLoS Medicine, 8 (8), 1-11. https://doi.org/10.1371/journal.pmed.1001069 , Turk y otros (2018)Turk, T.; Elhady, M. T.; Rashed, S.; Abdelkhalek, M.; Nasef, S. A.; Khallaf, A. M; Huy, N. T. (2018). Quality of reporting web-based and non-web-based survey studies: What authors, reviewers and consumers should consider. PLoS One, 13 (6), 1-15. https://doi.org/10.1371/journal.pone.0194239 , y Rybakov y otros (2020)Rybakov, K. N.; Beckett, R., Dilley, I.; Sheehan, A. H. (2020). Reporting quality of survey research articles published in the pharmacy literature. Research in Social and Administrative Pharmacy. https://doi.org/10.1016/j.sapharm.2020.01.005 , los únicos encontrados en la literatura que han aplicado instrumentos de evaluación similares, los dos primeros en el ámbito de la Medicina y el tercero en Farmacia. Hay que resaltar que en muchos ítems hay una amplia variación entre los resultados obtenidos en nuestro estudio y en los tres restantes, principalmente con los de Turk y Rybakov. Posibles razones que puedan justificar estas diferencias son que en el área de Medicina y de Farmacia hay publicadas guías específicas sobre la información que debe describirse en estudios realizados con encuestas; también puede ser debido a que la política de las revistas en estos campos de conocimiento puede ser diferente en el proceso de evaluación a la hora de exigir determinada información; y por último, el estudio de Bennet se realizó en 2011, lapso de tiempo suficientemente largo para que los autores hayan mejorado la información en sus estudios.
Población y muestra: En cualquier investigación mediante encuestas lo primero que hay que hacer es definir de manera clara la población objeto de estudio y, posteriormente, describir el marco muestral y el procedimiento de muestreo, si es probabilístico o no probabilístico. Además, hay que explicar cómo se ha calculado el tamaño de la muestra, especialmente importante cuando el propósito del estudio es describir las características de la población o contrastar diferencias en determinadas variables de interés entre subgrupos de la población. Todos estos datos pueden ayudar a determinar si la muestra es representativa o no, y si los resultados se pueden generalizar a toda la población.
Información sobre los ítems de este apartado permitirá conocer el error de cobertura y el error de muestreo. El error de cobertura ocurre cuando el marco muestral no incluye todos los elementos de la población; si falta esta información, se desconoce si la muestra es representativa o no de la población. El error de muestreo o aleatorio es la discrepancia entre el verdadero valor del parámetro poblacional y el valor del estadístico en la muestra; ocurre siempre que se trabaja con muestras seleccionadas al azar y es un error que establece el investigador a priori cuando estima el número de individuos necesario para realizar el estudio; siempre que se emplean muestras probabilísticas se debería informar sobre el procedimiento de cálculo del tamaño muestral y el error de muestreo prefijado.
Nuestros resultados se aproximan más a los obtenidos por Bennet y son más deficientes que los de Turk y Rybakov. Revelan que en la mayoría de los estudios evaluados se describen las características sociodemográficas de los individuos que conforman la población diana, pero en más de la mitad de los estudios no se describe el marco muestral y en un 43,6% no consta la modalidad de muestreo empleada; solo en un 5% se describe el proceso de cálculo o se justifica el tamaño de la muestra, porcentaje menor que el de muestras probabilísticas, lo que evidencia que en varias de ellas no se indica el error aleatorio. Las deficiencias de información en estos ítems son frecuentes en encuestas web que habitualmente usan muestras no probabilísticas, que típicamente carecen de una definición de la población diana y de un marco muestral (Jedinger y otros, 2018Jedinger, A.; Watteler, O.; Förster, A. (2018). Improving the quality of survey data documentation: A total survey error perspective. Data, 3(4), 1-10. https://doi.org/10.3390/data3040045 ), salvo que se utilicen paneles de Internet.
En los otros estudios no se recoge si el tipo de muestreo es no probabilístico, tan solo si la muestra es representativa. Hemos asumido en tales casos que la muestra es probabilística.
Diseño y desarrollo del cuestionario: El cuestionario es el instrumento formado por las preguntas mediante las que se van a obtener los datos necesarios para llevar a cabo el estudio, por lo que todos los aspectos relacionados con su diseño y desarrollo son esenciales. Aunque se considera importante la evidencia que sustenta el contenido de un cuestionario, particularmente durante la fase de desarrollo, no se suele proporcionar tal información y lo que es peor, las respuestas y sus consecuencias en las encuestas son omitidas en la práctica de validación (Menold y otros, 2018Menold, N.; Bluemke, M.; Hubley, A. M. (2018). Validity: Challenges in Conception, Methods, and Interpretation in Survey Research. Methodology, 14 (4), 143-145. https://doi.org/10.1027/1614-2241/a000159 ).
No siempre es necesario desarrollar un instrumento nuevo. Existen instrumentos ya validados que pueden ser utilizados directamente, pero la gran mayoría de las ocasiones, como así se revela en la tabla II, se emplea un cuestionario nuevo o adaptado.
|
|
| |||
|---|---|---|---|---|---|
| Población y muestra | |||||
| Se define con precisión la población diana | 40,2% | 88% | 92% | 84,5% | |
| Se describe el marco muestral | 57,2% | 85% | 97% | 39,8% | |
| Método de selección de la muestra (tipo de muestreo) | |||||
| Probabilístico | 11% | 43% | 43% | 8,3% | |
| No probabilístico | 35,3% | ||||
| No consta | 55,8% | ||||
| Se describe el proceso de cálculo o justificación del tamaño muestral | 6% | 37% | 53% | 5,0% | |
| Diseño y desarrollo del cuestionario | |||||
| Tipo de herramienta | |||||
| Nueva | 94% | 93% | 95,6%% | ||
| Existente | 6% | 7% | 4,4% | ||
| Se presenta el cuestionario completo o las principales preguntas | 35% | 49% | 26% | 33,7% | |
| En herramientas existentes, se presentan las propiedades psicométricas | 23% | 64% | 14% | 50% | |
| En herramientas existentes, hay referencias al trabajo original | 96% | 73% | 100% | 100% | |
| En herramientas nuevas, se informa de su desarrollo o pre-test | 18% | 42,8% | 44% | 22,5% | |
| En herramientas nuevas, se ha valorado la fiabilidad | 12,7% | 8,5% | 20% | 20,8% | |
| En herramientas nuevas, se ha valorado la validez | 10% | 25,7% | 39% | 15,0% | |
| Se proporciona un libro de códigos | 1,1% | ||||
La descripción del contenido del cuestionario o su presentación completa como anexo al final de un estudio, junto con el esquema de codificación empleado, facilita la evaluación y reproducción de un estudio, además de ayudar a otros investigadores a utilizarlo, adaptarlo u orientarles en el desarrollo de un nuevo cuestionario. A pesar de su importancia, los resultados de todos los estudios coinciden en que se incluye solo en menos de la mitad de los artículos.
El diseño del cuestionario es clave para el éxito de la investigación. Un cuestionario mal diseñado con preguntas que no reflejan con precisión el tema de interés, mal redactadas, ambiguas, no se entiende bien el significado o las opciones de respuestas no están claras, puede producir errores de medición. Este tipo de errores habitualmente permanecen ocultos en los datos y no se identifican salvo que se repita el proceso de medición o se comparen las respuestas con un patrón de referencia o gold-estándar (Biemer, 2009Biemer, P. (2009). Measurement errors in sample surveys. En: Rao, C. R. (ed). Handbook of Statistics. Sample Surveys: Design, Methods and Applications. Volume 29, Part A, pp. 281-315. Amsterdam: Elsevier. https://doi.org/10.1016/S0169-7161(08)00012-6 ).
Si se ha realizado una prueba piloto o pre-test, hay que documentar en qué ha consistido y cómo ha afectado a posibles cambios en el cuestionario. La prueba piloto tiene gran valor al permitir identificar defectos en la preguntas, en definitiva, un mal diseño del cuestionario. Un cuestionario bien diseñado es más probable que sea completado por los encuestados, con lo que se reduce el riesgo de error de no respuesta y se mejora la tasa de respuesta.
Aunque no todas las encuestas requieren que se compruebe su validez y fiabilidad, sí es importante en aquellas diseñadas para medir o describir constructos (por ejemplo, satisfacción, calidad, etc.) y asegurar que las preguntas realmente miden aquello para lo que han sido diseñadas (validez interna) y que se obtienen los mismos resultados en los individuos en repetidas ocasiones o en muestras diferentes de la misma población (fiabilidad) (Hernon y Schwartz, 2009Hernon, P.; Schwartz, C. (2009). Reliability and validity. Library and Information Science Research, 31 (2), 73-74. https://doi.org/10.1016/j.lisr.2009.03.001 ). En estos casos se debería incluir una descripción completa de su desarrollo y test (cómo se han seleccionado los ítems, elección de las opciones de respuesta o escalas, propiedades psicométricas y prueba piloto), lo que contribuirá a mejorar la credibilidad de las encuestas.
Los resultados obtenidos en todos los estudios coinciden en que son áreas de mejora las relacionadas con la validez y fiabilidad del cuestionario, así como la descripción de los procedimientos utilizados en el pre-test, prueba que se ha realizado en casi la cuarta parte de los artículos. Un instrumento bien diseñado, válido, fiable y en el que se ha realizado una prueba piloto, ayuda a reducir el error de medición y el error de no respuesta.
Administración del cuestionario: Uno de los aspectos metodológicos más importantes antes de comenzar la colección de datos es el método de administración del cuestionario (Turk y otros, 2018Turk, T.; Elhady, M. T.; Rashed, S.; Abdelkhalek, M.; Nasef, S. A.; Khallaf, A. M; Huy, N. T. (2018). Quality of reporting web-based and non-web-based survey studies: What authors, reviewers and consumers should consider. PLoS One, 13 (6), 1-15. https://doi.org/10.1371/journal.pone.0194239 ). Consideramos que es una deficiencia grave no indicar algo tan sencillo como la forma de administración del cuestionario, y en el ámbito de nuestra investigación, no se declara en el 17,1% de los estudios.
Existen diferentes formas de administrar la encuesta, siendo el tipo más común en el área de Biblioteconomía y Documentación la encuesta auto-administrada debido a su economía y eficiencia (Janes, 2001Janes, J. (2001). Survey research design. Library Hi Tech, 19 (4), 419-421. https://doi.org/10.1108/EUM0000000006543 ). Así, el modo de administración más frecuente es a través de la web o por correo electrónico (66,3%), siendo el correo electrónico, con un enlace a la encuesta web, el medio de contacto con los individuos. Este tipo de encuestas llevadas a cabo en muestras no probabilísticas son las más coste-eficaces, ya que permiten alcanzar a un mayor número de participantes de manera simple, rápida y barata (Kalton, 2019Kalton, G. (2019). Developments in Survey Research over the Past 60 Years: A Personal Perspective. International Statistical Review, 87 (S1), S10-S30. https://doi.org/10.1111/insr.12287 ), pero tienen tendencia a introducir un sesgo en la muestra (error de cobertura) ya que los encuestados suelen ser voluntarios o autoseleccionados y su opinión puede ser diferente de aquellos que rehúsan, no tienen interés o no tienen acceso a Internet (Bethlehem, 2010Bethlehem, J. (2010). Selection bias in web surveys. International Statistical Review, 78 (2), 161-188. https://doi.org/10.1111/j.1751-5823.2010.00112.x ).
Información sobre cómo fueron invitados los encuestados y número de recordatorios puede ayudar a saber si se han hecho suficientes esfuerzos para maximizar la tasa de respuesta y, por tanto, si ha influido en la reducción del error de cobertura al aumentar el tamaño de la muestra, al mismo tiempo que puede alertar de un probable sesgo de no respuesta en los resultados de la encuesta. En el 60% de los artículos no se proporciona ninguna información sobre el tipo y/o número de contactos con los individuos, porcentaje algo más elevado que en el resto de los estudios.
Una breve introducción o protocolo de presentación escrito de manera profesional y explicando los objetivos, enfoque, utilidad y beneficios del estudio es también muy importante para animar a participar en la encuesta y, en consecuencia, aumentar la tasa de respuesta (Story y Tait, 2019Story, D. A.; Tait, A. R. (2019). Survey Research. Anesthesiology, 130 (2), 192-202. https://doi.org/10.1097/ALN.0000000000002989 ). También es importante incluir información sobre instrucciones, que deberán ser claras y simples, tanto a entrevistadores como a encuestados, sobre todo cuando los cuestionarios son autoadministrados (Dillman y otros, 2007Dillman, D. A.; Smyth, J. D.; Crhistian, L. M. (2007). Internet, Phone, Mail and Mixed-Mode Surveys: The tailored design method (4th edition). New Jersey: John Wiley & Sons. ). Instrucciones poco claras, así como formación deficiente de los entrevistadores a la hora de formular las preguntas, pueden sesgar sistemáticamente las respuestas del encuestado y afectar al error de medición.
Siempre que se trabaja con muestras es importante conseguir unas tasas de respuesta altas, y la existencia de incentivos para responder puede ayudar a maximizar la tasa de respuesta y minimizar el error de no respuesta. En este caso, la no respuesta se produce porque el individuo (elemento de la muestra) no es localizado o no tiene suficiente interés en contestar la encuesta, y ello provoca que los encuestados no representen a la población y no se puedan generalizar los resultados, pudiendo afectar seriamente a la validez externa de las conclusiones. El porcentaje de artículos que dan información sobre el uso de incentivos es muy bajo en todos los estudios.
Proceso de datos y resultados: La investigación realizada con encuestas debe cumplir con unos niveles mínimos de rigor científico, especialmente en lo concerniente a la transparencia de la tasa de respuesta y la representatividad y generalización de los resultados del estudio. Tres aspectos son fundamentales para conseguir una mejora en la calidad de los datos recogidos en una encuesta: la tasa de respuesta, la representatividad de la muestra y la tasa de preguntas completadas (Olsen y otros, 2012Olsen, F.; Abelsen, B.; Olsen, J. A. (2012). Improving response rate and quality of survey data with a scratch lottery ticket incentive. BMC Medical Research Methodology, 12, 2-7. https://doi.org/10.1186/1471-2288-12-52 ).
La tasa de respuesta suele ser lo primero que los revisores y lectores buscan en el abstract de un artículo (Chung, 2014Chung, K. C. (2014). Survey response rate, a guide for readers and authors. Journal of Hand Surgery, 39 (3), 421-422. https://doi.org/10.1016/j.jhsa.2013.11.007 ), por lo que siempre se debería proporcionar este dato para conocer el alcance o extensión del marco muestral encuestado. Debido a que hay varios métodos para calcular la tasa de respuesta, hay que informar siempre cómo se ha calculado. En nuestro estudio, la tasa de respuesta solo se indica en el 45,9% de los artículos evaluados, porcentaje algo más elevado que el 40% registrado en revistas de Sociología y Ciencia Política (Smith, 2002Smith, T. W. (2002). Reporting Survey Nonresponse in Academic Journals. International Journal of Public Opinion Research, 14 (4), 469-474. https://doi.org/10.1093/ijpor/14.4.469 ) pero más bajo que en los estudios contemplados en la tabla III; la amplia variación observada en los diferentes estudios sobre la tasa de respuesta y la descripción del método para calcularla puede ser debida a un reflejo histórico sobre la falta de consenso y la existencia de diferentes fórmulas para calcularla, y/o a que las revistas carecen de una política editorial explícita para exigir que se informe sobre ella y se basan en la experiencia de los evaluadores para determinar si esa información es necesaria (Johnson y Owens, 2004Johnson, T.; Owens, L. (2004). Survey response rate reporting in the professional literature. En: 2003 Proceedings of the Section on Survey Research Methods, pp. 127-133. Alexandria: American Statistical Association. ).
|
|
| |||
|---|---|---|---|---|---|
| Administración del cuestionario | |||||
| Modo de administración | |||||
| Autoadministrado por email/web | 57% | 17% | 51% | 66,3% | |
| Autoadministrado en papel | 11% | 43% | 30% | 8,3% | |
| Modo mixto | 12% | 15% | 9% | 1,1% | |
| No declarado | 20% | 19% | 11% | 17,1% | |
| Se indica el lugar y/o fecha de administración | 59,7% | ||||
| Información sobre tipo de contacto y número de contactos | |||||
| Tipo y número | 52% | 18% | 33% | 12,7% | |
| Solo tipo | 13% | 33% | 28% | 28,2% | |
| Ninguna información | 35% | 49% | 39% | 59,1% | |
| Se proporciona información sobre el objetivo del estudio, instrucciones u otro material a los encuestados | 7,7% | ||||
| Información sobre si había o no incentivos para aumentar la tasa de respuesta | 23% | 21% | 30% | 9,4% | |
| Proceso de datos y resultados | |||||
| Se indica el programa o herramienta empleada para introducir los datos | 35,9% | ||||
| Se describe el procedimiento empleado para verificar la calidad de los datos | 2,8% | ||||
| Se indica el método para tratar los datos perdidos | 11% | 21% | 19% | 2,2% | |
| Se describe el método y tests estadísticos utilizados para el análisis de datos | 90% | 94% | 94% | 49,7% | |
| Se indica la tasa de respuesta | 76% | 60% | 90% | 45,9% | |
| Se proporciona el método para calcular la tasa de respuesta | 4% | 32% | 88% | 15,5% | |
| Se proporciona el método para el análisis del error de no respuesta | 13% | 13% | 8% | 0% | |
| Hay información sobre cómo difieren los que han respondido de los que no | 31% | 19% | 14% | 0% | |
| Se informa del número de cuestionarios incompletos | 4% | 11% | 8% | 13,3% | |
| Se exponen las limitaciones del estudio | 94% | 75% | 92% | 51,9% | |
| Se discute la generalización de los resultados | 40% | 35% | 68% | 29,3% | |
| Ética | |||||
| Se ha aprobado por un comité de ética o de revisión institucional | 59% | 67% | 89% | 11,0% | |
| Existe un procedimiento de consentimiento informado | 25% | 49% | 25% | 7,7% | |
| Se informa de que el cuestionario es anónimo y/o confidencial | 23,8% | ||||
| Se describe cómo se ha garantizado la confidencialidad/privacidad de datos | 5,0% | ||||
La tasa de respuesta puede afectar al error de no respuesta; cuanto más baja sea la tasa de respuesta, más alto será el sesgo de respuesta o el error de no-respuesta. Este puede producirse a nivel de unidad o a nivel de ítem. El error de no respuesta a nivel de unidad se produce cuando no se recogen datos de todos los individuos que conforman la muestra y cuando los que responden son diferentes de los que no lo hacen y, por tanto, no representan la opinión de toda la población. El error de no respuesta a nivel de ítem se produce cuando los individuos no contestan alguna(s) de las preguntas. El aumento en errores de cobertura y de no respuesta, tanto a nivel individual como de ítem, puede deberse a la presencia de temas sensibles en las preguntas del cuestionario (Plutzer, 2019Plutzer, E. (2019). Privacy, Sensitive Questions, and Informed Consent. Public Opinion Quarterly, 83 (S1), 169-184. https://doi.org/10.1093/poq/nfz017 ).
La tasa de respuesta es un indicador importante de la calidad de una encuesta, pero ha ido disminuyendo de manera constante a lo largo del tiempo conforme las encuestas se han enviado a través de la web o del correo electrónico. Conseguir una tasa alta de respuesta es necesario, pero no suficiente; es más importante que la muestra represente a la población que la tasa de respuesta absoluta; es decir, el objetivo es minimizar el error de no respuesta, aunque tasas altas de respuesta reducen el riesgo de error de no-respuesta (Marcopulos y otros, 2020Marcopulos, B. A.; Guterbock, T. M.; Matusz, E. F. (2020). Survey research in neuropsychology: A systematic review. Clinical Neuropsychologist, 34 (1), 32-55. https://doi.org/10.1080/13854046.2019.1590643 ).
No siempre es posible calcular la tasa de respuesta; en muestras no probabilísticas no se puede conocer ya que se desconoce el denominador (todas las unidades de la muestra). Siguiendo a Baker y otros (2016)Baker, R.; Brick, M.; Keeter, S.; Biemer, P.; Kennedy, C.; Kreuter, F.; Mercer, A.; Terhanian, G. (2016). AAPOR report: Evaluating Survey Quality in Today’s Complex Environment. Disponible en: http://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Reassessing_Survey_Methods_Report_Final.pdf [Fecha de consulta: 10/03/2020] y la norma ISO 20252:2019 (ISO, 2019)ISO. (2019). ISO 20252:2019 Investigación de mercado, de opinión y social, incluidos los conocimientos y el análisis de datos - Vocabulario y requisitos de servicio. Madrid: Asociación Española de Normalización., se recomienda llamar a esta tasa “tasa de participación”, que se define como el número de encuestados que han contestado dividido por el número total de personas invitadas inicialmente a participar.
El análisis de no respuesta puede ser complicado de hacer por la falta de información de los que no responden, siendo más fácil de hacer cuando la muestra es finita y fácilmente accesible. Además de informar sobre el marco muestral, el método de selección de los participantes y la tasa de respuesta, los investigadores deberían incluir información sobre análisis de la no respuesta, sobre todo de la diferencia que existe en variables clave entre los que han respondido y los que no (Chung, 2014Chung, K. C. (2014). Survey response rate, a guide for readers and authors. Journal of Hand Surgery, 39 (3), 421-422. https://doi.org/10.1016/j.jhsa.2013.11.007 ). Esta posible diferencia puede estimarse seleccionando una muestra de no encuestados - que no han contestado, (u obteniendo datos de ellos a través de fuentes secundarias) y comparar las características importantes con los que han contestado.
En toda investigación con encuestas se debe informar sobre el análisis de no respuesta (Werner y otros, 2007Werner, S.; Praxedes, M.; Kim, H. G. (2007). The reporting of nonresponse analyses in survey research. Organizational Research Methods, 10 (2), 287-295. https://doi.org/10.1177/1094428106292892 ), y en ninguno de los estudios evaluados se hace referencia a ello ni a cómo difieren los que han contestado de los que no. Esta falta de información no permite valorar la representatividad de la muestra.
Cuestionarios incompletos se producen cuando los encuestados evitan responder a ciertas preguntas (por ejemplo, temas sensibles como el sexo o comportamientos ilegales), afectando en este caso al error de no respuesta a nivel de ítem (Rao y Fuller, 2017Rao, J. N. K.; Fuller, W. A. (2017). Sample survey theory and methods: Past, present, and future directions. Survey Methodology, 43 (2), 145-160.). Es un dato íntimamente relacionado con el tratamiento de los datos perdidos, información que puede ayudar a los lectores a comprender mejor los datos presentados y su análisis. Los datos perdidos son de capital importancia en todas las encuestas, ya que ignorarlos puede llevar a sesgos importantes en las estimaciones de los resultados (Brick y Kalton, 1996Brick, J. M.; Kalton, G. (1996). Handling missing data in survey research. Statistical Methods in Medical Research, 5 (3), 215-238. https://doi.org/10.1177/096228029600500302 ). Debido a los diferentes métodos que existen para corregir los datos perdidos, es necesario informar siempre cómo se han tratado (Dale, 2006Dale, A. (2006). Quality issues with survey research. International Journal of Social Research Methodology: Theory and Practice, 9 (2), 143-158. https://doi.org/10.1080/13645570600595330 ).
Áreas de mejora son informar y describir cómo se tratan los valores perdidos y el número de cuestionarios incompletos que, a pesar de ser bajo en nuestro estudio (13,3%), es mayor que en el resto de los estudios comparados.
Hay que describir también cómo se ha llevado a cabo la depuración y edición de datos, así como las medidas para garantizar su calidad antes de comenzar el análisis de los datos (Jedinger y otros, 2018Jedinger, A.; Watteler, O.; Förster, A. (2018). Improving the quality of survey data documentation: A total survey error perspective. Data, 3(4), 1-10. https://doi.org/10.3390/data3040045 ). Hay que documentar cómo se identificaron inconsistencias o valores fuera de rango y cómo se corrigieron, por ejemplo, eliminando del conjunto de datos a los encuestados con dichos valores. Consideramos información importante describir cómo se ha comprobado la calidad de los datos y el programa empleado para la entrada de datos, dos elementos relacionados, ya que, si se introducen de manera automática, se debería describir cómo se ha garantizado la consistencia y validez de los datos.
Por último, resulta de gran utilidad tratar en el apartado de limitaciones del estudio todos los potenciales de error que se han podido cometer y cómo afectan a las conclusiones del estudio, así como la posible generalización de los resultados a la población.
Aspectos éticos y legales: Los códigos de ética establecen que debe respetarse siempre el derecho de los participantes a su privacidad (Nardi, 2006Nardi, P. M. (2006). Doing Survey Research. A Guide to Quantitative Methods (Second edition). Boston: Pearson Education.). El anonimato y la confidencialidad de los datos son aspectos que deberían respetarse siempre en cualquier estudio donde se recogen datos de individuos (American Association for Public Opinion Research (AAPOR), 2020Groves, R. M.; Lyberg, L. (2010). Total survey error: Past, present, and future. Public Opinion Quarterly, 74 (5), 849-879. https://doi.org/10.1093/poq/nfq065.). Los investigadores deberían informar siempre a los participantes de los procedimientos que se van a utilizar para asegurar la confidencialidad de la información, habiéndose constatado que la promesa a los encuestados de que sus respuestas son confidenciales aumenta la tasa de respuesta (Guterbock y Marcopulos, 2020Guterbock, T. M.; Marcopulos, B. A. (2020). Survey methods for neuropsychologists: A review of typical methodological pitfalls and suggested solutions. Clinical Neuropsychologist, 34 (1), 13-31. https://doi.org/10.1080/13854046.2019.1590642 ).
Generalmente, la participación en las encuestas suele ser voluntaria, por lo que los individuos tienen derecho a ser informados de los cuatro elementos que conforman el consentimiento informado: objetivos del estudio, cómo se va a garantizar la confidencialidad o anonimato, consentimiento activo o pasivo, y cualquier información relacionada con su participación voluntaria (Singer, 1993Singer, E. (1993). Informed consent and survey response: A summary of the empirical literature. Journal of Official Statistics, 9 (2), 361-375.). Al mismo tiempo, los metodólogos de encuestas tienen la obligación ética y profesional de proteger la privacidad de los encuestados y de asegurar que se proporciona el consentimiento informado para su participación, aunque se ha señalado que este proceso puede contribuir al error total de la encuesta, concretamente debido a errores de representación y a errores de medición (Plutzer, 2019Plutzer, E. (2019). Privacy, Sensitive Questions, and Informed Consent. Public Opinion Quarterly, 83 (S1), 169-184. https://doi.org/10.1093/poq/nfz017 ). En general, proporcionar información sobre cualquier aspecto relacionado con la ética contribuye a aumentar su transparencia y credibilidad (Oldendick, 2012Oldendick, R. W. (2012). Survey Research Ethics. En: Gideon, L. (ed.). Handbook of Survey Methodology for the Social Science, pp. 23-35. New York: Springer. https://doi.org/10.1007/978-1-4614-3876-2_3 ).
El porcentaje de estudios en los que se informa de que se ha aprobado o revisado por un comité de ética institucional y hay un procedimiento de consentimiento informado es mucho más bajo en nuestro estudio. Esto puede ser debido a que en el ámbito de las Ciencias de la Salud los datos recogidos suelen ser más sensibles y hay mayor costumbre de cuidar los aspectos éticos, sobre todo los relacionados con la exigencia de consentimiento informado.
Fortalezas: Se ha utilizado un instrumento de evaluación empleado en otras áreas de conocimiento complementado con las recomendaciones de AAPOR, se ha seguido un método sistemático para la identificación e inclusión de los artículos evaluados, y se ha revisado por tres investigadores de manera independiente.
Limitaciones
El estudio es transversal y se ha realizado en artículos publicados en un solo año, por lo que sus resultados no pueden ser generalizados a toda la investigación realizada con encuestas en el área de Biblioteconomía y Documentación. Los resultados de este estudio se contemplan para todo el campo de conocimiento de Biblioteconomía y Documentación, pero algunas revistas están más representadas que otras; puede ser una situación puntual ocurrida en un año o puede ser debido a que habitualmente las revistas más representadas publiquen más investigaciones de este tipo.
En algunos ítems se ha evaluado la presencia o ausencia con cierta flexibilidad y subjetividad, por ejemplo, la definición de la población, que en algunos casos no se declaraba de manera explícita como población diana, pero sí se describían las características que definían al conjunto de individuos encuestados; o la tasa de respuesta, que no se indicaba la cifra de manera explícita, pero se podía obtener a partir de los datos proporcionados en los artículos.
6. CONCLUSIONES
⌅La falta de información sobre los componentes fundamentales que definen una investigación con encuestas compromete la transparencia y la reproducibilidad, principios en los que se basa la investigación científica, e impide una evaluación rigurosa al ocultar posibles errores que afectarían a la validez de las conclusiones de los estudios.
La falta de información o documentación no significa que la calidad de los datos sea pobre, sino que no es posible evaluar su calidad. Los autores deben especificar y describir de manera completa y detallada el método empleado para que cualquier investigador pueda replicar el estudio y los lectores, editores y revisores, evaluar su calidad. La investigación con encuestas es una potente herramienta para obtener información de poblaciones. Una buena planificación, diseño y ejecución del estudio debe llevar aparejado un registro de información suficiente para poder evaluar si los resultados son válidos y representativos de la población objeto de estudio.
Nuestro estudio revela falta de información en muchas de las investigaciones realizadas con encuestas en el área de Biblioteconomía y Documentación. De manera general, se ha de poner más atención en informar con detalle qué datos se han recogido, cómo se han recogido, a quiénes, y qué resultados se han obtenido.
De manera más específica, es necesario mejorar de manera notable y proporcionar información completa y detallada en los siguientes apartados:
Población y muestra: Descripción del marco muestral y método de selección de los individuos.
Diseño y desarrollo del cuestionario: si se ha realizado prueba piloto, y presentar siempre el cuestionario completo con su esquema de codificación.
Administración del cuestionario: tipo y número de contactos realizados, incentivos para aumentar la tasa de respuesta, e información sobre objetivos del estudio e instrucciones para cumplimentar el cuestionario.
Proceso de datos y resultados: tasa de respuesta y cómo se ha calculado, método para analizar el error de no respuesta, cómo difieren los que han contestado de los que no, número de cuestionarios incompletos, programa informático utilizado para introducir los datos y cómo se ha comprobado la calidad de los datos. También se deben de incluir siempre las limitaciones del estudio analizando todos los posibles errores y la generalización de los resultados.
Ética: Informar siempre si los cuestionarios son anónimos y cómo se ha garantizado la confidencialidad de los datos.
Los investigadores deben aportar información completa de estas características de la encuesta. Ello mejorará la transparencia del estudio y resultará de utilidad a los lectores y evaluadores para conocer cómo se han minimizado las cuatro fuentes principales de error (error de cobertura, error de muestreo, error de no-respuesta y error de medición), valorar la calidad de las encuestas y determinar la validez de sus conclusiones.
El uso de guías existentes sobre mejores prácticas en estudios con metodología de encuestas puede ayudar a investigadores, editores y revisores a evaluar de manera crítica la información presentada en un artículo, y pueden servir de base para la creación y validación de nuevas checklists en distintos campos del conocimiento. Los editores de revistas deberían ofrecer a los autores recomendaciones de calidad más rigurosas sobre la información a incluir en estudios de encuestas.