<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v3.0 20080202//EN" "http://dtd.nlm.nih.gov/publishing/3.0/journalpublishing3.dtd">
<article article-type="research-article" dtd-version="3.0" xml:lang="es" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink">
	
	<front>
		
		<journal-meta>
			<journal-id journal-id-type="publisher-id">REDC</journal-id>
			<journal-title-group>
				<journal-title>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</journal-title>
				<abbrev-journal-title>Rev. Esp. Doc. Cient.</abbrev-journal-title>
			</journal-title-group>
			<issn pub-type="ppub">0210-0614</issn>
			<issn pub-type="epub">1988-4621</issn>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#x00ED;ficas</publisher-name>
			</publisher>
		</journal-meta>
		
		<article-meta>
			<article-id pub-id-type="publisher-id">redc.2019.2.1599</article-id>
			<article-id pub-id-type="doi">10.3989/redc.2019.2.1599</article-id>
			
			<article-categories>
				<subj-group subj-group-type="heading">
				<subject>ESTUDIOS / RESEARCH STUDIES</subject>
				</subj-group>
			</article-categories>
			
			<title-group>
				<article-title>Implementaci&#x00F3;n de un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles de futuro mediante t&#x00E9;cnicas de miner&#x00ED;a de textos</article-title>
				<trans-title-group xml:lang="en">
				<trans-title>System implementation for detection of future weak signals using text mining</trans-title>
				</trans-title-group>
				<alt-title alt-title-type="running-head">Implementaci&#x00F3;n de un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles de futuro mediante t&#x00E9;cnicas de miner&#x00ED;a de textos</alt-title>
			</title-group>
			
			<contrib-group>
		
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Griol-Barres</surname>
					 <given-names>Israel</given-names>
					</name>
					<xref ref-type="aff" rid="U1"/>
					<xref ref-type="corresp" rid="cor1"/>
				</contrib>
				
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Milla</surname>
					 <given-names>Sergio</given-names>
					</name>
					<xref ref-type="aff" rid="U2"/>
					<xref ref-type="corresp" rid="cor2"/>
				</contrib>
				
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Millet</surname>
					 <given-names>Jos&#x00E9;</given-names>
					</name>
					<xref ref-type="aff" rid="U3"/>
					<xref ref-type="corresp" rid="cor3"/>
				</contrib>
			</contrib-group>
					
			<aff id="U1">Vicerrectorado de Empleo y Emprendimiento, Universitat Polit&#x00E8;cnica de Val&#x00E8;ncia</aff>
			<aff id="U2">Vicerrectorado de Empleo y Emprendimiento, Universitat Polit&#x00E8;cnica de Val&#x00E8;ncia</aff>
			<aff id="U3">Instituto ITACA, Universitat Polit&#x00E8;cnica de Val&#x00E8;ncia</aff>
			
			<author-notes>
				<corresp id="cor1">Correo-e: <email xlink:href="igriol@ideas.upv.es">igriol@ideas.upv.es</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0002-2197-9161">https://orcid.org/0000-0002-2197-9161</ext-link>
				</corresp>
				
				<corresp id="cor2">Correo-e: <email xlink:href="sermilmo@inf.upv.es">sermilmo@inf.upv.es</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0001-9461-0165">https://orcid.org/0000-0001-9461-0165</ext-link>
				</corresp>
				
				<corresp id="cor3">Correo-e: <email xlink:href="jmillet@eln.upv.es">jmillet@eln.upv.es</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0002-8879-003X">https://orcid.org/0000-0002-8879-003X</ext-link>
				</corresp>
			</author-notes>
			
			<pub-date pub-type="epub">
				<day>30</day>
				<month>06</month>
				<year>2019</year>
			</pub-date>
			
			<pub-date pub-type="collection">
			<year>2019</year>
			</pub-date>
			
			<volume>42</volume>
			<issue>2</issue>
		
			<elocation-id>e234</elocation-id>
		
			<history>
			
				<date date-type="received">
					<day>27</day>
					<month>06</month>
					<year>2018</year>
				</date>
				<date date-type="rev-recd1">
					<day>05</day>
					<month>10</month>
					<year>2018</year>
				</date>
				<date date-type="accepted">
					<day>08</day>
					<month>10</month>
					<year>2018</year>
				</date>
			</history>
		 
			<permissions>
				<copyright-statement>&#x00A9; 2019 CSIC</copyright-statement>
				<copyright-year>2019</copyright-year>
				<license license-type="open-access" xlink:href="https://creativecommons.org/licenses/by/4.0/">
					<license-p>Este es un art&#x00ED;culo de acceso abierto distribuido bajo los t&#x00E9;rminos de la licencia de uso y distribuci&#x00F3;n Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0).</license-p>
				</license>
			</permissions>
		
			
			<abstract xml:lang="es">
			<title>RESUMEN</title>
			<p>Actualmente, una de las mayores amenazas para las empresas es no ser capaces de hacer frente a los cambios constantes que se dan en el mercado, por no predecirlos con la suficiente antelaci&#x00F3;n. Por ello, el desarrollo de nuevos procesos que faciliten la detecci&#x00F3;n de fen&#x00F3;menos y cambios futuros significativos es una componente clave para una correcta toma de decisiones que marque un rumbo correcto para la empresa. Por esta raz&#x00F3;n, se propone un sistema basado en una arquitectura de inteligencia de negocio que permite detectar cambios discretos o se&#x00F1;ales d&#x00E9;biles (<italic>weak signals</italic>) en el presente, pero que son indicativos de fen&#x00F3;menos m&#x00E1;s significativos y cambios trascendentales en el futuro. Frente a los trabajos actuales que se centran en fuentes de informaci&#x00F3;n estructuradas, o como mucho, con un &#x00FA;nico tipo de fuente de datos, en este trabajo la detecci&#x00F3;n de estas se&#x00F1;ales se realiza de forma cuantitativa a partir de documentos heterog&#x00E9;neos y no estructurados de diversa &#x00ED;ndole (art&#x00ED;culos cient&#x00ED;ficos, period&#x00ED;sticos y redes sociales) sobre los que se aplican t&#x00E9;cnicas de miner&#x00ED;a de textos. El sistema ha sido testeado para estudiar el futuro del sector de los paneles solares, habi&#x00E9;ndose obtenido resultados prometedores para ayudar a expertos en el reconocimiento de nuevos factores de peso en sus mercados y en el desarrollo de nuevas oportunidades.</p>
			</abstract>
						
			<trans-abstract xml:lang="en">
			<title>ABSTRACT</title>
			<p>Nowadays, one of the biggest threats for companies is not being able to cope with the constant changes occurring in the market by not predicting them well in advance. For this reason, the development of new processes that facilitate the detection of future phenomena and significant changes is a key component for correct decision making that can mark a correct course in the company. A business intelligence based architecture system is proposed to allow discrete changes or weak signals detection in the present that are indicative of more significant phenomena and transcendental changes in the future. In contrast with current available works, which are focused on structured information sources or, at most, with only a single type of data source, in this paper the detection of these signals is done quantitatively from various kinds of heterogeneous and unstructured documents (scientific articles, journalistic articles and social networks) on which text mining techniques are applied. The system has been tested in the study of the future of solar panels sector, obtaining promising results that can help business experts in the recognition of new driving factors of their markets and the development of new opportunities.</p>
			</trans-abstract>
		
			<kwd-group xml:lang="es">
				<title>PALABRAS CLAVE</title> 
				<kwd>se&#x00F1;ales d&#x00E9;biles de futuro</kwd>
				<kwd>arquitectura de inteligencia de negocio</kwd>
				<kwd>informaci&#x00F3;n no estructurada</kwd>
				<kwd>miner&#x00ED;a de textos</kwd>
				<kwd>toma de decisiones</kwd>
				
			</kwd-group>
		
			<kwd-group xml:lang="en"> 
				<title>KEYWORDS</title> 
				<kwd>weak signal of the future</kwd>
				<kwd>business intelligence architecture</kwd>
				<kwd>unstructured information</kwd>
				<kwd>text mining</kwd>
				<kwd>decision-making</kwd>
				
			</kwd-group>
		
		</article-meta>
	</front>
	
	<body>

		<sec id="S1">
		

				<title>1. INTRODUCCI&#x00D3;N</title>

				<p>Una de las mayores amenazas para las empresas es el constante ritmo de cambios en los mercados. En multitud de casos, las empresas demuestran incapacidad para gestionar y prever estas evoluciones a tiempo (Eisenhardt y Brown, <xref ref-type="bibr" rid="CIT11">1999</xref>). Los mercados han demostrado ser entornos complejos en los que puede llegar a ser muy complicado tomar la decisi&#x00F3;n correcta en el momento acertado, pero, sin duda, hacerlo puede marcar el buen devenir de la empresa.</p>

				<p>Por ello, cada d&#x00ED;a cobra mayor importancia el desarrollo de nuevos procesos que faciliten la toma de decisiones en organizaciones, que consideren datos provenientes de diferentes fuentes internas y externas. Como el volumen de datos disponible es cada vez mayor, estos procesos deben involucrar t&#x00E9;cnicas de captura, transformaci&#x00F3;n, almacenamiento y an&#x00E1;lisis autom&#x00E1;tico que reduzcan el tiempo y los medios necesarios de an&#x00E1;lisis, a la vez que proporcionen una gran fiabilidad. Entre ellas, destaca la miner&#x00ED;a de datos en procesos de inteligencia empresarial o <italic>Business Intelligence</italic> (Dedić y Stanier, <xref ref-type="bibr" rid="CIT10">2017</xref>).</p>

				<p>En la actualidad, las tecnolog&#x00ED;as de la informaci&#x00F3;n asumen un papel importante en los negocios, debido a su papel fundamental en la creaci&#x00F3;n de inteligencia empresarial. Este t&#x00E9;rmino incluye un amplio abanico de metodolog&#x00ED;as para recopilar, procesar y analizar enormes cantidades de datos almacenados en la base de datos de una empresa (Conesa-Caralt y Curto-Diaz, <xref ref-type="bibr" rid="CIT05">2010</xref>). Adem&#x00E1;s, su objetivo es generar un conocimiento nuevo a partir de informaci&#x00F3;n almacenada (Khan, <xref ref-type="bibr" rid="CIT26">2012</xref>) que permita interpretar, predecir y responder apropiadamente al mundo exterior (Fischler y Firschein, <xref ref-type="bibr" rid="CIT15">1987</xref>).</p>

				<p>Por otro lado, la miner&#x00ED;a de datos (Witten y Frank, <xref ref-type="bibr" rid="CIT44">2005</xref>) se basa en extraer conocimiento relevante a partir de documentos y datos de distintas fuentes. En el mundo empresarial, la palabra “futuro” representa la base para la identificaci&#x00F3;n de nuevas oportunidades de negocio potenciales (Yoo y otros, <xref ref-type="bibr" rid="CIT45">2009</xref>), y multitud de expertos est&#x00E1;n trabajando en distintos m&#x00E9;todos de an&#x00E1;lisis: evolutivos, detecci&#x00F3;n de patrones, m&#x00E9;todos de miner&#x00ED;a, teor&#x00ED;as de innovaci&#x00F3;n disruptiva o de detecci&#x00F3;n de se&#x00F1;ales de futuro.</p>

				<p>Un tipo de se&#x00F1;al de futuro es la se&#x00F1;al d&#x00E9;bil o <italic>weak signal</italic> (Ansoff y McDonnell, <xref ref-type="bibr" rid="CIT02">1990</xref>). Este t&#x00E9;rmino puede ser definido como la detecci&#x00F3;n de una evidencia de un cambio emergente dentro de un proceso continuo de exploraci&#x00F3;n en un medio concreto (Ansoff, <xref ref-type="bibr" rid="CIT01">1975</xref>). Es decir, se trata de eventos externos o internos que est&#x00E1;n todav&#x00ED;a demasiado incompletos como para permitir una estimaci&#x00F3;n precisa de su impacto y/o para desarrollar una respuesta frente a ellos (Cooper y otros, <xref ref-type="bibr" rid="CIT08">2011</xref>).</p>

				<p>Sin embargo, estos cambios enmascaran el potencial para que se desarrollen fen&#x00F3;menos m&#x00E1;s significativos y cambios trascendentales en el medio, de ah&#x00ED; la importancia de poder identificarlos y monitorizarlos lo m&#x00E1;s pronto posible. Estos fen&#x00F3;menos, si evolucionan hasta hacerse relevantes (strong signals), tienen el potencial de reforzar un plan de actuaci&#x00F3;n o de obstruirlo. Otra definici&#x00F3;n del t&#x00E9;rmino de weak signal refuerza esta misma idea: “<italic>factores de cambio dif&#x00ED;cilmente perceptibles en el presente, pero que constituir&#x00E1;n una fuerte tendencia en el futuro</italic>” (Godet, <xref ref-type="bibr" rid="CIT17">1994</xref>).</p>

				<p>En conclusi&#x00F3;n, nos encontramos con tres t&#x00E9;rminos interrelacionados entre s&#x00ED;: la inteligencia empresarial como disciplina, la miner&#x00ED;a de datos como procedimiento, y la identificaci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles como objetivo.</p>

				<p>El resto del art&#x00ED;culo se estructura de la siguiente forma. En la Secci&#x00F3;n 2 se presentan los tipos de trabajos que han servido como antecedente para este estudio y se establecen sus objetivos. En la Secci&#x00F3;n 3 se explica detalladamente el dise&#x00F1;o e implementaci&#x00F3;n del sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles propuesto. En la Secci&#x00F3;n 4 se interpretan y eval&#x00FA;an los resultados obtenidos aplicando el detector en el sector de los paneles solares. Finalmente, en la Secci&#x00F3;n 5 se presentan las conclusiones y las l&#x00ED;neas de trabajo futuro.</p>
				
			</sec>

			<sec id="S2">
				
				<title>2. ANTECEDENTES Y OBJETIVOS</title>

				<p>Aunque las se&#x00F1;ales d&#x00E9;biles o weak signals han ido ganando inter&#x00E9;s entre los trabajos recientes sobre la toma de decisiones y la predicci&#x00F3;n de cambios futuros, todav&#x00ED;a no hay un uso extendido del t&#x00E9;rmino, y hay autores que han utilizado otros sin&#x00F3;nimos como, por ejemplo, “semillas de cambio” (Molitor, <xref ref-type="bibr" rid="CIT32">2003</xref>), “hechos emergentes” (Dator, <xref ref-type="bibr" rid="CIT09">2005</xref>), “se&#x00F1;ales de estrategia” (Nikander, <xref ref-type="bibr" rid="CIT36">2002</xref>) y “se&#x00F1;ales de aviso precoz” (Mannermaa, <xref ref-type="bibr" rid="CIT30">1999</xref>).</p>

				<p>Todos estos t&#x00E9;rminos similares se engloban dentro del concepto de se&#x00F1;al de futuro o <italic>future sign</italic> (Hiltunen, <xref ref-type="bibr" rid="CIT22">2008</xref>), que, a su vez, surgi&#x00F3; a partir del modelo semi&#x00F3;tico del signo (Peirce, <xref ref-type="bibr" rid="CIT37">1868</xref>). Aunque ambos se definen mediante un marco conceptual compuesto de tres dimensiones, el modelo de Hiltunen es justamente espec&#x00ED;fico para se&#x00F1;ales de futuro.</p>

				<p>El modelo en triada de Peirce consiste en un “objeto”, es decir, la “porci&#x00F3;n” de la realidad a la que se accede a trav&#x00E9;s del signo en s&#x00ED;, un “representamen”, o la representaci&#x00F3;n simb&#x00F3;lica de algo, y de un “interpretante”, que se relaciona con la interpretaci&#x00F3;n que una cultura hace del signo mediante su propio conocimiento.</p>

				<p>Por otro lado, la triada del signo de futuro de Hiltunen consta de estas tres dimensiones: “tema” (grado de difusi&#x00F3;n), “se&#x00F1;al” (grado de visibilidad) e “interpretaci&#x00F3;n” (diversidad de fuentes), con el objetivo de profundizar en la diferencia entre se&#x00F1;al d&#x00E9;bil y fuerte (Kuusi y Hiltunen, <xref ref-type="bibr" rid="CIT29">2007</xref>). En la <xref ref-type="fig" rid="F1">Figura 1</xref>, podemos ver la comparaci&#x00F3;n entre los modelos de triada de Peirce y Hiltunen. Generalmente, una se&#x00F1;al d&#x00E9;bil tendr&#x00E1; un valor absoluto muy bajo en una, dos o en las tres componentes. Por esta raz&#x00F3;n, pueden pasar desapercibidas.</p>

				
				
				<fig id="F1">
						<label>Figura 1</label>
						<caption>
							<title>(a) Modelo semi&#x00F3;tico del signo de Peirce, y (b) Modelo semi&#x00F3;tico del signo futuro de Hiltunen</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F1.jpg"/>
					</fig>
					
					
				<p>Un ejemplo sobre el uso de este modelo es una historia publicada en el peri&#x00F3;dico m&#x00E1;s importante de Finlandia (Helsingin Sanomat, <xref ref-type="bibr" rid="CIT20">2010</xref>) en la que era noticia que la cadena de ropa sueca Hennes &amp; Mauritz (H&amp;M) estaba vendiendo ropa vieja, al precio de nueva, bajo la etiqueta de “vintage”. En realidad, &#x00FA;nicamente el 1% de sus tiendas estaban realizando esta acci&#x00F3;n. Desde el punto de vista de se&#x00F1;al de futuro, el valor de “se&#x00F1;al” (es decir, su visibilidad) era enorme. Pero la realidad, el tema o su grado de difusi&#x00F3;n, es que el 1% de las tiendas es poco representativo. La componente de interpretaci&#x00F3;n es tambi&#x00E9;n poco significativa, puesto que &#x00FA;nicamente la prensa, y en concreto este diario, hab&#x00ED;a publicado la noticia. Se podr&#x00ED;a considerar que esto representa una se&#x00F1;al d&#x00E9;bil puesto que &#x00FA;nicamente una de las tres componentes era fuerte y, por lo tanto, a priori puede resultar dif&#x00ED;cil predecir si esta acci&#x00F3;n de H&amp;M representar&#x00ED;a una tendencia fuerte en el futuro o no.</p>

				<p>Una organizaci&#x00F3;n empresarial que opera en un entorno complejo e impredecible tiene que ser flexible para poder detectar este tipo de informaci&#x00F3;n. Aunque las implicaciones de una se&#x00F1;al d&#x00E9;bil son muy dif&#x00ED;ciles de definir en una primera etapa, toda organizaci&#x00F3;n se ve forzada a tomar decisiones con cada vez mayor antelaci&#x00F3;n, y con datos disponibles cada vez m&#x00E1;s emergentes. Por lo tanto, el tiempo disponible para reaccionar se acorta, a la vez que la organizaci&#x00F3;n se vuelve m&#x00E1;s compleja, siendo la detecci&#x00F3;n de estas se&#x00F1;ales d&#x00E9;biles de cambio una prioridad para poder tomar decisiones acertadas.</p>

				<p>Para ello, la organizaci&#x00F3;n debe escanear y analizar su entorno de forma frecuente. Los primeros sistemas te&#x00F3;ricos de an&#x00E1;lisis de entornos estaban basados en multitud de filtros (Ansoff y McDonnell, <xref ref-type="bibr" rid="CIT02">1990</xref>), basados en tres conceptos: (i) Un filtro de vigilancia que incluye metodolog&#x00ED;as de an&#x00E1;lisis para la adquisici&#x00F3;n de informaci&#x00F3;n, (ii) un filtro de mentalidad para la percepci&#x00F3;n de la organizaci&#x00F3;n acerca de esa informaci&#x00F3;n adquirida, y (iii) un filtro de potencia, para evitar que la se&#x00F1;al de futuro pase desapercibida. (Ilmola y Kuusi, <xref ref-type="bibr" rid="CIT23">2006</xref>). La <xref ref-type="fig" rid="F2">Figura 2</xref> muestra c&#x00F3;mo estos tres filtros interact&#x00FA;an en un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles.</p>
				
					<fig id="F2">
						<label>Figura 2</label>
						<caption>
							<title>Los filtros de Ansoff para analizar entornos y detectar se&#x00F1;ales d&#x00E9;biles</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F2.jpg"/>
					</fig>

				<p>Estos filtros est&#x00E1;n conectados con el modelo de Hiltunen. El filtro de vigilancia est&#x00E1; identificado con la componente de “tema” que mide el grado de difusi&#x00F3;n de una se&#x00F1;al, es decir, el n&#x00FA;mero de fuentes que se hacen eco de ella. El valor absoluto de la se&#x00F1;al a detectar identifica el filtro de potencia con la componente “se&#x00F1;al”. Este filtro, por lo tanto, vigila la visibilidad de la se&#x00F1;al, es decir, la cantidad de veces que aparece esa se&#x00F1;al (independientemente del n&#x00FA;mero de fuentes o documentos en las que aparece). Por &#x00FA;ltimo, cada tipo de fuente interpretar&#x00E1; la se&#x00F1;al de una manera distinta, a veces con mayor o menor importancia, estando por lo tanto conectado el filtro de mentalidad con la componente “Interpretaci&#x00F3;n”.</p>

				<p>Otro concepto importante es el proceso de significaci&#x00F3;n (Kuusi y Hiltunen, <xref ref-type="bibr" rid="CIT29">2007</xref>). Un evento genera una primera exose&#x00F1;al (una se&#x00F1;al externa a la organizaci&#x00F3;n) que podr&#x00ED;a ser un resultado de investigaci&#x00F3;n publicado en forma de art&#x00ED;culo en una revista cient&#x00ED;fica. En el siguiente paso, si supera el filtro de mentalidad, esta exose&#x00F1;al puede ser interpretada por un periodista como un contenido medi&#x00E1;tico, transform&#x00E1;ndose de nuevo en una endose&#x00F1;al para &#x00E9;l, para luego codificarla en forma de una exose&#x00F1;al secundaria, un art&#x00ED;culo period&#x00ED;stico. Del mismo modo, esta se&#x00F1;al puede ser codificada por otros actores que la interpretan y comparten en redes sociales, como Twitter. Por lo tanto, interpretar es una actividad en la que hay actores que formulan endose&#x00F1;ales propias basadas en las exose&#x00F1;ales del tema en s&#x00ED;, seguidas de exose&#x00F1;ales secundarias que son a la vez interpretadas y transformadas en nuevas exose&#x00F1;ales. Este proceso est&#x00E1; ilustrado en la <xref ref-type="fig" rid="F3">Figura 3</xref>.</p>
				
				
					<fig id="F3">
						<label>Figura 3</label>
						<caption>
							<title>El proceso de significaci&#x00F3;n en el que se aprecia la difusi&#x00F3;n en el tiempo de las se&#x00F1;ales</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F3.jpg"/>
					</fig>

				<p>Es importante conocer y comprender el proceso de significaci&#x00F3;n, puesto que tiene relevancia en las componentes del signo de futuro. Por un lado, es importante para la componente “tema” puesto que el proceso de significaci&#x00F3;n explica la difusi&#x00F3;n de una se&#x00F1;al en fuentes de distintos tipos. La “interpretaci&#x00F3;n” depende en buena medida de la fuente de la que provienen los datos. Por &#x00FA;ltimo, indirectamente tambi&#x00E9;n una mayor difusi&#x00F3;n de la se&#x00F1;al se ver&#x00E1; reflejada en una mayor componente de “se&#x00F1;al”.</p>

				<p>La mayor&#x00ED;a de las publicaciones acerca de la detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles est&#x00E1;n principalmente relacionadas con temas espec&#x00ED;ficos y con an&#x00E1;lisis cualitativos que tienen en cuenta estas tres componentes y en algunos casos, el proceso de significaci&#x00F3;n. Por ejemplo, hay trabajos que realizan an&#x00E1;lisis cualitativos acerca de la identificaci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles relacionadas con el terrorismo en ataques de transporte (Koivisto y otros, <xref ref-type="bibr" rid="CIT28">2016</xref>) o en la influencia en redes sociales (MohamadiBaghmolaei y otros, <xref ref-type="bibr" rid="CIT31">2017</xref>).</p>

				<p>Uno de los escasos estudios que existen sobre la detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles que utilizan un an&#x00E1;lisis cuantitativo (Yoon, <xref ref-type="bibr" rid="CIT46">2012</xref>) realiza una aproximaci&#x00F3;n al problema desde la perspectiva de una &#x00FA;nica fuente: noticias web. La cuantificaci&#x00F3;n utilizada en este trabajo consiste en la medida de la presencia de una se&#x00F1;al d&#x00E9;bil a trav&#x00E9;s del grado de visibilidad y del grado de difusi&#x00F3;n de un t&#x00E9;rmino.</p>

				<p>Para detectar se&#x00F1;ales d&#x00E9;biles es necesario un proceso sutil de observaci&#x00F3;n y an&#x00E1;lisis, porque la informaci&#x00F3;n sobre estas se&#x00F1;ales est&#x00E1; codificada en multitud de fuentes de datos. Por esta raz&#x00F3;n, cualquier sistema dise&#x00F1;ado para la detecci&#x00F3;n de estas se&#x00F1;ales requerir&#x00E1; el uso de procesos que consumen en general muchos recursos de memoria y tiempo.</p>

				<p>Con estos antecedentes, se plantea el dise&#x00F1;o de un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles con los objetivos siguientes:</p>

				<p>Objetivo 1. Confeccionar repositorios eficientes que almacenen una vasta cantidad de datos desestructurados de diversas fuentes sobre una tem&#x00E1;tica en particular, sobre la cu&#x00E1;l se est&#x00E1; realizando el estudio.</p>

				<p>Objetivo 2. Dise&#x00F1;ar un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles que tenga en cuenta el m&#x00E1;ximo n&#x00FA;mero de componentes del modelo semi&#x00F3;tico del signo futuro como sea posible.</p>

				<p>Objetivo 3. Dise&#x00F1;ar un sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles que se base en un an&#x00E1;lisis cuantitativo de las fuentes de entrada para obtener resultados m&#x00E1;s precisos.</p>

				<p>Objetivo 4. Demostrar que es posible incluir t&#x00E9;cnicas de procesado del lenguaje natural, lo que requiere interfaces complejas (Griol y otros, <xref ref-type="bibr" rid="CIT18">2016</xref>) y comprobar que esto facilita la obtenci&#x00F3;n de resultados que ayuden a expertos y emprendedores en la toma de decisiones.</p>

				<p>Objetivo 5. Asegurar que el dise&#x00F1;o del sistema sea lo suficientemente eficiente para que su uso sea viable, con tiempos de ejecuci&#x00F3;n razonables, capaz de obtener resultados v&#x00E1;lidos para expertos y emprendedores, independientemente de la tem&#x00E1;tica bajo estudio.</p>
				
			</sec>
			
			<sec id="S3">

				<title>3. DESARROLLO DE UN SISTEMA PARA LA DETECCI&#x00D3;N DE SE&#x00D1;ALES D&#x00C9;BILES</title>

				<p>En esta secci&#x00F3;n se definen las proposiciones y la metodolog&#x00ED;a del sistema de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles implementado. Adem&#x00E1;s, se definen las fases seguidas en la detecci&#x00F3;n y los m&#x00E9;todos de miner&#x00ED;a de textos aplicados.</p>
				
				<sec id="S3.1">

				<title>3.1. Definici&#x00F3;n del sistema realizado</title>

				<p>Empresas de todo tipo han ido paulatinamente adoptando sistemas y herramientas de inteligencia empresarial debido a que les otorga una mejor gesti&#x00F3;n para aprender del pasado y predecir el futuro (Siegel, <xref ref-type="bibr" rid="CIT40">2013</xref>). Estos sistemas pueden abastecerse de datos de muchas fuentes diferentes, como sistemas de informaci&#x00F3;n, informes, internet, bases de datos corporativas, clientes, proveedores,  organismos gubernamentales, o el conocimiento de los empleados.</p>

				<p>Por esta raz&#x00F3;n, se propone un sistema que se nutra de documentos de tres tipolog&#x00ED;as distintas: art&#x00ED;culos cient&#x00ED;fico-t&#x00E9;cnicos, art&#x00ED;culos period&#x00ED;sticos y publicaciones en redes sociales. Dada la gran cantidad de documentos accesibles sobre una determinada tem&#x00E1;tica, se requiere de varios repositorios para almacenarlos y gestionarlos.</p>

				<p>La componente temporal es importante para estudiar la evoluci&#x00F3;n de cada se&#x00F1;al, por lo que los repositorios internos de informaci&#x00F3;n obtenidos de numerosas fuentes online se organizar&#x00E1;n por a&#x00F1;os. Por lo tanto, en primer lugar, se requiere un algoritmo que pueda recopilar y almacenar una gran cantidad de documentos de distintas fuentes, relacionados con una tem&#x00E1;tica, en numerosas bases de datos documentales, una por cada a&#x00F1;o del periodo que se ha determinado para poder realizar el an&#x00E1;lisis. Normalmente, una organizaci&#x00F3;n ya dispone previamente de bases de datos internas con informaci&#x00F3;n de sus actividades, pero en este caso, al tratarse de datos externos, es necesario crear esta recopilaci&#x00F3;n como un paso previo.</p>

				<p>El siguiente paso es la implementaci&#x00F3;n de un sistema para gestionar el gran volumen de informaci&#x00F3;n del cual extraer el conocimiento necesario para la toma de decisiones. Se debe transformar la informaci&#x00F3;n de estos repositorios para almacenar &#x00FA;nicamente los datos necesarios, en un formato &#x00FA;til, en un almac&#x00E9;n de datos, o <italic>data warehouse</italic> (Giovinazzo, <xref ref-type="bibr" rid="CIT16">2000</xref>). Para ello, se debe crear un algoritmo que extraiga la informaci&#x00F3;n, la transforme y la cargue en dicho almac&#x00E9;n de datos (Kimball y Ross, <xref ref-type="bibr" rid="CIT27">2002</xref>).</p>

				<p>En el siguiente paso, una vez que la informaci&#x00F3;n est&#x00E1; guardada en el almac&#x00E9;n, se requiere de otro algoritmo que seleccione y transforme la informaci&#x00F3;n para ser tratada por modelos matem&#x00E1;ticos, mediante la miner&#x00ED;a de texto. Luego, se necesita una t&#x00E9;cnica concreta para la detecci&#x00F3;n de <italic>weak signals</italic> en textos.</p>

				<p>En definitiva, se trata de dise&#x00F1;ar un sistema que mida de forma cuantitativa se&#x00F1;ales d&#x00E9;biles futuras mediante t&#x00E9;cnicas de miner&#x00ED;a de textos, es decir, crear una herramienta que facilite el an&#x00E1;lisis de un experto sobre un sector, asumiendo las siguientes proposiciones:</p>

				<p>Proposici&#x00F3;n 1. Las palabras clave con muchas ocurrencias en una colecci&#x00F3;n de documentos son importantes (Jung, <xref ref-type="bibr" rid="CIT25">2010</xref>).</p>

				<p>Proposici&#x00F3;n 2. Las apariciones recientes de palabras clave son m&#x00E1;s importantes o relevantes que las apariciones pasadas.</p>

				<p>Proposici&#x00F3;n 3. Las dos primeras proposiciones son ciertas para cualquier tipo de fuente de datos externos utilizada.</p>

				<p>Proposici&#x00F3;n 4. Se obtienen resultados m&#x00E1;s fidedignos cuando se utilizan distintas fuentes de datos, teniendo en cuenta el proceso de significaci&#x00F3;n orientado al futuro y el procesado natural del lenguaje.</p>
				
				</sec>
				
				<sec id="S3.2">

				<title>3.2. Metodolog&#x00ED;a</title>

				<p>Para la realizaci&#x00F3;n del sistema y poder realizar un estudio del comportamiento de las palabras a lo largo de un periodo de tiempo apoy&#x00E1;ndose en grandes vol&#x00FA;menes de informaci&#x00F3;n bases de datos, se ha utilizado la metodolog&#x00ED;a Knowledge Discovery in Databases (KDD), que se refiere al proceso no trivial de descubrir conocimiento e informaci&#x00F3;n potencialmente &#x00FA;til dentro de los datos contenidos en alg&#x00FA;n repositorio de informaci&#x00F3;n (Han et al., <xref ref-type="bibr" rid="CIT19">2001</xref>). La <xref ref-type="fig" rid="F4">Figura 4</xref> ilustra las etapas del proceso KDD que se han llevado a cabo en el sistema propuesto en este trabajo.</p>
				
					<fig id="F4">
						<label>Figura 4</label>
						<caption>
							<title>Proceso KDD seguido en la implementaci&#x00F3;n del sistema propuesto</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F4.jpg"/>
					</fig>

				<p>Como se puede observar en la figura anterior, se ha dividido el proceso en dos partes, la primera consiste en la recopilaci&#x00F3;n de un gran volumen de informaci&#x00F3;n que ser&#x00E1; guardada en un almac&#x00E9;n de datos y una segunda parte donde se seleccionar&#x00E1; la informaci&#x00F3;n y se aplicar&#x00E1;n modelos matem&#x00E1;ticos para extraer conocimiento de ella.</p>
				
				

				<p>Como tambi&#x00E9;n se puede observar, el proceso consiste en 5 etapas, las cuales son:</p>
				
				
				<list list-type="order">
					<list-item>
						<p>Recopilaci&#x00F3;n e integraci&#x00F3;n de la informaci&#x00F3;n</p>
					</list-item>
					
					<list-item>
						<p>Fase ETL (Extraer, transformar y cargar)</p>
					</list-item>
					
					<list-item>
						<p>Selecci&#x00F3;n, preprocesamiento y transformaci&#x00F3;n</p>
					</list-item>
					
					<list-item>
						<p>Miner&#x00ED;a de textos enfocada a detectar <italic>weak signals</italic></p>
					</list-item>
					
					<list-item>
						<p>Interpretaci&#x00F3;n y evaluaci&#x00F3;n</p>
					</list-item>
					
				</list>
				

				<p>El sistema debe tener capacidad para administrar el conocimiento, almacenarlo en un repositorio de conocimientos y herramientas que puedan aplicar ese conocimiento para una mejor toma de decisiones, y as&#x00ED; dotar de una mayor inteligencia empresarial a las organizaciones.</p>

				</sec>
				<sec id="S3.3">

				<title>3.3. Fase 1: Recopilaci&#x00F3;n e integraci&#x00F3;n de la informaci&#x00F3;n</title>

				<p>Durante esta fase, se ha realizado un estudio previo de las fuentes de las que se obtiene la informaci&#x00F3;n necesaria. Como se ha explicado anteriormente, los tipos de fuentes son de tipo t&#x00E9;cnico-cient&#x00ED;fico, period&#x00ED;stico y de redes sociales, y en el caso de este estudio, en ingl&#x00E9;s.</p>

				<p>Una vez analizadas las fuentes online, se ha realizado una selecci&#x00F3;n para determinar de cuales se extraer&#x00ED;a la informaci&#x00F3;n. Para ello, se tuvo en cuenta un factor primordial, los datos gestionados por dichas fuentes tendr&#x00ED;an que ser relevantes dentro de su tipo, pero a la vez, tener formatos f&#x00E1;ciles de manipular y as&#x00ED; poder ser extra&#x00ED;dos con mayor facilidad para su almacenamiento. Las fuentes seleccionadas con estos criterios fueron tres: DirectScience (Science Direct, <xref ref-type="bibr" rid="CIT39">2018</xref>), de tipo t&#x00E9;cnico-cient&#x00ED;fico, New York Times (New York Times, <xref ref-type="bibr" rid="CIT35">2018</xref>), de tipo period&#x00ED;stico y por &#x00FA;ltimo Twitter (Twitter, <xref ref-type="bibr" rid="CIT41">2018a</xref>), como fuente de redes sociales (Finger y Dutta, <xref ref-type="bibr" rid="CIT14">2014</xref>).</p>

				<p>Para la recopilaci&#x00F3;n de la informaci&#x00F3;n se desarroll&#x00F3; un algoritmo en Python para extraer la informaci&#x00F3;n de documentos HTML y tweets y los almacenar&#x00ED;a en bases de datos de tipo NoSQL.</p>

				<p>En el algoritmo generado, se ha utilizado Beautiful Soup (Beautiful Soup, <xref ref-type="bibr" rid="CIT03">2018</xref>), para la extracci&#x00F3;n de documentos t&#x00E9;cnicos, cient&#x00ED;ficos y period&#x00ED;sticos. Beautiful Soup es una biblioteca de Python dise&#x00F1;ada para analizar documentos HTML y que es muy &#x00FA;til para realizar “web scraping”, es decir, la extracci&#x00F3;n de informaci&#x00F3;n de sitios web. Sin embargo, para la extracci&#x00F3;n de tweets se utiliz&#x00F3; la propia API de Twitter (Twitter, <xref ref-type="bibr" rid="CIT42">2018b</xref>).</p>

				<p>Para los art&#x00ED;culos cient&#x00ED;ficos y t&#x00E9;cnicos se extrajo la siguiente informaci&#x00F3;n: t&#x00ED;tulo, autor, abstract o resumen, palabras claves, contenido, conclusiones y a&#x00F1;o de publicaci&#x00F3;n. Esta informaci&#x00F3;n se almacena en una base de datos de tipo NoSQL documental. La base de datos de tipo documental elegida en nuestro caso ha sido MongoDB (MongoDB, <xref ref-type="bibr" rid="CIT33">2018</xref>). MongoDB es una base de datos orientada a documentos y desarrollada con el concepto de c&#x00F3;digo abierto, uno de los motivos para su elecci&#x00F3;n, adem&#x00E1;s de que guarda estructuras de datos en documentos similares a JSON haciendo que la integraci&#x00F3;n sea m&#x00E1;s f&#x00E1;cil y r&#x00E1;pida (Connolly y Begg, <xref ref-type="bibr" rid="CIT06">2005</xref>).</p>

				<p>En el presente experimento centrado en la b&#x00FA;squeda de se&#x00F1;ales d&#x00E9;biles se han seleccionado documentos relacionados con la tem&#x00E1;tica de paneles solares. En la <xref ref-type="fig" rid="F5">Figura 5</xref> se muestra una gr&#x00E1;fica con el n&#x00FA;mero de documentos obtenidos por a&#x00F1;os en los distintos tipos de fuentes: 38.669 documentos cient&#x00ED;ficos extra&#x00ED;dos de ScienceDirect, 1.234 art&#x00ED;culos period&#x00ED;sticos del New York Times y cerca de 45.191 tweets.</p>
				
				<fig id="F5">
						<label>Figura 5</label>
						<caption>
							<title>N&#x00FA;mero de documentos por a&#x00F1;o y fuente utilizados en el estudio sobre paneles solares</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F5.jpg"/>
					</fig>

				</sec>
				<sec id="S3.4">

				<title>3.4. Fase 2: ETL (Extraer, transformar y cargar)</title>

				<p>Una vez creados los repositorios internos, se trat&#x00F3; el dise&#x00F1;o e implementaci&#x00F3;n del almac&#x00E9;n de datos, que soporta el almacenamiento de un gran volumen de informaci&#x00F3;n. Se debe tener en cuenta que dicho almac&#x00E9;n de datos debe estar orientado a temas, ser variable en el tiempo y no puede perder informaci&#x00F3;n almacenada (Inmon, <xref ref-type="bibr" rid="CIT24">2005</xref>).</p>

				<p>En el almac&#x00E9;n de datos creado se guardan las palabras extra&#x00ED;das de los documentos almacenados en los repositorios internos del sistema de informaci&#x00F3;n, as&#x00ED; como las siguientes propiedades relacionadas con las palabras: documento al que pertenece, frecuencia de aparici&#x00F3;n en el documento, a&#x00F1;o de aparici&#x00F3;n y fuente a la que pertenece el documento.</p>

				<p>Para guardar esta informaci&#x00F3;n, se dise&#x00F1;&#x00F3; un algoritmo que lista los documentos almacenados por a&#x00F1;os y detecta la frecuencia de apariciones de las palabras en el documento. En esta fase se producen las acciones de extraer, transformar y cargar la informaci&#x00F3;n en el almac&#x00E9;n. Este algoritmo realiza unas comprobaciones previas, para evitar insertar n&#x00FA;meros, s&#x00ED;mbolos extra&#x00F1;os y <italic>stopwords</italic>, es decir, palabras que no aportan nada ni a la sem&#x00E1;ntica ni al significado del texto, y, por lo tanto, podemos descartar como <italic>weak signals</italic>. Para ello se ha utilizado un algoritmo de eliminaci&#x00F3;n de <italic>stopwords</italic> incluido en la librer&#x00ED;a de tratamiento de lenguaje natural NLTK (Natural Language Toolkit, <xref ref-type="bibr" rid="CIT34">2018</xref>). Esta etapa tambi&#x00E9;n incluye la lematizaci&#x00F3;n, es decir, quedarse con el lema, la forma que por convenio se acepta como representante de todas las formas flexionadas de una misma palabra. (Elmasri y Navathe, <xref ref-type="bibr" rid="CIT13">2011</xref>).</p>

				</sec>
				<sec id="S3.5">

				<title>3.5. Fase 3: Selecci&#x00F3;n, preprocesamiento y transformaci&#x00F3;n</title>

				<p>Una vez almacenada la informaci&#x00F3;n en el almac&#x00E9;n de datos, el siguiente paso es una etapa de “limpieza” en la que deben eliminarse datos inconsistentes, que no presentan informaci&#x00F3;n &#x00FA;til, con la finalidad de obtener una estructura de datos adecuada para la fase de transformaci&#x00F3;n. Para este proceso, ha sido necesaria la creaci&#x00F3;n de una base de datos de “palabras clave” (<italic>keywords</italic>), usando como referencia un listado de factores est&#x00E1;ndares facilitados por la UNESCO (UNESCO World Heritage Centre, <xref ref-type="bibr" rid="CIT43">2008</xref>). Este listado est&#x00E1; formado por una serie de categor&#x00ED;as y subcategor&#x00ED;as de distintas tem&#x00E1;ticas, como se puede observar en la <xref ref-type="table" rid="T1">Tabla I</xref>.</p>

				
					<fig id="T1">
						<label>Tabla I</label>
						<caption>
							<title>Listado de algunas de las cualidades para categorizar y subcategorizar palabras clave</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T1.jpg"/>
					</fig>
					
					
				<p>Tras este paso, es posible seleccionar las palabras sobre las cuales se realizar&#x00E1;n las operaciones necesarias para obtener la frecuencia absoluta de aparici&#x00F3;n en documentos y frecuencia absoluta de aparici&#x00F3;n en el documento en cada a&#x00F1;o del periodo de tiempo analizado. Estas son variables necesarias para saber si una <italic>keyword</italic> se&#x00F1;ala una <italic>weak signal</italic> o no. De esta forma, se normalizan las <italic>keywords</italic> por a&#x00F1;o preparando los datos para la siguiente fase.</p>
				
				</sec>
				
				<sec id="S3.6">

				<title>3.6. Fase 4: Miner&#x00ED;a de textos enfocada a detectar weak signals</title>

				<p>La miner&#x00ED;a de textos (<italic>text mining</italic>) es una variaci&#x00F3;n de la miner&#x00ED;a de datos (<italic>data mining</italic>) que se aplica en el proceso de obtener informaci&#x00F3;n de alta calidad de documentos de texto (Hern&#x00E1;ndez y otros, <xref ref-type="bibr" rid="CIT21">2004</xref>). Este proceso se caracteriza por estructurar los datos de entrada, construir modelos de an&#x00E1;lisis y analizar los resultados obtenidos. La gran diferencia con respecto a la miner&#x00ED;a de datos es que los patrones en la miner&#x00ED;a de textos se obtienen procesando el lenguaje natural en lugar de procesando bases de datos estructuradas. En el caso de este estudio, adem&#x00E1;s, se han generado las bases de datos de documentos desde cero.</p>

				<p>Para el emparejamiento de <italic>keywords</italic> con las palabras del texto, y para saber si dicha palabra es una <italic>weak signal</italic>, se debe estudiar el incremento o decremento de apariciones en total y el n&#x00FA;mero de documentos en los que aparece.</p>

				<p>De esta manera, se tienen en cuenta dos de las tres dimensiones del modelo semi&#x00F3;tico de Hiltunen. La dimensi&#x00F3;n de “se&#x00F1;al” de un signo futuro se relaciona con la visibilidad de la se&#x00F1;al futura. Para ello, se utiliza la frecuencia de ocurrencia de cada palabra en un conjunto de documentos (de la misma o de distintas fuentes), para definir el grado de visibilidad (DoV) de la <italic>keyword i</italic> en el periodo <italic>j</italic> se emplea la siguiente ecuaci&#x00F3;n:</p>
				
						<fig id="E1">
							<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E1.jpg"/>
						</fig>
		

				<p>donde <italic>TFij</italic> es el n&#x00FA;mero total de ocurrencias de la palabra i en el periodo <italic>j</italic> (considerando todos los documentos), <italic>NNj</italic> es el n&#x00FA;mero total de documentos en el periodo <italic>j</italic>, <italic>n</italic> es el n&#x00FA;mero de periodos y <italic>tw</italic> es un peso de tiempo, de acuerdo con la proposici&#x00F3;n de que las nuevas apariciones son m&#x00E1;s relevantes, que ha sido definido como 0,05 por un grupo de expertos en negocios relacionados con paneles solares (Yoon, <xref ref-type="bibr" rid="CIT46">2012</xref>).</p>

				<p>La dimensi&#x00F3;n “tema” indica el grado de difusi&#x00F3;n de los temas relacionados con las <italic>weak signals</italic>. Esta dimensi&#x00F3;n se relaciona directamente con la frecuencia de ocurrencia de cada palabra en cada documento puesto que esta frecuencia se adopta generalmente para medir c&#x00F3;mo de general es un t&#x00E9;rmino en una colecci&#x00F3;n de informaci&#x00F3;n textual (Salton y Buckley, <xref ref-type="bibr" rid="CIT38">1988</xref>). Para medir el grado de difusi&#x00F3;n (DoD) de la palabra <italic>i</italic> en el periodo <italic>j</italic> se aplica la f&#x00F3;rmula de cuantificaci&#x00F3;n aplicada en un estudio previo sobre <italic>weaks signals</italic>:</p>

					<fig id="E2">
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/E2.jpg"/>
					</fig>
				

				<p>donde <italic>DFij</italic> es el n&#x00FA;mero de documentos en los que aparece la palabra i en el periodo j.</p>

				<p>Con estas f&#x00F3;rmulas, se obtiene la media de ratios de incremento (DoD y DoV) de cada palabra encontrada en la multitud de documentos analizados con respecto a las frecuencias obtenidas por a&#x00F1;os. Con estos datos podemos generar dos gr&#x00E1;ficas, una para representar un mapa de apariciones de palabras clave y otra para representar un mapa de difusi&#x00F3;n de palabras clave.</p>

				<p>Cada una de estas gr&#x00E1;ficas de mapas de <italic>keywords</italic> est&#x00E1;n compuestas de cuatro cuadrantes, por encima de un umbral de ratio de incremento ponderado con el tiempo, tenemos dos &#x00E1;reas, la de “<italic>Strong Signals</italic>” por encima de un umbral de frecuencia media, y la de “<italic>Weak Signals”</italic> por debajo de ese umbral, tal y como podemos ver en la <xref ref-type="fig" rid="F6">Figura 6</xref>.</p>
				
					<fig id="F6">
						<label>Figura 6</label>
						<caption>
							<title>Estructura de un mapa de palabras clave</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F6.jpg"/>
					</fig>

				</sec>
			</sec>
			
			<sec id="S4">

				<title>4. INTERPRETACI&#x00D3;N Y EVALUACI&#x00D3;N DE LOS RESULTADOS OBTENIDOS</title>

				<p>En el presente an&#x00E1;lisis cuantitativo, podemos concluir que los temas que contienen se&#x00F1;ales d&#x00E9;biles est&#x00E1;n relacionados con <italic>keywords</italic> de baja frecuencia de ocurrencia en valor absoluto, pero con un alto rango de fluctuaci&#x00F3;n en el incremento de frecuencia de ocurrencia. Por otro lado, ser&#x00E1;n se&#x00F1;ales fuertes aquellas palabras clave con alta frecuencia de ocurrencia y con alto grado de incremento. El mapa de apariciones de palabras clave (<italic>keyword emergence map</italic>), representado en la <xref ref-type="fig" rid="F7">Figura 7</xref>, se construye usando la media geom&#x00E9;trica de ratio de incremento ponderado con el tiempo de cada palabra clave (DoD) frente a la media absoluta de apariciones de ese t&#x00E9;rmino.</p>
				
					<fig id="F7">
						<label>Figura 7</label>
						<caption>
							<title>Mapa de apariciones de palabras clave (Keyword Emergence Map)</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F7.jpg"/>
					</fig>

				<p>Como se ha expresado anteriormente, el cl&#x00FA;ster de t&#x00E9;rminos situados en la regi&#x00F3;n de una frecuencia de aparici&#x00F3;n baja en nivel absoluto, pero con una media alta de ratio de incremento, representan <italic>weak signals</italic>. Estudiando la gr&#x00E1;fica obtenida, podemos extraer la siguiente <xref ref-type="table" rid="T2">Tabla II</xref> en la que representamos los t&#x00E9;rminos de <italic>weak signals</italic> m&#x00E1;s relevantes encontrados.</p>
				
					<fig id="T2">
						<label>Tabla II</label>
						<caption>
							<title>Listado de las keywords de weak signals m&#x00E1;s relevantes encontradas con respecto al mapa de apariciones de palabras clave</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T2.jpg"/>
					</fig>

				<p>De forma similar, se&#x00F1;ales futuras que tienen posibilidad de ser <italic>weak signals</italic> son t&#x00E9;rminos que presentan un patr&#x00F3;n anormal de ratio de incremento, pero raramente difundidos, es decir, con una frecuencia baja en valor absoluto de documentos en los que aparece ese t&#x00E9;rmino. El mapa de difusi&#x00F3;n de palabras clave (<italic>keyword issue map</italic>) se calcula usando la media geom&#x00E9;trica de la ratio de incremento de frecuencia de documentos (DoV) ponderado con el tiempo, y la media de frecuencia de documentos de cada elemento clave (<xref ref-type="fig" rid="F8">Figura 8</xref>).</p>
				
					<fig id="F8">
						<label>Figura 8</label>
						<caption>
							<title>Mapa de difusi&#x00F3;n de palabras clave (Keyword Issue Map)</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F8.jpg"/>
					</fig>

				<p>Del mismo modo, estudiando esta segunda gr&#x00E1;fica obtenida, podemos extraer la siguiente <xref ref-type="table" rid="T3">Tabla III</xref> en la que representamos los t&#x00E9;rminos de <italic>weak signals</italic> m&#x00E1;s relevantes encontrados.</p>
				
					<fig id="T3">
						<label>Tabla III</label>
						<caption>
							<title>Listado de las keywords de weak signals m&#x00E1;s relevantes encontradas con respecto al mapa de difusi&#x00F3;n de palabras clave</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T3.jpg"/>
					</fig>

				<p>Una de las palabras clave descubierta en ambas listas obtenidas es, curiosamente, el nombre del continente &#x00C1;frica que, por lo tanto, podemos concluir, tiene un comportamiento de una <italic>weak signal</italic>. En la <xref ref-type="table" rid="T4">Tabla IV</xref> podemos ver las cifras obtenidas para este t&#x00E9;rmino.</p>
				
					<fig id="T4">
						<label>Tabla IV</label>
						<caption>
							<title>Cifras obtenidas de media geom&#x00E9;trica de DoD y DoV de la palabra clave “&#x00C1;frica”</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/T4.jpg"/>
					</fig>

				<p>Como consecuencia y para cerciorarnos de la posibilidad de que &#x00C1;frica es una palabra clave relacionada con una <italic>weak signal</italic> en el &#x00E1;mbito de los paneles solares, estudiamos los documentos que contienen esa palabra clave. De esta manera, pudimos encontrar documentos que mostraban proyectos futuros relacionados con este continente, que a partir de 2016 se est&#x00E1;n convirtiendo en realidad, como muestran los art&#x00ED;culos destacados en la <xref ref-type="fig" rid="F9">Figura 9</xref> (Cembrero, <xref ref-type="bibr" rid="CIT04">2011</xref>), (Cooke, <xref ref-type="bibr" rid="CIT07">2015</xref>) y (Elcacho, <xref ref-type="bibr" rid="CIT12">2014</xref>).</p>

				
					<fig id="F9">
						<label>Figura 9</label>
						<caption>
							<title>Algunos art&#x00ED;culos period&#x00ED;sticos con la palabra clave “&#x00C1;frica”</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F9.jpg"/>
					</fig>
					
					
				<p>Otras palabras clave encontradas en ambas listas de DoD y DoV son, entre otras: aceleraci&#x00F3;n, &#x00E1;cidos, actuadores, adsorci&#x00F3;n, aerosol, asequible, agricultura, Ahmed, aire acondicionado, Argelia, alcalino, aleaci&#x00F3;n, alteraci&#x00F3;n, alternativas, aluminio, &#x00E1;ngulos, arg&#x00F3;n, &#x00E1;rido, arte, asi&#x00E1;tico, astronom&#x00ED;a, atm&#x00F3;sfera, autom&#x00E1;tico, barrera, <italic>benchmark</italic>, cuenca, bill&#x00F3;n, negro, binario, Boston, caja, c&#x00E1;todo, calcopirita, chimenea, ciudades, circular, nuboso, revestimiento, coloidal, columna, confort. Como vemos, las se&#x00F1;ales d&#x00E9;biles identificadas son de muchos tipos como diferentes materiales, geograf&#x00ED;as, aspectos relacionados, nombres propios, etc&#x00E9;tera.</p>

				<p>Se ha observado una alta correlaci&#x00F3;n entre los resultados obtenidos mediante nuestra arquitectura en comparaci&#x00F3;n con otros estudios similares (Yoon, <xref ref-type="bibr" rid="CIT46">2012</xref>). Sin embargo, en este estudio se validan los resultados obtenidos utilizando el mismo set de documentos que ha sido utilizado en los repositorios de entrada, por lo que b&#x00E1;sicamente est&#x00E1;n confirmando sus hip&#x00F3;tesis con los mismos documentos con los que se ha realizado el estudio, y no con nuevos.</p>

				<p>La manera convencional para comprobar si un sistema de clasificaci&#x00F3;n funciona de una manera correcta, es dividir el conjunto de datos disponible en tres m&#x00E1;s sencillos que realicen el entrenamiento, test y validaci&#x00F3;n. En el caso particular de la detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles, hemos podido comprobar que muchas de estas se&#x00F1;ales pasar&#x00ED;an desapercibidas utilizando esta metodolog&#x00ED;a de evaluaci&#x00F3;n de resultados. Las <italic>weak signals</italic> tienen una frecuencia absoluta generalmente muy baja, por lo que una se&#x00F1;al d&#x00E9;bil detectada en un set de test ser&#x00ED;a raramente vuelta a detectar en otro. Por esta raz&#x00F3;n, este m&#x00E9;todo de evaluaci&#x00F3;n fue descartado.</p>

				<p>El usar fuentes de diferentes tipos provee un mecanismo mejor para comprobar los resultados, por lo que la comprobaci&#x00F3;n de que las se&#x00F1;ales d&#x00E9;biles detectadas no son falsos positivos ha sido a trav&#x00E9;s de comprobar su detecci&#x00F3;n (y difusi&#x00F3;n) en el estudio independiente de cada uno de los tres tipos de fuentes (ScienceDirect, New York Times y Twitter), y en el resultado global sin discriminar el tipo de fuente.</p>

				<p>Otra &#x00FA;ltima manera para evaluar los resultados obtenidos es sabiendo que, desde el punto de vista de un estudio cuantitativo, las se&#x00F1;ales d&#x00E9;biles tienen un patr&#x00F3;n anormal en su comportamiento. Aunque son palabras con frecuencia de aparici&#x00F3;n baja, suelen presentar un alto rango de fluctuaci&#x00F3;n en la ratio de incremento de frecuencia. En la <xref ref-type="fig" rid="F10">Figura 10</xref> se puede observar el comportamiento fluctuante de los patrones DoV y DoD de la palabra &#x00C1;frica. Un m&#x00E9;todo de comprobaci&#x00F3;n implementado fue comprobar esta clase de comportamientos en las se&#x00F1;ales detectadas por el sistema.</p>
				
					<fig id="F10">
						<label>Figura 10</label>
						<caption>
							<title>Gr&#x00E1;ficas DoV y DoD de la palabra “&#x00C1;frica”</title>
						</caption>
						<graphic xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="../images/F10.jpg"/>
					</fig>
					
			</sec>
				
			<sec id="S5">

				<title>5. CONCLUSIONES Y TRABAJO FUTURO</title>

				<p>En este art&#x00ED;culo, se ha descrito la implementaci&#x00F3;n de un sistema para detectar se&#x00F1;ales d&#x00E9;biles de futuro bajo una aproximaci&#x00F3;n cuantitativa, con un an&#x00E1;lisis sobre el sector de los paneles solares. En contraste con otros trabajos actuales que se basan en informaciones estructuradas, con an&#x00E1;lisis cualitativos, o que simplemente se basan en datos de una &#x00FA;nica fuente, la detecci&#x00F3;n de estas se&#x00F1;ales se ha basado en documentos heterog&#x00E9;neos de varios tipos.</p>

				<p>El m&#x00E9;todo propuesto puede encontrar se&#x00F1;ales d&#x00E9;biles de una manera m&#x00E1;s eficiente que los humanos expertos en la materia bajo estudio, en el proceso de an&#x00E1;lisis de una inmensidad de documentos relacionados con esa tem&#x00E1;tica.</p>

				<p>Podemos concluir que se han cumplido los objetivos planteados al haber sido demostrado que es posible construir un sistema eficiente de detecci&#x00F3;n de se&#x00F1;ales d&#x00E9;biles, comenzando desde la confecci&#x00F3;n de repositorios de documentos de entrada en lenguaje natural, que siga el modelo semi&#x00F3;tico de Hiltunen y que procese los datos de forma cuantitativa.</p>

				<p>Por lo tanto, el sistema est&#x00E1; plenamente preparado para obtener resultados que pueden ayudar a expertos en negocios en el reconocimiento de nuevos factores clave de sus mercados y en el desarrollo de nuevas oportunidades.</p>

				<p>Una posible mejora para evitar la detecci&#x00F3;n de falsos positivos es considerar expresiones de m&#x00E1;s de una palabra, lo que mejorar&#x00ED;a sensiblemente el an&#x00E1;lisis sem&#x00E1;ntico y dar&#x00ED;a resultados m&#x00E1;s interesantes de interpretar. Tambi&#x00E9;n en el futuro, el sistema deber&#x00E1; testearse con documentos de entrada relacionados con otras tem&#x00E1;ticas distintas a la de los paneles solares, &#x00E1;rea empleada en este estudio. A priori, el sistema est&#x00E1; preparado para trabajar con cualquier set de documentos almacenados en los repositorios de entrada.</p>

				<p>Por otro lado, aunque en cada fase del proyecto se ha optimizado el c&#x00F3;digo y la arquitectura empleados en el sistema, ejecut&#x00E1;ndose multitud de procesos en paralelo, se seguir&#x00E1; mejorando la eficiencia del sistema mediante mejoras en su arquitectura hardware mediante la ejecuci&#x00F3;n en paralelo que permite las arquitecturas CUDA y la optimizaci&#x00F3;n correspondiente en su c&#x00F3;digo. CUDA son las siglas de Compute Unified Device Architecture (Arquitectura Unificada de Dispositivos de C&#x00F3;mputo) y hace referencia a una plataforma de computaci&#x00F3;n en paralelo creada por nVidia para codificar algoritmos en unidades de procesamiento gr&#x00E1;fico (GPU). La eficiencia del modelo implementado se puede mejorar aprovechando el gran paralelismo y el alto ancho de banda de la memoria en las GPU.</p>
								
		</sec>
			

	</body>

	
	<back>
	
		<ack>
			<title>6. AGRADECIMIENTOS</title>

			<p>Este trabajo est&#x00E1; parcialmente apoyado por EIT Climate KIC de la Uni&#x00F3;n Europea (proyecto Accelerator - TC2018B_2.2.5-ACCUPV_P066-1A).</p>

			<p>Esta investigaci&#x00F3;n forma parte del programa de Doctorado del Departamento de Ingenier&#x00ED;a Electr&#x00F3;nica de la Universitat Polit&#x00E8;cnica de Val&#x00E8;ncia.</p>	
			
			<p><bold>ACKNOWLEDGMENTS</bold></p>
			
			<p>This work is partially supported by EIT Climate KIC of the European Union (project Accelerator - TC2018B_2.2.5-ACCUPV_P066-1A).</p>

			<p>This research is also part of the PhD programme of the Departamento de Ingenier&#x00ED;a Electr&#x00F3;nica of the Universitat Polit&#x00E8;cnica de Val&#x00E8;ncia.</p>
			
		</ack>
	
		<ref-list>
			<title>7. REFERENCIAS</title>
				
				<ref id="CIT01">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ansoff</surname>
					  <given-names>H.I.</given-names>	  
				  </name>
			  </person-group>
			  <year>1975</year>
			  <article-title>Managing Strategic Surprise by Response to Weak Signals</article-title>
			  <source>California Management Review</source>
			  <volume>18</volume>
			  <issue>2</issue>
			  <fpage>21</fpage>
			  <lpage>33</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.2307/41164635">https://doi.org/10.2307/41164635</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT02"> 
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ansoff</surname>
					  <given-names>Η. I.</given-names>	  
				  </name>
				  <name>
					  <surname>McDonnell</surname>
					  <given-names>E. J.</given-names>	  
				  </name>
			  </person-group>
			  <year>1990</year>
			  <source>Implanting strategic management</source>
			  <publisher-loc>Cambridge</publisher-loc>
			  <publisher-name>Prentice Hall</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT03">
			<element-citation publication-type="webpage">
			  <collab>Beautiful Soup</collab>
			  <year>2018</year>
			  <article-title>Beautiful Soup Documentation</article-title>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="https://www.crummy.com/software/BeautifulSoup/bs4/doc/">https://www.crummy.com/software/BeautifulSoup/bs4/doc/</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT04">
			<element-citation publication-type="newspaper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Cembrero</surname>
					  <given-names>I.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>El gigantesco proyecto solar del S&#x00E1;hara abastecer&#x00E1; a Espa&#x00F1;a en 2015</article-title>
			  <source>El Pa&#x00ED;s</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://elpais.com/diario/2011/11/09/sociedad/1320793203_850215.html">http://elpais.com/diario/2011/11/09/sociedad/1320793203_850215.html</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

 			<ref id="CIT05">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Conesa-Caralt</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Curto-Diaz</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <source>Introducci&#x00F3;n al Business Intelligence</source>
			  <publisher-loc>Barcelona</publisher-loc>
			  <publisher-name>Editorial UOC</publisher-name>
 			</element-citation>
			
			</ref>

			<ref id="CIT06">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Connolly</surname>
					  <given-names>T.</given-names>	  
				  </name>
				  <name>
					  <surname>Begg</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <source>Database Systems: A Practical Approach to Design, Implementation, and Management</source>
			  <edition>4</edition>
			  <publisher-loc>London</publisher-loc>
			  <publisher-name>Addison-Wesley</publisher-name>
 			</element-citation>		
			</ref>

			<ref id="CIT07">
			<element-citation publication-type="webpage">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Cooke</surname>
					  <given-names>R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>&#x00C1;frica podr&#x00ED;a convertirse en la nueva esperanza para la producci&#x00F3;n de energ&#x00ED;a solar</article-title>
			  <source>Vice News</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="https://news-old-origin.vice.com/es/article/africa-convertirse-nueva-esperanza-produccion-energia-solar">https://news-old-origin.vice.com/es/article/africa-convertirse-nueva-esperanza-produccion-energia-solar</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT08">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Cooper</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Voigt</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Unterfrauner</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Kravcik</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Pawlowski</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Pirkkalainen</surname>
					  <given-names>H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <source>TELMAP. Report on Weak Signals Collection</source>
			  <publisher-loc>Bolton</publisher-loc>
			  <publisher-name>European Commission Seventh Framework Project (IST-257822)</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT09">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Dator</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <article-title>Universities without quality and quality without universities</article-title>
			  <source>On the Horizon</source>
			  <volume>13</volume>
			  <issue>4</issue>
			  <fpage>199</fpage>
			  <lpage>215</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/10748120510627321">https://doi.org/10.1108/10748120510627321</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT10"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Dedić</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Stanier</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Measuring the Success of Changes to Existing Business Intelligence Solutions to Improve Business Intelligence Reporting</article-title>
			  <source>Journal of Management Analytics</source>
			  <volume>4</volume>
			  <issue>2</issue>
			  <fpage>130</fpage>
			  <lpage>144</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1080/23270012.2017.1299048">https://doi.org/10.1080/23270012.2017.1299048</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT11">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Eisenhardt</surname>
					  <given-names>K.M.</given-names>	  
				  </name>
				  <name>
					  <surname>Brown</surname>
					  <given-names>S.L.</given-names>	  
				  </name>
 			  </person-group>
			  <year>1999</year>
			  <article-title>Patching: restitching business portfolios in dynamic markets</article-title>
			  <source>Harvard Business Review</source>
			  <volume>77</volume>
			  <issue>3</issue>
			  <fpage>72</fpage>
			  <lpage>82</lpage>
 			</element-citation>
			</ref>
			
			<ref id="CIT12">
			<element-citation publication-type="newspaper">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Elcacho</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2014</year>
			  <article-title>Megaproyecto para llevar energ&#x00ED;a solar desde el S&#x00E1;hara hasta Europa</article-title>
			  <source>La Vanguardia</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://www.lavanguardia.com/natural/20141022/54417391167/megaproyecto-tunur-energia-solar-electricidad-sahara-europa.html">http://www.lavanguardia.com/natural/20141022/54417391167/megaproyecto-tunur-energia-solar-electricidad-sahara-europa.html</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>  
			</element-citation>
			</ref>

			<ref id="CIT13">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Elmasri</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Navathe</surname>
					  <given-names>S.B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <source>Fundamentals of Database Systems</source>
			  <edition>6</edition>
			  <publisher-loc>Atlanta</publisher-loc>
			  <publisher-name>Addison-Wesley</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT14">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Finger</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Dutta</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2014</year>
			  <source>Ask, Measure, Learn: Using Social Media Analytics to Understand and Influence Customer Behavior</source>
			  <publisher-loc>Sebastopol</publisher-loc>
			  <publisher-name>O'Reilly Media</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT15">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Fischler</surname>
					  <given-names>M. A.</given-names>	  
				  </name>
				  <name>
					  <surname>Firschein</surname>
					  <given-names>O.</given-names>	  
				  </name>
			  </person-group>
			  <year>1987</year>
			  <source>Intelligence: The Eye, The Brain and The Computer</source>
			  <publisher-loc>Menlo Park</publisher-loc>
			  <publisher-name>Addison-Wesley</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT16">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Giovinazzo</surname>
					  <given-names>W.</given-names>	  
				  </name>
			  </person-group>
			  <year>2000</year>
			  <source>Object-Oriented Data Warehouse Design: Building a Star Schema</source>
			  <publisher-loc>Santa Ana</publisher-loc>
			  <publisher-name>Prentice-Hall</publisher-name>
 			</element-citation>
			</ref>

			<ref id="CIT17">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Godet</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>1994</year>
			  <source>From Anticipation to Action, A Handbook of Strategic Prospective</source>
			  <publisher-loc>Paris</publisher-loc>
			  <publisher-name>UNESCO Publishing</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT18">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Griol</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Patricio</surname>
					  <given-names>M.A.</given-names>	  
				  </name>
				  <name>
					  <surname>Molina</surname>
					  <given-names>J.M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>CALIMACO: desarrollo de un servicio de bibliotecario virtual para la interacci&#x00F3;n multimodal con dispositivos m&#x00F3;viles</article-title>
			  <source>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</source>
			  <volume>39</volume>
			  <issue>2</issue>
			  <elocation-id>e129</elocation-id>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.3989/redc.2016.2.1262">http://dx.doi.org/10.3989/redc.2016.2.1262</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT19">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Han</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Kamber</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Pei</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2001</year>
			  <source>Data Mining: Concepts and Techniques</source>
			  <publisher-loc>Waltham</publisher-loc>
			  <publisher-name>Morgan Kaufmann Publishers</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT20">
			<element-citation publication-type="newspaper">
			  <collab>Helsingin Sanomat</collab>
			  <year>2010</year>
 			  <article-title>Hennes &amp; Mauritz comenzar&#x00E1; a comercializar ropa usada bajo la etiqueta de Vintage</article-title>
			  <source>Helsingin Sanomat</source>
			</element-citation>
			</ref>
			
			<ref id="CIT21">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hern&#x00E1;ndez</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Ram&#x00ED;rez</surname>
					  <given-names>M.J.</given-names>	  
				  </name>
				  <name>
					  <surname>Ferri</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <source>Introducci&#x00F3;n a la miner&#x00ED;a de datos</source>
			  <publisher-loc>Valencia</publisher-loc>
			  <publisher-name>Pearson</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT22">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hiltunen</surname>
					  <given-names>E.</given-names>	  
				  </name>
 			  </person-group>
			  <year>2008</year>
			  <article-title>The future sign and its three dimensions</article-title>
			  <source>Futures</source>
			  <volume>40</volume>
			  <issue>3</issue>
			  <fpage>247</fpage>
			  <lpage>260</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.futures.2007.08.021">https://doi.org/10.1016/j.futures.2007.08.021</ext-link></comment>
			</element-citation>
			</ref>
						
			<ref id="CIT23">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ilmola</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Kuusi</surname>
					  <given-names>O.</given-names>	  
				  </name>
 			  </person-group>
			  <year>2006</year>
			  <article-title>Filters of weak signals hinder foresight: Monitoring weak signals efficiently in corporate decision-making</article-title>
			  <source>Futures</source>
			  <volume>38</volume>
			  <issue>8</issue>
			  <fpage>908</fpage>
			  <lpage>924</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.futures.2005.12.019">https://doi.org/10.1016/j.futures.2005.12.019</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT24">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Inmon</surname>
					  <given-names>W.H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <source>Building the Data Warehouse</source>
			  <edition>4</edition>
			  <publisher-loc>Indianapolis</publisher-loc>
			  <publisher-name>John Wiley</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT25">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jung</surname>
					  <given-names>K.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <source>A study of foresight method based on text mining and complexity network analysis</source>
			  <publisher-loc>Seoul</publisher-loc>
			  <publisher-name>KISTEP</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT26">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Khan</surname>
					  <given-names>R.A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>KDD for Business Intelligence</article-title>
			  <source>Journal of Knowledge Management Practice</source>
			  <volume>13</volume>
			  <issue>2</issue>
			</element-citation>
			</ref>
			
			<ref id="CIT27">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kimball</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Ross</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <source>The Data Warehouse Toolkit: the complete guide to dimensional modelling</source>
			  <publisher-loc>Indianapolis</publisher-loc>
			  <publisher-name>John Wiley</publisher-name>
			</element-citation>
			</ref>
						
			<ref id="CIT28">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Koivisto</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Kulmala</surname>
					  <given-names>I.</given-names>	  
				  </name>
				  <name>
					  <surname>Gotcheva</surname>
					  <given-names>N.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>Weak signals and damage scenarios. Systematics to identify weak signals and their sources related to mass transport attacks</article-title>
			  <source>Finland Technological Forecasting and Social Change</source>
			  <volume>104</volume>
			  <fpage>180</fpage>
			  <lpage>190</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.techfore.2015.12.010">https://doi.org/10.1016/j.techfore.2015.12.010</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT29"> 
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kuusi</surname>
					  <given-names>O.</given-names>	  
				  </name>
				  <name>
					  <surname>Hiltunen</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2007</year>
			  <source>The Signification Process of the Future Sign</source>
			  <publisher-loc>Turku</publisher-loc>
			  <publisher-name>Finland Futures Research Centre</publisher-name>
			  <comment>ebook 4/2007</comment>
			</element-citation>
			</ref>

			<ref id="CIT30">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Mannermaa</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>1999</year>
			  <source>Tulevaisuuden hallinta skenaariot strategiatyoskentelyssa. (Managing the future, Scenarios in strategy work)</source>
			  <publisher-loc>Provoo</publisher-loc>
			  <publisher-name>WSOY</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT31">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>MohamadiBaghmolaei</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Mozafari</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Hamzeh</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Continuous states latency aware influence maximization in social networks</article-title>
			  <source>AI Communications</source>
			  <volume>30</volume>
			  <issue>2</issue>
			  <fpage>99</fpage>
			  <lpage>116</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.3233/AIC-170720">https://doi.org/10.3233/AIC-170720</ext-link></comment> 
			</element-citation>
			</ref>

			<ref id="CIT32">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Molitor</surname>
					  <given-names>G.T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2003</year>
			  <article-title>Molitor Forecasting Model: Key Dimensions for Plotting the Patterns of Change</article-title>
			  <source>Journal of Future Studies</source>
			  <volume>8</volume>
			  <issue>1</issue>
			  <fpage>61</fpage>
			  <lpage>72</lpage>
			</element-citation>
			</ref>

			<ref id="CIT33">
			<element-citation publication-type="webpage">
			  <collab>MongoDB</collab>
			  <year>2018</year>
			  <article-title>Documentaci&#x00F3;n de MongoDB</article-title>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="https://www.mongodb.com/es">https://www.mongodb.com/es</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT34">
			<element-citation publication-type="webpage">
			  <collab>Natural Language Toolkit</collab>
			  <year>2018</year>
			  <article-title>NLTK 3.3 Documentation</article-title>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="https://www.nltk.org/">https://www.nltk.org/</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT35">
			<element-citation publication-type="newspaper">
			  <collab>New York Times</collab>
			  <year>2018</year>
			  <source>New York Times</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://www.nytimes.com">http://www.nytimes.com</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT36">
			<element-citation publication-type="thesis">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Nikander</surname>
					  <given-names>I.O.</given-names>	  
				  </name>
			  </person-group>
			  <year>2002</year>
			  <source>Early Warnings, A Phenomenon in Project Management</source>
			  <publisher-loc>Helsinki</publisher-loc>
			  <publisher-name>Helsinki University of Technology</publisher-name>
			  <comment>Dissertation for the degree of Doctor of Science in Technology</comment>
			</element-citation>
			</ref>

			<ref id="CIT37"> 
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Peirce</surname>
					  <given-names>C.S.</given-names>	  
				  </name>
			  </person-group>
			  <year>1868</year>
			  <article-title>Some Consequences of Four Incapacities</article-title>
			  <source>Journal of Speculative Philosophy</source>
			  <volume>2</volume>
			  <issue>3</issue>
			  <fpage>140</fpage>
			  <lpage>157</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.jstor.org/stable/i25665647">https://www.jstor.org/stable/i25665647</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT38">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Salton</surname>
					  <given-names>G.</given-names>	  
				  </name>
				  <name>
					  <surname>Buckley</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>1988</year>
			  <article-title>Term-weighting approaches in automatic text retrieval</article-title>
			  <source>Information Processing &amp; Management</source>
			  <volume>24</volume>
			  <issue>5</issue>
			  <fpage>513</fpage>
			  <lpage>523</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/0306-4573(88)90021-0">http://dx.doi.org/10.1016/0306-4573(88)90021-0</ext-link></comment> 
			</element-citation>
			</ref>
			
			<ref id="CIT39">
			<element-citation publication-type="webpage">
			  <collab>ScienceDirect</collab>
			  <year>2018</year>
			  <source>Science Direct</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://www.sciencedirect.com/">http://www.sciencedirect.com/</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>
			
			<ref id="CIT40">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Siegel</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <source>Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die</source>
			  <publisher-loc>New Jersey</publisher-loc>
			  <publisher-name>John Wiley</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT41">
			<element-citation publication-type="webpage">
			  <collab>Twitter</collab>
			  <year>2018a</year>
			  <source>Twitter</source>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://www.twitter.com">http://www.twitter.com</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT42">
			<element-citation publication-type="webpage">
			  <collab>Twitter</collab>
			  <year>2018b</year>
			  <article-title>Twitter API Documentation</article-title>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="https://dev.twitter.com/rest/public">https://dev.twitter.com/rest/public</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT43">
			<element-citation publication-type="webpage">
			  <collab>UNESCO World Heritage Centre</collab>
			  <year>2008</year>
			  <article-title>List of factors affecting the properties</article-title>
			  <comment>Disponible en: <ext-link ext-link-type="uri" xlink:href="http://whc.unesco.org/en/factors/">http://whc.unesco.org/en/factors/</ext-link></comment>
			  <date-in-citation content-type="access-date">[Fecha de consulta: 1/09/2018]</date-in-citation>
			</element-citation>
			</ref>

			<ref id="CIT44">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Witten</surname>
					  <given-names>I.H.</given-names>	  
				  </name>
				  <name>
					  <surname>Frank</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2005</year>
			  <source>Data Mining: Practical Machine Learning Tools and Techniques</source>
			  <edition>2</edition>
			  <publisher-loc>San Francisco</publisher-loc>
			  <publisher-name>The Morgan Kaufmann Series in Data Management Systems</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT45">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Yoo</surname>
					  <given-names>S.H.</given-names>	  
				  </name>
				  <name>
					  <surname>Park</surname>
					  <given-names>H.W.</given-names>	  
				  </name>
				  <name>
					  <surname>Kim</surname>
					  <given-names>K.H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2009</year>
			  <article-title>A study on exploring weak signals of technology innovation using informetrics</article-title>
			  <source>Journal of Technology Innovation</source>
			  <volume>17</volume>
			  <issue>2</issue>
			  <fpage>109</fpage>
			  <lpage>130</lpage>
			</element-citation>
			</ref>

			<ref id="CIT46">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Yoon</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012</year>
			  <article-title>Detecting weak signals for long-term business opportunities using text mining of Web news</article-title>
			  <source>Expert Systems with Applications</source>
			  <volume>39</volume>
			  <issue>16</issue>
			  <fpage>12543</fpage>
			  <lpage>12550</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.eswa.2012.04.059">http://dx.doi.org/10.1016/j.eswa.2012.04.059</ext-link></comment>
			</element-citation>
			</ref>
			
		</ref-list>
		
	</back>
</article>
