Actualmente existe un gran número de aplicaciones individuales y aisladas (desarrollos a medida, aplicaciones comerciales, soluciones mixtas) que se ejecutan en diferentes servidores, tienen diferentes fuentes de datos y utilizan diferentes formatos de información, distribuidas geográficamente y con diferentes propietarios.
En estos entornos, es deseable una capa de integración que permita un intercambio de información fiable entre todas estas aplicaciones heterogéneas y la compartición de funciones y procesos entre ellas de una manera completamente interoperable.
A partir de un estilo de integración de BBDD compartida, puede definirse Business Intelligence como el conjunto de herramientas, aplicaciones, tecnologías, soluciones y procesos que permiten a diferentes usuarios acceder a información valiosa para la toma de decisiones proveniente de distintas fuentes de datos.
Partiendo de esta definición surge la adaptación realizada por Wonderware que acuña el concepto Low Latency Data Intelligence (LLDI) y que a su vez se define como el conjunto de herramientas, aplicaciones, tecnologías, soluciones y procesos que permiten a diferentes usuarios acceder a información valiosa para la toma de decisiones proveniente de datos asociados a entornos industriales y/o infraestructuras que son gestionados con sistemas tipo SCADA, BMS, DCS, HMI…y otros datos de carácter transaccional. Puede observarse que uno de los factores diferenciales del enfoque LLDI es que tradicionalmente los proveedores de soluciones BI sólo consolidan datos de BBDD transaccionales, obviando la información que generan los sistemas de información asociados a entornos industriales o infraestructuras.
Las soluciones LLDI se desarrollan partiendo de procesos ETL (Extract, Transform and Load).
El proceso de extracción consiste en comunicar con diferentes fuentes de datos y la capacidad de leer la información contenida en dichas fuentes. Estas fuentes pueden ser BBDD transaccionales tipo SQL y Oracle, BBDD asociadas a entornos industriales (Historian, PI, etc..), servidores OPC o ficheros planos (.txt o .csv).
El proceso de transformación consiste en contextualizar la información bruta recogida de las distintas fuentes de datos.
Por último, el proceso de carga consiste en almacenar toda esta información ya contextualizada en un repositorio centralizado que normalmente recibe el nombre de Datawarehouse. Asociado a este repositorio suelen vincularse otras bases de datos. Una BBDD en la que se recogen los datos de configuración y metadatos y otras BBDD que son pequeñas réplicas del Datawarehouse central que reciben el nombre de Datamart.
Se puede convenir que asociado a estos procesos ETL, existe un proceso de explotación de la información. Es decir, una vez que los datos están contextualizados, almacenados y disponibles en el Datawarehouse, existen herramientas que permiten explotar dicha información. Esta explotación permite realizar minería de datos (Data Mining), visualizar los principales indicadores de gestión (KPI) y definir informes predefinidos.
Es necesario precisar, que más del 80% del esfuerzo que requiere el desarrollo de una solución LLDI se concentra en la realización de los procesos ETL y no tanto en la configuración o parametrización de las herramientas vinculadas a la explotación de la información.
A partir de los conceptos antes nombrados, Wonderware Intelligence 1.5 permite abordar tanto los procesos ETL como los de explotación de la información con soluciones estándares, fácilmente parametrizables y permitiendo un aproximación escalonada.
Para desarrollar los procesos ETL, Wonderware Intelligence 1.5 proporciona tres plantillas de objetos que se integran de forma natural en el entorno de desarrollo de System Platform, el Integrated Development Studio (IDE) e incorpora una BBDD predefinida basada en SQL donde se almacenan todos los datos contextualizados (que recibe el nombre de Intelligence) que cubre el proceso de carga (Load). Estas plantillas de objetos son:
$Data Sources (que permiten los procesos Extract): son interfaces con diferentes fuentes de datos (Historian, SQL Server, Oracle, Access, Text (CSV), OSIsoft PI Server...)
$Dimension (que permite los procesos Transform): las dimensiones son variables que permiten contextualizar las medidas. Ejemplo: turno, equipo, producto…
Es decir la información puede proporcionarse de forma NO CONTEXTUALIZADA. Ejemplo: 10.000 litros de agua desalados (sólo con la medida), o bien puede proporcionarse de forma CONTEXTUALIZADA. Ejemplo: 10.000 litros de agua desalados, el día 28 de febrero, durante el turno de mañana, con el equipo de personas 3, utilizando los filtros de arena 1 y 3 y consumiendo 30.000 Kwh.
Wonderware Intelligence proporciona el entorno de desarrollo que permite integrar información de diferentes fuentes de datos, definir las medidas y contextualizarlas a través de diferentes dimensiones.
Adicionalmente, para realizar los procesos de explotación de la información, Wonderware Intelligence 1.5 incluye herramientas de reporting basadas en la solución Tableu Software. En cualquier caso es preciso matizar que la información contextualizada que está recogida en la base de datos Intelligence puede ser explota con cualquier otra herramienta de explotación de información (tipo Click View, Cognos, Microstrategy...), ya que se trata de una BBDD SQL accesible vía ODBC y OLE DB.
Se puede concluir que las principales funcionalidades de Wonderware Intelligence 1.5 son las siguientes:
- Crea información contextualizada en tiempo real a partir de datos de diferentes fuentes.
- Permite estandarizar y homogenizar procesos de integración de datos.
- Facilita el desarrollo de cuadros de mando sin necesidad de programación.
- Combina información en tiempo real e información transaccional.
- Utiliza un único entorno de desarrollo para gestionar ambos tipos de información.
2 comentarios:
Buenas gran articulo, pero hay cosas que no son del todo ciertas en un Proceso de ETL, no solo se ataca a bbdd , también a txt,csv,xml,excel y casi cualquier fichero o proceso,yo uso una herramienta OS para eso PDI de Pentaho,si la veis podréis comprobar que hay infinidad de pasos de entrada.
Pero gran post
Completamente de acuerdo. De hecho en la entrada hago mención a la idea que compartes. Te adjunto un extracto de la misma en la que me refiero al tema que tratas:
"El proceso de extracción consiste en comunicar con diferentes fuentes de datos y la capacidad de leer la información contenida en dichas fuentes. Estas fuentes pueden ser BBDD transaccionales tipo SQL y Oracle, BBDD asociadas a entornos industriales (Historian, PI, etc..), servidores OPC o ficheros planos (.txt o .csv)."
Publicar un comentario