¿Qué es MapReduce?

Ya hemos hablado en entradas anteriores de las aplicaciones de Big Data. Este tipo de aplicaciones suelen explotar el paralelismo de datos, de manera que diferentes núcleos de procesador, procesadores o nodos de cómputo (dependiendo de la arquitectura que haya por debajo) realicen las mismas tareas sobre conjuntos de datos diferentes para producir un resultado en el menor tiempo posible,

MapReduce es un framework o entorno de desarrollo (pensado para lenguaje C inicialmente, aunque luego se han implementado versiones para otros lenguajes como Java) que permite trabajar en paralelo con grandes cantidades de datos en sistemas de memoria distribuida (clusters, sistemas Grid y entornos Cloud).

Con este entorno tanto los datos de entrada como los de salida (los resultados) se almacenan en ficheros, así como todos los resultados intermedios que se produzcan. Se basa en el modelo maestro/esclavo, de manera que uno de los nodos de cómputo lleve el control del programa y vaya enviando trabajo al resto de los nodos (los esclavos) según vayan quedando libres. Se ofrecen dos interfaces a los programas de usuario: el de Map y  el de Reduce. El interfaz Map mapea los datos iniciales que aparecen en el fichero de entrada a pares clave/valor intermedios con los que sea más fácil trabajar. Después de ordenar, agrupar, filtrar, etc; estos pares con interfaces internos, el interfaz Reduce, reduce de alguna forma los pares intermedios a un conjunto de datos menor que el inicial en el que se agrupan los que comparten la misma clave. El ejemplo típico es el de la cuenta de palabras (está extraído de este enlace).

MapReduce nos facilita las siguientes tareas:

• Particionamiento de datos y de cómputo.
• Tratamiento de ficheros de entrada y de salida.
• Sincronización (hasta que todos los esclavos no terminan de hacer el Map, no se comienza con las tareas de Reduce).
• Comunicación (que se realiza mediante RPC).
• Sort y Group (interfaces internos para trabajar en paralelo con los grandes conjuntos de datos).
• Map y Reduce (interfaces externos disponibles para los programas de usuario).

En futuras entradas hablaremos de las implementaciones que existen de este framework en la actualidad y haremos una comparativa entre ellas.

NoSQL

Con este término nos referimos a sistemas de gestión de bases de datos que no utilizan el lenguaje de consultas SQL ya que la información, a diferencia de en los sistemas relacionales clásicos se almacena de manera estructurada pero no obligatoriamente en forma de tablas (existen bases de datos de documentos, de objetos, de pares clave-valor, aunque también las hay tabulares).

Las bases de datos NoSQL no suelen garantizar completamente las propiedades ACID (atomicidad, coherencia, aislamiento y durabilidad), pero presentan la ventaja de estar muy optimizadas para realizar las operaciones de recuperar y agregar información en tiempo real, son altamente escalables y el tiempo de proceso no es un cuello de botella ni siquiera manejando grandes cantidades de datos.

Esto ha hecho que en entornos de Big Data (de los que ya hemos hablado en entradas anteriores) se haya optado en muchos casos por estos tipos de bases de datos, ya que las tres Vs (velocidad, volumen y variedad) hacen que el modelo de datos típico en estos entornos pueda aprovechar a la perfección estas características.

Tanto las grandes compañías del mundo de las redes sociales (Twitter y Facebook) como otras grandes de Internet (como Google o Amazon) han optado por este tipo de bases de datos para algunas de sus aplicaciones. E incluso en algunos casos, han diseñado sus propios sistemas de gestión. Hablaremos de alguno de ellos en futuras entradas.

Autonomic Computing

El número de nodos de los sistemas distribuidos en muchos de sus campos de aplicación está creciendo de manera espectacular en los últimos años. Este crecimiento añade una gran complejidad a la gestión de los sistemas, y en muchos casos, es esta complejidad la que limita el crecimiento de las infraestructuras tecnológicos y no, como se podría pensar sus costes o sus consumos energéticos.

Cuando se habla de Autonomic Computing, concepto introducido en el año 2001 por IBM, se trata de diseñar sistemas que se autogestionen de manera que se reduzca la complejidad de su integración, gestión y operación. Los sistemas autónomos deben cumplir, como mínimo tres propiedades: la automatización, la capacidad de adaptación y la conciencia del entorno.

Aunque existen diferentes aproximaciones al problema, este tipo de sistemas suele basar su diseño en el sistema nervioso humano y en la implementación de bucles de control que permitan realizar ciclos de monitorización, análisis, planificación, ejecución y predicción cuyos objetivos sean la auto-protección, la auto-configuración, el auto-mantenimiento, la auto-optimización, etc. 

Aunque parece que este es el futuro de las grandes infraestructuras desplegadas, por ejemplo, por los proveedores Cloud más importantes, en el campo de la autonomía todavía queda mucho por avanzar, y en los centros de datos actuales no se puede hablar de Autonomic Computing más que a niveles muy básicos, siendo todavía necesaria mucha intervención humana en la mayor parte de los procesos. Poco a poco.

Criterios para virtualizar sistemas de información

En esta entrada se analizaba el motivo principal por el que la virtualización se ha convertido en una práctica muy extendida en el ámbito de la gestión industrial. Dicho motivo es que permite la reducción del coste de propiedad (TCO) de los sistemas de información desplegados en una organización. 

Además de este motivo principal, a continuación se relacionan algunos de los criterios por los que una organización puede decidir si adapta su infraestructura tecnológica a un entorno virtualizado. En general, una organización debería plantearse virtualizar sus sistemas si:

• Dentro de su estrategia corporativa, la sostenibilidad es un factor clave para alcanzar una ventaja competitiva. Es decir, si la empresa está llevando a cabo iniciativas de Green IT, Green Computing, eficiencia energética, reducción de huella de carbono, etc. La virtualización ayuda a reducir las emisiones y consumos de energía que generan los servidores y máquinas físicas.

• Existe la necesidad de movilidad y/o replicación de sistemas en entornos distribuidos geográficamente.

• Se están llevando a cabo estrategias de estandarización y homogenización tecnológica que requieran desplegar máquinas virtuales parecidas en diferentes host físicos.

La virtualización en entornos industriales

Durante los últimos meses se ha extendido la práctica de virtualizar la infraestructura hardware asociada a proyectos que se desarrollan en el ámbito de la gestión industrial. Esto se debe a que en muchas ocasiones, se tiene la percepción de que, por un lado, el hecho de utilizar máquinas virtuales para desplegar el software SCADA, MES, BMS, BI, etc…va a abaratar el coste inicial de un proyecto (al sustituir máquinas físicas por máquinas virtuales), y por otro, que la virtualización requiere de menos recursos de cómputo para ejecutar aplicaciones.

A partir de la experiencia en multitud de proyectos, se ha podido corroborar que estas ideas son erróneas.  El coste de adquisición de los equipos hardware que sean capaces de ejecutar máquinas virtuales obteniendo el mismo rendimiento que las máquinas físicas es siempre más elevado, ya que se requieren host físicos que sean capaces de ejecutar todas las tareas que antes se hacían en diferentes máquinas físicas.

En cuanto a la necesidad de cómputo, algunas estimaciones apuntan que para ejecutar una aplicación virtualizada es necesario incorporar como mínimo un 25% más de capacidad. Por ejemplo, si en un proyecto se requieren dos servidores de aplicación en redundancia (cada uno de ellos con 4GB de RAM) y un servidor de históricos (con otros 4GB de RAM), el host físico debería tener como mínimo 16GB de RAM para poder ejecutar tres máquinas virtuales a las que se les asocie como mínimo la misma capacidad de memoria principal.

¿Por qué se virtualiza entonces? Principalmente porque aunque el coste de adquisición es en principio más elevado, el coste de propiedad (Total Cost of Ownership) puede llegar a reducirse si se realiza una correcta gestión del entorno virtualizado. Es decir, las ventajas que proporciona la virtualización como reducir el número de infraestructura hardware (y por tanto el coste de mantenimiento del host físico), la facilidad para replicar máquinas (reduciendo el coste de puesta en marcha de proyectos en los que la infraestructura hardware sea parecida) o la flexibilidad para llevar a cabo estrategias de estandarización y homogenización, hacen que los costes de mantenimiento en general se reduzcan drásticamente, contrayendo así el coste de propiedad de los sistemas de información desplegados en una organización.