Bajo el término de Big Data se hace referencia a la necesidad de gestionar grandes volúmenes de datos en sistemas y almacenamientos dispares, que no pueden llevarse a cabo a través de los sistemas informáticos tradicionales, y donde las bases de datos relacionales no cubren las necesidades y requerimientos que aparecen en este contexto, y donde los datos están distribuidos en gran diversidad de formatos, tipos y/o fuentes de datos.
Se entiende por gestión, no sólo el almacenamiento de toda esta información, si no también, la capacidad de procesarla en un tiempo razonable, obteniendo datos que aporten un valor determinado a las empresas o personas.
Para ello, se requieren de soluciones y/o productos que permitan llevar a cabo la manipulación de datos precisas. Estas soluciones acaban englobas en dos áreas principales:
- Procesamiento y manipulación de fuentes de datos dispares con Apache Hadoop.
- Procesamiento y manipulación sobre bases de datos NoSQL.
Mientras que las soluciones basadas en Apache Hadoop están más pensadas para las capas de almacenamiento y procesamiento de grandes volúmenes de datos, las bases de datos NoSQL se han convertido en el éstandar de facto para el almacenamiento de grandes cantidades de datos ya procesados, de rápida respuesta en la resolución de consultas, que permitan a la capa de presentación (aplicaciones propias, aplicaciones web, aplicaciones de inteligencia de negocio, ...) presentar los resultados en tiempo real.
Existen distintos tipos de bases de datos NoSQL, dependiendo de cómo estas almacenan y procesan la información:
- Documentales: Este tipo de base de datos almacena la información como documentos, generalmente haciendo uso de estructuras simples basadas en JSON o XML y donde se utiliza una clave única para cada registro. Estas bases de datos aportan gran versatilidad, lo que las permite utilizar en gran cantidad de proyectos. Algunos ejemplos de bases de datos que pertenecen a este grupo son: MongoDB, Couchbase o CouchDB
- Columnares: Estas bases de datos agrupan la información en columnas y están pensadas para agrupar muchos datos a una única clave, siendo óptimas para el manejo de datos agrupados en muchas columnas y pocas filas (al contrario que las RDBMS). Ejemplos de estas bases de datos son: HBase, Cassandra o Accumulo.
- Clave-Valor: Son bases de datos simples, que organizan la información en base a clave-valor, lo que permiten que tengan altos niveles de rendimiento. Esta simplicidad, a su vez, hace que no sean viables para todos los proyectos. Algunos ejemplos de este tipo de base de datos son: Redis, Memcached, Riak KV o Oracle NoSQL.
- Grafo: En este tipo de bases de datos, los datos se organizan en nodos dentro de un árbol complejo (grafo) que permite almacenar a su vez la relación con otros datos relacionados. Este tipo de bases de datos ofrece una navegación más eficiente entre relaciones que en un modelo relacional. Ejemplos de este tipo de bases de datos son: Neo4j, Titan o Giraph.
Estos sistemas se están implantando cada vez más, en diversidad de sectores empresariales y casos de uso:
- Para una empresa de venta al consumidor, como grandes superficies comerciales, puedes analizar el perfil y comprobar en función de los gustos del consumidor qué recomendaciones se le pueden realizar. Lo que no se sabe es el estado de ánimo del consumidor en ese instante, para por ejemplo, recomendar un tipo de música para ese momento, o si el consumidor acaba de comenzar una relación sentimental y le puede sugerir una recomendación para hacer un regalo.
- Para una empresa de anuncios, analizar todos los datos del consumidor: su posición actual, sus gustos, su estado de ánimo, etc. repercutirá enormemente en el éxito del anuncio o recomendación enviada al consumidor.
- En el sector financiero, poder analizar todos los datos, tanto directos como indirectos, en tiempo real y poder hacer predicciones efectivas sobre el mercado puede ser un factor diferencial en millones de euros.
- En el sector de entretenimiento, analizar no sólo los gustos de los consumidores, sino también su evolución, va a permitirte estar por delante de la competencia: productoras de películas, series, canales de televisión, juegos masivos, parques temáticos...
- En el sector de la salud y medicina, analizar las búsquedas realizadas por parte de los usuarios en Internet, puede dar datos cruciales de sobre aviso y evolución de pandemias
- En el mundo on-line, los sistemas tradicionales de sitios web se basan en ofrecer sus contenidos al consumidor, el cual puede querer o no, y quitando algunos filtros, es el mismo contenido para todas las personas. En el futuro, los sitios web serán completamente distintos dependiendo de la persona que lo mire y de su estado emocional.
- Para los sistemas de defensa y antiterrorismo, el poder avanzarse a una acción ofensiva, es crucial, por lo que poder analizar y cruzar todo tipo de información para poder tener predicciones efectivas evitaría todo tipo de conflictos y acciones terroristas.
- Para las aseguradoras, el poder disponer de toda la información del asegurado, puede permitir mejorar la propuesta de servicios y costes asociados, así como la detección de posibles fraudes.
Dentro de la diversidad de tipos de bases de datos NoSQL, y fabricantes, la que se se ha posicionado a nivel mundial como referente y la más implantada es la base de datos de MongoDB:
Fuente: http://db-engines.com/en/ranking - 05/12/2016
Es por todo ello que el Centro de Formación TIC de la Comunidad de Madrid, ha apostado en la formación oficial de MongoDB, habiendo dispuesto planes formativos para desempleados orientados tanto para desarrolladores como administradores que deseen orientar su carrera profesional hacia este área.
Podréis encontrar más información sobre estas formaciones en:
http://cftic.centrosdeformacion.empleo.madrid.org/cursos-2016-17#mongo
Escrito por: José Pérez de Core Networks.