DataOps: DevOps más Big Data
- Gestión de apps
DataOps es una extensión interesante de DevOps. Aún necesita toda la parte de codificación para obtener datos en el sistema y las consultas se mantienen constantemente. De hecho, si bien el lado de desarrollo en un entorno DataOps puede ser (pero no necesariamente) más ligero, el lado de las operaciones es casi siempre más complejo.
No importa el motor de big data en uso, es un sistema complejo. La otra parte de DevOps, el monitoreo y la administración continuos, también es más complejo en un entorno de big dat.
Una vez que los sistemas DevOps normales estén en su lugar, las herramientas de importación de datos / ETL también deberán ser compatibles. El volumen que estas herramientas procesan en un día hace que su inclusión en DevOps en un entorno de gran cantidad de datos sea crítica. Si la captación de datos es lenta o si los datos en sí son inexactos, hay un impacto en la organización. Este paso también requiere la inclusión de científicos de datos, personas que tradicionalmente no han sido incorporadas al modelo DevOps. Pero son los que pueden medir la precisión de los datos, y normalmente son responsables de la adquisición de datos de todos modos.
Lo que nos lleva a la etapa de monitoreo y gestión de DataOps. Normalmente, cuando hablamos de monitoreo y administración en DevOps, estamos hablando de herramientas que en última instancia ayudan con cosas como disponibilidad, capacidad de respuesta, autoescalado y recuperación. DataOps necesita todas estas cosas, como cualquier otra aplicación.
Un conocimiento del estado de los datos es imperativo. Ya sea que se trate de una pieza de código errónea o de envenenamiento de datos, controlar la salud de los archivos de big data es esencial para evitar que los resultados se salgan de control. Este monitoreo involucrará nuevamente a las personas que conocen los datos. Este proceso iterativo deberá ejecutarse de manera relativamente constante, verificando lo que hace que los datos sean valiosos, normalmente usando verificaciones de campo para verificar que los datos no se han corrompido de alguna manera, o comparando los promedios de tendencias con el promedio actual para monitorear los cambios bruscos en los resultados.
DataOps existe desde hace algunos años, y mientras los científicos de datos lo usan, aún no ha ganado una gran influencia en la empresa. Mover grandes entornos impulsados por datos a DevOps es un gran esfuerzo. Pero los beneficios son una mayor conciencia de la calidad de los datos y de los problemas de calidad de los datos, junto con sistemas y equipos más receptivos. La cantidad de datos disponibles para cualquier organización se encuentra actualmente en un aumento masivo. Vale la pena conseguir la automatización y la cooperación de DataOps en la mezcla lo antes posible.
Descubre la innovación
Para asegurar el éxito empresarial, ahora y a futuro, es imprescindible maximizar el retorno de la inversión existente en software, a la vez que innovar y adoptar nuevas tecnologías. Los retos que hay abordar para competir en un mundo de TI Híbrida incluyen DevOps, Seguridad, Gestión de riesgos y Análisis predictivo. Puedes obtener más información sobre cómo abordar estos retos e innovar en este enlace.
