Qué es la Ingeniería de confiabilidad de datos (DRE)

  • Gestión de información

A medida que el mundo de los negocios comienza a confiar más en el aprendizaje automático, la precisión de los datos subyacentes en los que se entrenan los modelos de Machine Learning se ha vuelto mucho más frecuente.

Ya no es aceptable tener datos "en su mayoría" buenos; Incluso la menor cantidad de datos "malos" puede causar imprecisiones en el análisis predictivo. Los científicos de datos a menudo lamentan el hecho de que gran parte de su tiempo se dedica a limpiar datos en lugar de producir los modelos para los que están capacitados.

El otro problema con la calidad de los datos es que los equipos de desarrollo de funciones pueden pasar varios días dentro de un sprint simplemente tratando de llegar al fondo de los fallos. Esto significa que los elementos prometidos de la hoja de ruta se empujan más y más atrás, lo que hace que los equipos sean menos eficientes y provoquen frustración y desconfianza por parte de las partes interesadas.

Entonces, ¿qué podemos hacer al respecto?

Ingeniería de confiabilidad de datos (DRE)

DRE es lo que obtiene cuando trata las operaciones de datos como un problema de ingeniería de software. Utilizando la filosofía de SRE, los ingenieros de confiabilidad de datos son 20% de operaciones y 80% desarrolladores. No se trata de ser un equipo de soporte de producción; se trata de ser un equipo de desarrollo talentoso y experimentado que se especializa en canalizaciones de datos en múltiples disciplinas técnicas.

  • La misión de 6 pasos de DRE es:
  • Aplicar prácticas de ingeniería para identificar y corregir fallos en la tubería de datos.
  • Utilizar el conocimiento especializado para analizar tuberías en busca de puntos débiles y posibles puntos de fallo y solucionarlos.
  • Para determinar mejores formas de hacer frente a fallos y aumentar la automatización de la funcionalidad de reprocesamiento
  • Para trabajar con desarrolladores de tuberías para asesorar sobre posibles problemas de DQ con nuevos diseños
  • Utilizar y contribuir a los productos de software Open Source DQ
  • Mejorar la "tasa de saber primero" para problemas de DQ

Por lo tanto, el equipo de DRE es dueño de la falla, la solución y el mensaje a los usuarios. Pueden recurrir a la ayuda de los desarrolladores del equipo de funciones si se requiere un conocimiento especializado, pero su objetivo es manejar la mayor cantidad posible de información interna, lo que libera a los equipos de funciones para continuar con su hoja de ruta.

Descubre la innovación

Para asegurar el éxito empresarial, ahora y a futuro, es imprescindible maximizar el retorno de la inversión existente en software, a la vez que innovar y adoptar nuevas tecnologías. Los retos que hay abordar para competir en un mundo de TI Híbrida incluyen DevOps, Seguridad, Gestión de riesgos y Análisis predictivo. Puedes obtener más información sobre cómo abordar estos retos e innovar en este enlace.