¿Se automatizará la función de ingenieros de datawarehouse / desarrollador de inteligencia empresarial / ingenieros de datos en los próximos 5-10 años?

En resumen, No. Creo que muchas tareas se realizarán automáticamente, pero no todas. Los desarrolladores de DWBI utilizarán herramientas para crear automáticamente la mayor parte de los entregables (ex trabajos de ETL, informes, modelos dimensionales, metadatos), sin embargo, algunos entregables serán un requisito personalizado que deberá hacerse manualmente o una automatización mejorada para cumplir con los requisitos personalizados. La forma en que se harán las cosas podría ser diferente y el perfil de un desarrollador de DWBI también podría cambiar.

Ya vemos algunos ejemplos de automatización. Si especifica la lista de Tablas de origen y Tablas de destino, se crean automáticamente una serie de Trabajos ETL en segundos utilizando algunas de las herramientas ETL. El desarrollador anterior de ETL tenía que desarrollar cada trabajo, incluso si era un trabajo simple. La creación automatizada de trabajos ETL puede ser muy útil para la migración de datos uno a uno, pero tan pronto como se debe colocar una lógica específica del negocio en la transformación, alguien debe especificar eso al menos una vez y asegurarse de que la transformación de datos de acuerdo con la lógica empresarial sea sucediendo.

La automatización es buena para tareas repetitivas. Si algo está automatizado, generalmente el proceso está maduro. Sin embargo, todos los días hay empresas que presentan nuevos modelos de negocio, nuevos tipos de productos y servicios. Las empresas maduras tendrán que reinventarse para mantenerse con vida en este mundo competitivo. Los Modelos de Negocio no son permanentes, las Regulaciones no son permanentes, el entorno de negocios no será siempre el mismo, por lo que siempre será necesario personalizar para ofrecer algo nuevo a los clientes que no se haya ofrecido antes. Tenga en cuenta que Business Intelligence impulsa a Business hacia adelante y, al mismo tiempo, Business Intelligence Systems sigue los cambios en Business . Estos cambios mantendrán a los chicos de DWBI ocupados. Los chicos de DWBI también se actualizarán.

En 2008 trabajé en un proyecto donde configuramos BMC Remedy Analytics para una empresa de telecomunicaciones. Pensé que lo que hizo BMC fue increíble. Proporcionaron alrededor de 120 BO Reports y 1 BO Universe listos para usar como parte del paquete de instalación de BMC Remedy Analytics. Todo lo que tenía que hacer era instalar el software y ya tiene 120 informes preconstruidos. Si los desarrolladores lo hicieran manualmente, tomaría un mínimo de 6 meses con un tamaño de equipo razonable. Creo que estos informes se basan en lo que BMC pensó que sería útil para todos los Clientes que usan su software Remedy para ITSM. Pero estos informes no fueron suficientes para el Cliente para el que trabajé. Requerían varios otros informes. Algunos de estos eran requisitos muy personalizados que probablemente otros clientes no tendrían. Tuvimos que desarrollar esos informes, pero para desarrollar tuvimos que entender el Universo BO subyacente. Espero que este ejemplo explique cómo va a ser la tendencia. Mayormente automatizado para procesos maduros y personalizado para nuevos. A estas alturas, supongo que muchas más compañías están ofreciendo soluciones tan innovadoras.

ingenieros de datawarehouse / desarrollador de inteligencia empresarial / ingenieros de datos ” es un gran espectro de trabajos y, si bien están relacionados, no son lo mismo, por lo que seguirán diferentes tendencias. ¡También de 5 a 10 años es una gran brecha para TI! 5 años es el máximo para el que me atrevería a hacer una predicción, así que aquí va.

Datawarehouse eng en 5 años – definitivamente todavía existe . Simplemente ingresan demasiados datos y se agrega mucha más complejidad, además de que muchas empresas sorprendentemente grandes no ‘actúan juntas’ en el almacenamiento de datos complejos. Hasta ahora, ningún software puede hacer todo el almacenamiento de datos, y la tecnología siempre está evolucionando: almacenamiento basado en investigación, computación basada en gpu y sin servidor, multi nube, todo esto requerirá que la capa de datos subyacente evolucione.

Ingenieros de datos en 5 años: definitivamente todavía existen . Al igual que lo anterior. De hecho, sospecho que los dos trabajos se fusionarán, y el ingeniero dw también será un ingeniero de datos de oficio.

Desarrollador de inteligencia empresarial: todavía existen 50/50. BI es definitivamente un campo cada vez más maduro en productos muy sólidos que están llevando la carga del trabajo hacia el usuario final, eliminando la necesidad de un especialista en el medio. Dicho esto, todavía hay tantos datos listos para ser limpiados, fusionados, etc., que aún podría ser necesario el especialista en BI para progresar la ‘buena práctica en la toma de decisiones de datos’ para los usuarios finales. Si eres un ingeniero de BI, ¡pasa a Ingeniería de datos!

Ciertas tareas se automatizarán, pero eso liberará tiempo para que estas personas realicen trabajos más interesantes o complejos.

Siempre habrá tuberías más interesantes para el arquitecto o más datos no estructurados para manejar.

El campo de la ingeniería de datos ha evolucionado considerablemente en los últimos 3 años. Todavía tiene que promocionarse tanto como la ciencia de datos, pero definitivamente lo hará en los próximos 2-3 años.

Creo que ya comenzó con tecnologías como Big Data y Google Cloud. Los desarrolladores de Java sin experiencia en ETL o manejo de datos están escribiendo códigos para buscar y traducir datos para almacenarlos en la nube.

Sí, con inteligencia artificial y ML existe la posibilidad de que se automaticen más trabajos y roles. Esto resultaría en recortes de empleos 🙁