Soy un estudiante nuevo de MCA que busca trabajo como desarrollador de Java en Pune. Es difícil para un más fresco en Java. ¿Debo cambiar a Hadoop?

El Big Data es muy difícil de aprender. Y muchas compañías están usando ese método en su organización.

Todo el concepto de big data, o datos totales, y cómo recopilarlo y llevarlo al lago de datos puede sonar aterrador, pero se vuelve menos si divide el problema de recopilación de datos en subconjuntos.

Puede visitar este enlace más información: Big Data Hadoop, Spark, Storm, Scala – Combo Training Classes Online | Big Data Hadoop, Spark, Storm, Scala – Cursos combinados en línea

• Datos de fuentes tradicionales: sus sistemas de contabilidad transnacionales, sistemas de recursos humanos, etc., ya se están utilizando como fuentes de datos para análisis. Los procesos ETL ya están en su lugar para recopilar estos datos. Básicamente terminas con dos opciones. Duplique estos procesos ETL, intercambie el objetivo del EDW al lago de datos, o replique su EDW en el lago de datos, copiando físicamente los datos o abrazando virtualmente la arquitectura del lago de datos virtual (una variación del almacén de datos virtual) .
• Datos estructurados de Internet de las cosas: la principal complejidad con el sensor y otros datos de la máquina es el volumen y el rendimiento requerido para una ingestión adecuada y oportuna. Pero estos datos suelen estar muy estandarizados y los requisitos de transformación de datos anteriores no son inmensos.
• Datos no estructurados: la recopilación de archivos multimedia, los datos textuales es una cosa que facilitan las plataformas de big data como Hadoop. Debido a que su almacenamiento no tiene esquemas, todo lo que se necesita es realmente “volcar” estos datos en el lago de datos y resolverlos más tarde.

Dadas las herramientas ETL adecuadas y las API / conectores, así como el rendimiento correcto, la recopilación de grandes datos no es la parte más difícil de la ecuación de grandes datos.

Almacenamiento de datos

Las plataformas de Big Data son polimorfos: pueden almacenar todo tipo de datos, y estos datos se pueden representar y acceder a ellos a través de diferentes prismas. Desde el simple almacenamiento de archivos hasta las bases de datos No-SQL de consistencia relajada hasta las bases de datos relacionales de tercera forma normal e incluso de quinta norma, desde la lectura directa hasta el acceso de estilo columnar al SQL transnacional, hay una respuesta para cada almacenamiento y acceso a datos necesitar.

Debido a sus conceptos de diseño fundamentales, la plataforma es infinitamente vendible. Al aprovisionarlo en la nube, se vuelve elástico. Conceptualmente, al menos, almacenar big data es la parte más fácil de la ecuación de big data.

Donde se vuelve complicado es cómo hacerlo funcionar en la realidad. Desde la plataforma principal de Hadoop hasta las distribuciones comerciales y las plataformas híbridas que ofrecen los proveedores de bases de datos, hay muchas opciones, muchos puntos de precio, muchas variaciones diferentes del concepto y muchos niveles de habilidad requeridos.

Usando datos

Una vez que tenga todos estos datos en el lago de datos, ¿cómo los reúne? Transformar y conciliar datos, garantizar la coherencia entre las fuentes, verificar la calidad de los datos: esta es la parte difícil de la historia de Big Data y donde hay la menor automatización y ayuda disponibles.

Si necesita crear una aplicación sobre una fuente de datos específica o informar sobre un conjunto de datos coherente, existen muchas soluciones que automatizarán el proceso y lo harán perfecto.

Pero cruce los límites de las fuentes, explore y aproveche los datos heterogéneos, aquí es donde se encuentra por su cuenta. Y aquí es donde los proveedores que afirman facilitar el big data deberían intervenir y ayudar.

No se adhiera a una plataforma en particular, aquí es donde cometemos errores, no significa que no deba elegir la plataforma de su interés. Si tienes otras buenas oportunidades, solo tómala. Cada campo tiene su propia importancia. Además, no es fácil para un recién llegado conseguir un trabajo en Hadoop.

Si desea perseguir su sueño como desarrollador de Java, debe ir a por él, no renuncie, obtendrá una buena oportunidad. Cambiar a la tecnología hadoop también requiere certificación en hadoop y big data, que se basa principalmente en la tecnología java.

Creo que sí, puede obtener mejores oportunidades en hadoop, pero con esto no quiero decir que lo obtendrá fácilmente, ya sea java o hadoop para descifrar cualquier entrevista que necesite para aclarar sus conceptos básicos.

Teniendo en cuenta el hecho de que tantos datos se capturan hoy en día, Hadoop es la tecnología futura y realmente impulsará a su operador si comienza con una tecnología tan prometedora.

Para consejos diarios de Java puede seguir el siguiente enlace
https://m.facebook.com/OneMinute …

Puede referir otra respuesta a su pregunta

La respuesta de Suresh Tripathi a ¿Cuál es el mejor instituto de entrenamiento de Big Data Hadoop en Pune?