¿Cuáles son los idiomas y las materias que uno debe saber para trabajar en tecnologías de Big Data / Hadoop?

Big data es un dominio y, como cualquier otro dominio, hay una variedad de idiomas que se utilizan para tratar diferentes enunciados de problemas. En general, en el desarrollo de Big Data, todo el mundo es generalmente de Java y tiene un conocimiento básico de Linux.

Los siguientes son algunos puntos en los que he tratado de enumerar las tecnologías con las que debería estar familiarizado antes de usar la herramienta de big data dada.

  • Para instalación y configuraciones : si se siente cómodo con Linux, no necesita preocuparse por esta parte.
  • Acceso a HDFS : pruebe algunos comandos básicos de script de shell de Linux como, -copyFromLocal, -copyToLocal, -put, etc.
  • Para Mapreduce , debe tener un conocimiento básico de Java y algo de experiencia práctica con él.
  • Si planea usar Hive, aprender declaraciones SQL básicas puede ser útil .
  • Para Spark , existe la opción de usar scala o python. Puede elegir y aprender uno de ellos antes de pasar a la chispa.
  • Para usar oozie para la programación de trabajos de bigdata, debe estar familiarizado con los XML.
  • Otras bases de datos NoSQL generalmente siguen una sintaxis basada en Java o una sintaxis similar a SQL para facilitar su aprendizaje.

Big data se refiere a las 4 V de los problemas actuales de manejo de datos.

Volumen, Veracidad, Variedad y volumen.

Por supuesto, la gente olvida otro valor V, que los grandes datos agregan a una organización.

Hadoop es un marco diseñado para manejar grandes conjuntos de datos distribuyéndolos en pequeños trozos en hardware barato.

Dejando eso de lado, hay pocos roles que deben considerarse para comprender qué idiomas / tecnologías necesitan para trabajar en Big Data / Hadoop Environment.

Ingeniero, desarrollador, arquitecto, etc.

Algunos puestos de ingeniero requieren un buen conocimiento / antecedentes de codificación en lenguajes como Java, Scala python & R es una ventaja.

Otras posiciones requieren una sólida comprensión de los conceptos de almacenamiento de datos, conocimiento de SQL y estructuras de datos.

Conocimiento de secuencias de comandos, comprensión de entornos Linux o UNIX, también se agradecería algún conocimiento de las herramientas No SQL Db’s y BI.

Le recomiendo que tenga una buena familiaridad con SQL, ya que muchos ofrecen buenas herramientas como Hive, Impala, Drill y otros para proporcionar a Hadoop buenas consultas accesibles de SQL.

A continuación, recomiendo aprender Python junto con Hadoop Streaming. Es un propósito mucho más general que las interfaces SQL. También es mucho más flexible y extensible que el cerdo.

Instalación de Apache Hadoop 2.7.1 Single Node Cluster en Ubuntu

More Interesting

¿El máster en ingeniería de software en Nova Southern es un buen curso?

¿Cómo se mejora continuamente la seguridad profesional como ingeniero de software?

¿Cuánto tiempo lleva ser bueno en un trabajo?

¿Cuáles son las mejores carreras en la industria de viajes y turismo?

¿Qué tan bueno es el departamento de ingeniería de energía en Jadavpur y cuáles son los alcances en el futuro?

¿Cuál es el conjunto de habilidades deseable para trabajar en el área de lenguajes de programación / compiladores?

¿Dónde puedo obtener una buena educación en el extranjero y obtener una buena beca?

¿Qué compañía es mejor para un graduado BE más reciente, tecnologías Yash o tecnologías HCL?

¿Cuál es el primer paso para ser político?

¿Es la industrialización el camino correcto para Pakistán?

¿Qué certificaciones extracurriculares debe tener un estudiante de finanzas para tener una mejor oportunidad de trabajo?

Soy un ingeniero químico que trabaja en una industria de procesos petroleros. Me gustaría hacer un MBA. ¿Mejorará mis posibilidades?

¿Cómo probar las ubicaciones fuera del campus para un ingeniero mecánico? ¿Y cuáles son los certificados y otras cosas que me ayudarán a obtener una ubicación decente fuera del campus?

Tengo 89% en Xth, 85.8% en XIIth, 67% en Graduación y experiencia laboral (extranjera) de 2 años. ¿Tengo una oportunidad con alguno de los IIM?

Tengo una entrevista para un trabajo. Quiero este trabajo ¿Hay algo que deba usar, decir, hacer o llevar conmigo para asegurarme de que me hagan una oferta?