Mi proyecto de año final fue en Big Data usando Hadoop. Tengo un conocimiento bastante bueno sobre HDFS y MapReduce. ¿Qué debo hacer a continuación para tener una carrera en Hadoop?

Recomendamos a los usuarios que consulten el siguiente libro electrónico que contiene una lista de 10 casos de uso con código fuente completo y explicación.

Enlace: https://acadgild.com/blog/hadoop-use-cases-e-book/

Dado que Machine Learning se implementa en gran medida junto con tecnologías de Big Data como Hadoop y spark, estoy dando algunos casos de uso sobre aprendizaje automático con Spark.

Enlace 1: Aprendizaje automático con Spark – Parte 1

Enlace 2: Aprendizaje automático con Spark – Parte 2

Enlace 3: Aprendizaje automático con Spark en el caso de uso del banco – Parte 3

Enlace 4: Aprendizaje automático con Spark – Parte 4

Enlace 5: Aprendizaje automático con Spark – Parte 5

Enlace 6: motor distribuido de SQL para Big Data

Encuentre los enlaces a continuación para casos de uso pequeños en MapReduce en hadoop.

Los siguientes dos enlaces lo ayudarán a familiarizarse con los conceptos de Map Reduce:

Enlace 7: Caso de uso de reducción de mapas – Análisis de datos Uber

Enlace 8: MapReduce Use Case-Youtube Data Analysis

Enlace 9: Caso de uso de reducción de mapa – Análisis de datos Titanic

Los enlaces a continuación están relacionados con el análisis de sentimientos utilizando diversos componentes de Hadoop como Pig y Hive.

Enlace 10: Caso de uso de Pig – Análisis de weblog

Enlace 11: Caso de uso de Pig – The Daily Show Data Analysis Part – I

Enlace 12: Caso de uso de Pig – The Daily Show Data Analysis Part – II

Enlace 13: Determinar hashtags populares en Twitter usando Pig

Enlace 14: Análisis de sentimientos en Twitter – Análisis inteligente de TimeZone

Enlace 15: Caso de uso de Hive – Contando hashtags usando Hive

Enlace 16: Análisis de sentimientos en Tweets con Apache Pig usando el diccionario AFINN

Enlace 17: Análisis de sentimientos en tweets con Apache Hive usando el diccionario AFINN

Enlace 18: Análisis de datos de Pokemon usando Apache Hive

Para casos de uso de nivel principiante en Spark, consulte los siguientes enlaces:

Enlace 19: Caso de uso de HealthCare con Apache Spark

Enlace 20: Introducción a Spark RDD y operaciones básicas en RDD

Enlace 21: Análisis de datos delictivos de Nueva York usando SparkSQL

Enlace 22: Caso de uso de Spark – Análisis de datos de viaje

Enlace 23: Caso de uso de Spark – Análisis de datos Uber

Enlace 24: Caso de uso de Spark: análisis del conjunto de datos de MovieLens

Enlace 25: Caso de uso de Spark – Análisis de redes sociales

Enlace 26: Caso de uso de Spark SQL – 911 – Análisis de datos de números de la línea de ayuda de emergencia

Visite nuestro sitio web de capacitación en línea, cursos de certificación de negocios de tecnología de TI para obtener más casos de uso en tiempo real y proyectos sobre tecnologías de Big Data como Hadoop, Spark, Machine Learning, etc.

Satyam Kumar | Desarrollador Hadoop en Acadgild

Puede comenzar con casos de uso simples en Mapreduce, Spark y Spark Streaming. Puedes seguir mis publicaciones de blog a continuación:

MapReduce VS Spark:

  • Análisis de conjunto de datos de Aadhaar
  • Ejemplo de índice invertido
  • Ejemplo de clasificación secundaria
  • Ejemplo de recuento de palabras

Eche un vistazo a las aplicaciones de Spark Streaming para analizar hashtags populares de transmisiones de datos de Twitter en vivo:

  • Spark Streaming parte 1: análisis de sentimientos de Twitter en tiempo real
  • Spark streaming parte 2: análisis de sentimientos de Twitter en tiempo real usando Flume
  • Spark streaming parte 3: análisis de sentimientos de twitter en tiempo real usando kafka
  • Garantías de datos en Spark Streaming con integración Kafka

Usando Storm para analizar datos de Twitter e integración con kafka:

  • Procesamiento de flujo en tiempo real usando Apache Storm – Parte 1
  • Procesamiento de flujo en tiempo real usando Apache Storm y Kafka – Parte 2stdatalabs.blogspot.in

También revise mis repositorios de github para el código:

  • aadhaar-dataset-analysis
  • índice invertido
  • secundaria
  • el recuento de palabras
  • stdatalabs / SparkTwitterStreamAnalysis
  • stdatalabs / StormTwitterStreamAnalysis

Espero que esto ayude.

Felicidades! Practique la instalación de Hadoop-1.2.1 en Ubuntu Server 12.04.5 LTS (64 bits), nodo de nombre de administrador de Hadoop y gran cantidad de nodos de datos. Instale Java Versión 1.7.0_101. Mire el rendimiento para un conjunto de datos más grande como PERT / CPM. La demanda de Data Scientist se está poniendo al día rápidamente, pero la adaptación es muy lenta en la India. No intente ordeñar y espere el momento adecuado. Hay cierto alcance en Hyderabad y Banglore. El próximo año de formación del Instituto Trainning o de las nuevas empresas permite hablar de pagos, la industria de TI va a realizar un gran cambio. Contribuya difundiendo la conciencia en todo el sector corporativo y privado. El gobierno aún no ha declarado sus políticas para RBI & TRAI Spectrum. El desarrollo de recursos debe haber estado considerando grandes cambios para enfrentar los desafíos causados ​​por las tecnologías disruptivas.

More Interesting

¿Cuáles son algunas oportunidades de trabajo para un graduado con un BBA en aviación?

¿Es una decisión correcta dejar el trabajo de Rs 25k / mon para ingresar a la industria de la publicidad a 15k / mon?

¿Es difícil un trabajo de cajero?

Soy un ingeniero mecánico nuevo Quiero poner en marcha ¿Qué tipo de arranque puedo hacer?

Soy un abogado de 26 años, perdí mi trabajo y me volví extremadamente improductivo, jugando videojuegos, etc. ¿Cómo me concentro de nuevo?

¿Qué flujo en informática debería elegir? ¿En qué área debería centrarme? ¿Qué transmisión debo elegir para que mi experiencia relevante me ayude?

Fui a la escuela de economía, terminé odiando la economía. Ahora decido convertirme en diseñador gráfico. ¿Estoy haciendo lo correcto?

Mi hijo está buscando trabajo como analista de datos y conoce a R y Tableau. ¿Qué pasos específicos podría tomar para tener éxito en su búsqueda de empleo?

¿Debo trabajar en Tata Consultancy Services o Persistent Systems?

¿Está bien que un profesional de UX use un sitio como Squarespace para su cartera?

Si soy un ingeniero que ama la tecnología, pero no le gustan las minucias detalladas, ¿me arrepentiré de haber tomado un trabajo como consultor de gestión?

¿Cómo podría sobrevivir a los treinta después de ser generalista en mis veintes?

¿Es correcto que una nueva graduada de la universidad renuncie a su primer trabajo después de cuatro meses?

¿Cómo es el alojamiento en L&T Infotech en el campus de Mahape (Navi Mumbai)?

Cómo comenzar a estudiar ingeniería aeroespacial para convertirse en un buen ingeniero