¿Cómo define un entrevistador el nivel de dificultad de una pregunta?

Adivinan al principio, pero finalmente no necesitan hacerlo. Hay un concepto conocido en muchas entrevistas como “calibración”.

Supongamos que se me ocurre una nueva pregunta. Por ejemplo:

Dado un árbol binario (no un árbol de búsqueda binario), diseñe un algoritmo que devuelva el nodo máximo en cualquier subárbol.

Podría mirar esta pregunta y pensar que es una pregunta de dificultad media. Más precisamente, describiría su dificultad de la siguiente manera:

  • Dificultad para diseñar una solución de fuerza bruta: fácil
  • Dificultad para diseñar una solución óptima: medio “ligero”
  • Dificultad para codificar la solución de fuerza bruta: fácil
  • Dificultad para codificar la solución óptima: “media luz

Esa es solo mi mejor suposición. Esta suposición proviene de conocer la dificultad de los problemas que se sienten similares y de considerar cuál podría ser el proceso de pensamiento de alguien para resolverlo.

La primera persona que entreviste estará sujeta a esas conjeturas. Es decir, juzgaré su desempeño en función de lo fácil o difícil que creo que es el problema.

¿Podría estar equivocado? Oh si, absolutamente. Eso pasa todo el tiempo. En los comentarios de mi entrevista, compararé el desempeño del candidato con lo que creo que sería un buen desempeño, pero también notaré que esta es una nueva pregunta en la que no estoy “calibrado”. La gente sabrá tomar mis comentarios con un grano de sal. Si los comentarios de mi entrevista no coinciden con los de otras personas, es posible que no se tengan en cuenta. Por lo tanto, es un poco injusto que recibas una pregunta sobre la que el entrevistador no está calibrado, pero no deberías verte afectado significativamente. (Nunca haré una nueva pregunta en una entrevista telefónica, por lo que siempre hay otras entrevistas en las que basar su desempeño).

A medida que hago la pregunta a más y más candidatos, su desempeño “calibrará” la dificultad de la pregunta. Si 9 o 10 candidatos pueden resolver el problema de manera óptima en solo unos minutos, sabré que en realidad es una pregunta bastante fácil. O, si la gente toma mucho más tiempo, sabré que es una pregunta difícil. Eventualmente, dejaré de notar que es una nueva pregunta en la que no estoy calibrado, porque ahora estoy suficientemente calibrado.

Algunas preguntas pueden ser más fáciles para los candidatos con antecedentes específicos, pero esas diferencias suelen ser bastante obvias. Una pregunta que implica mucha manipulación de bits generalmente será más fácil para un candidato C / C ++ que para un candidato Python.

Al crear una pregunta de entrevista técnica, busque los siguientes objetivos:

  1. Debe ser fácil de explicar y comprender , sin una terminología especial.
  2. Debe haber al menos dos soluciones buenas e intuitivas que puedan ser escritas por alguien que las conozca en menos de cinco minutos .
  3. Debe ser un lenguaje y un “truco” agnóstico. En otras palabras, la pregunta no es trivial en C ++, Java y C #. No requiere un dato especial de conocimiento.
  4. Debería ser imprimible . Debería poder guiar a una persona hacia una solución si se atasca o tiene problemas para involucrarse.

Si todas estas cosas son ciertas, puede hacer la pregunta o parte de la pregunta a cualquiera. Todavía es bueno entender los niveles de habilidad.

Cuando se me ocurre una nueva pregunta, la discuto cara a cara con colegas: un recién llegado decente, una excelente contratación reciente y otra persona de alto rango. Les haré la pregunta y veré si tiene sentido para ellos, y si pueden resolverlo. Hablaré sobre la solución con ellos, guiados por ellos. Esto ayuda a eliminar preguntas inapropiadas.

Luego hago la pregunta en una entrevista, mientras me aseguro de dejar tiempo para hacer una pregunta mejor calibrada. De esta manera puedo mejorar la calibración de esta pregunta sin afectar mi posibilidad de evaluar correctamente al candidato.

Los entrevistadores generalmente invierten mucho en sus entrevistas. Les interesa comprender cuán difíciles son sus preguntas y qué diferentes opciones durante la resolución de la pregunta dicen sobre el candidato. Y, hacer múltiples preguntas diferentes para reducir la posibilidad de ‘mala suerte’. Definen la dificultad en función de su experiencia y experiencia haciendo esa pregunta.

La dificultad de una pregunta es confusa para definir. Incluso después de usar la misma pregunta 50 veces, como entrevistador todavía aprende cosas nuevas al respecto: dónde dar pistas, cómo formularlo mejor para que pueda llegar a la fase de resolución rápidamente, cómo reaccionan las personas con diferentes antecedentes.

Uno tiene una idea inicial de lo difícil que es una pregunta por lo difícil que fue resolverla. A veces esto puede ser engañoso. Los entrevistadores sin experiencia piensan que alguna pregunta es fácil porque la solución es fácil, lo que no siempre es el caso. Esto es especialmente un problema con ‘¡ajá!’ preguntas donde solo hay un truco involucrado y después de conocer el truco, el problema es trivial.

Una buena manera de mejorar su comprensión de la dificultad de una pregunta es hacérsela a algunos compañeros de trabajo. Puedes ver cómo lo resuelven las personas junior o más senior.

Después de eso, un entrevistador puede usar las siguientes 5 entrevistas para probar el problema sin usar todo el tiempo de la entrevista sobre este problema en particular.