Una herramienta de evaluación está calibrada para una población cuando sus puntuaciones se interpretan contra una muestra de referencia de esa población y su capacidad predictiva se ha comprobado en ella. Sin esas dos condiciones, lo que tienes es un número. Puede ser un número producido con excelente técnica, y aun así no significar lo que crees que significa.
La escena es común: el proveedor abre un estudio de validación sólido, con muestra grande y publicado. El estudio es real. Está bien hecho. Y se hizo en otro mercado laboral, con otra población y otro criterio de desempeño.
Ese estudio no se transfiere solo. Aquí están las cuatro razones, en orden de qué tan seguido se pasan por alto.
Ninguna de las cuatro es un argumento contra las herramientas extranjeras. Son cuatro cosas que hay que pedir por escrito antes de usarlas.
Lo que muchos creen. Que si el instrumento está bien traducido al español, ya está listo para aplicarse en México.
Lo que dice la psicometría. La traducción es una parte pequeña de la adaptación. Las directrices internacionales para traducir y adaptar pruebas piden evidencia de que el constructo existe y se comporta de forma comparable en la población receptora, no solo de que las palabras se tradujeron bien (International Test Commission, 2018). Un reactivo puede quedar perfectamente traducido y funcionar distinto: cambiar de dificultad, apoyarse en un supuesto laboral que aquí no aplica, o cargar en otro factor.
Y está el español que se eligió. Un instrumento adaptado para España puede usar términos laborales que en México se entienden a medias, aunque el idioma sea el mismo.
Qué verificar. Que exista un estudio de adaptación —no solo de traducción— con población mexicana, y que reporte cómo se comportaron los reactivos en esa muestra. Es lo que la validez transcultural exige comprobar.
Lo que muchos creen. Que un percentil 80 es un percentil 80 en cualquier parte.
Lo que dice la psicometría. Un percentil no es una propiedad de la persona: es una posición dentro de un grupo de referencia. Si ese grupo son mil profesionistas de otro país, el resultado de tu candidato dice cómo se compara con ellos. Puede ser información valiosa. No es la misma información que su posición frente a candidatos mexicanos para ese mismo puesto.
El problema se agrava cuando la muestra de referencia es pequeña, antigua o de composición desconocida, algo que ocurre también con instrumentos de origen nacional. En estandarización mal hecha en México desarrollamos cómo se detecta un baremo que no sirve para tus candidatos.
Qué verificar. De qué muestra salió el baremo: tamaño, año, composición y país. Si el manual no lo dice, esa ausencia ya es un dato.
Lo que muchos creen. Que si el instrumento predice desempeño, predice desempeño.
Lo que dice la psicometría. Un coeficiente de validez siempre es la relación entre la prueba y un criterio concreto, medido de alguna manera concreta. Cambia el criterio y cambia el coeficiente. Y el criterio es una construcción local: qué se considera buen desempeño en un puesto, cómo se evalúa, quién lo evalúa y qué pesa en esa evaluación varía entre mercados, entre industrias y a veces entre empresas de la misma industria.
Los estándares del campo son explícitos en que la validez no es una propiedad fija de una prueba, sino el grado en que la evidencia respalda una interpretación específica de sus puntuaciones para un uso específico (AERA, APA y NCME, 2014). Cambiar de país cambia el uso. Lo desarrollamos completo en qué es la validez en psicometría laboral.
Qué verificar. Contra qué criterio se validó el instrumento y cómo se midió ese criterio. Si la respuesta es «predice desempeño» sin nombrar contra qué, todavía no hay respuesta.
Lo que muchos creen. Que un modelo entrenado con millones de casos es más robusto y por eso viaja mejor.
Lo que dice la psicometría. Viaja peor, en un sentido específico. Un modelo aprende de los datos con los que fue entrenado: contrataciones reales, en empresas reales, en un mercado laboral concreto. Esos patrones quedan dentro del modelo, incluidas las particularidades de ese mercado. El volumen no vuelve universal a un modelo; lo vuelve muy bueno describiendo el lugar de donde salió.
Por eso el estándar profesional del campo pide lo mismo a estas herramientas que a cualquier otra: que las puntuaciones predigan resultados laborales relevantes y que el constructo medido sea pertinente al puesto, con evidencia que lo respalde (SIOP, 2023). Vale la pena saber además de qué tipo de herramienta se trata, porque no todas afirman lo mismo: eso está en «IA para reclutamiento» no es una sola cosa.
Qué verificar. De qué mercado laboral salieron los datos de entrenamiento, y si existe evidencia de desempeño del modelo en población mexicana.
Cuatro documentos resuelven las cuatro razones:
Si alguno no existe, no significa automáticamente que la herramienta sea mala. Significa que todavía no sabes cómo se comporta aquí, y que conviene tratarla como lo que es: una hipótesis razonable, pendiente de comprobar en tu población.
Hay una ventaja práctica en hacer estas preguntas, y no es solo evitar una mala compra.
Un área de RH que le pide a cada proveedor su muestra de referencia y su criterio de validación empieza a acumular algo valioso: un criterio propio para comparar herramientas entre sí. Deja de elegir por demo y empieza a elegir por evidencia. Y ese criterio sirve para todo lo que venga después, incluidas las herramientas que todavía no existen.
En Psicotest construimos y actualizamos baremos con población mexicana e hispanohablante precisamente porque esta discusión no se resuelve con una traducción. Es un trabajo lento y poco vistoso, y es el que hace que un número signifique algo.
Si quieres el detalle de qué debería poder demostrarte cualquier proveedor de evaluación, nuestro whitepaper Validez y confiabilidad: lo que tu proveedor de psicometría debería poder demostrar desarrolla los criterios técnicos y cómo se ven por escrito.
Evalúa con ciencia.
¿Sirve una prueba psicométrica validada en Estados Unidos para usarse en México? Puede servir, pero eso hay que comprobarlo, no suponerlo. Se necesita evidencia de adaptación a la población mexicana, un baremo construido con esa población y evidencia de que predice el criterio de desempeño que a ti te interesa, medido aquí.
¿Basta con que una prueba esté traducida al español? No. Las directrices internacionales de traducción y adaptación piden evidencia de que el constructo se comporta de forma comparable en la población receptora, no solo de que las palabras estén bien traducidas (International Test Commission, 2018). Además, el español de un país no es equivalente al de otro en términos laborales.
¿Qué es un baremo y por qué importa de dónde viene? Es la muestra de referencia contra la cual se interpreta la puntuación de una persona. Un percentil indica la posición del candidato dentro de ese grupo, así que el resultado significa cosas distintas según quiénes formen la muestra, de qué año sea y de qué país.
¿Un modelo entrenado con millones de datos es más confiable en cualquier país? No necesariamente. Un modelo aprende de los datos con los que fue entrenado, incluidas las particularidades del mercado laboral del que provienen. El volumen lo hace más preciso describiendo ese mercado, no más transferible a otro.
¿Qué documentos debo pedirle a un proveedor extranjero antes de contratar? El estudio de adaptación a población mexicana, la ficha del baremo con tamaño, año, composición y país de la muestra, el estudio de validez con su criterio nombrado y la forma en que se midió, y —si la herramienta se entrenó con datos— el origen de esos datos y la evidencia local disponible.
Referencias
American Educational Research Association, American Psychological Association y National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
International Test Commission. (2018). ITC guidelines for translating and adapting tests (second edition). International Journal of Testing, 18(2), 101–134. https://doi.org/10.1080/15305058.2017.1398166
Society for Industrial and Organizational Psychology. (2023). Considerations and recommendations for the validation and use of AI-based assessments for employee selection. https://www.siop.org/wp-content/uploads/2024/06/Considerations-and-Recommendations-for-the-Validation-and-Use-of-AI-Based-Assessments-for-Employee-Selection-January-2023.pdf
Este documento no sustituye la asesoría de un profesional, ya que es meramente informativo y el lector es el único responsable del uso y aplicación que se le otorgue a dicha información, así como de su interpretación.
