Testing-Quest
Análisis y evaluación de tests, exámenes y cuestionarios
Testing-Quest
Análisis y evaluación de tests, exámenes y cuestionarios
¿Qué es Testing-Quest?
Testing-Quest es una tecnología y servicio académico especializado en el análisis y auditoria de calidad de test, exámenes y cuestionarios.
Los proyectos se desarrollan en el ámbito de la investigación por contrato a través de la Fundació Bosch i Gimpera de la Universidad de Barcelona.
Testing-Quest ayuda a responder cuestiones como estas:
- ¿Es válido el test que utilizamos?
- ¿Tiene algún error de construcción?
- ¿Se adecúa al objetivo de la evaluación?
- ¿Sigue las recomendaciones de buenas prácticas?
- ¿Es fiable? ¿Qué precisión tienen sus puntuaciones?
- ¿Causa algún sesgo en la evaluación? ¿Produce resultados injustos?
¿Qué aporta Testing-Quest?
Testing-Quest ofrece soporte metodológico especializado en proyectos de análisis de la calidad de test, exámenes y cuestionarios.
Líneas de actuación:
- Desarrollo de test, exámenes, cuestionarios y procesos de evaluación.
- Auditoría de funcionamiento de test, exámenes, cuestionarios y procesos de evaluación.
El resultado de esta labor valida el proceso de evaluación y optimiza tiempo y esfuerzos.
Problemas habituales:
Desgaste del test
El desgaste de los test, su divulgación y la necesidad de reajuste requieren cada vez más atención de quienes los gestionan. Mantener la calidad de estos instrumentos es la única vía que garantiza su utilidad y objetividad.
Mal funcionamiento del test
En educación, diagnóstico, selección, RRHH, ergonomía, etc. son frecuentes las sospechas sobre test poco eficaces o injustos. Todo ello pone en cuestión la validez de la evaluación.
Falta de Fiabilidad y validez
La publicación de un test no siempre garantiza su fiabilidad y puede arrastrar una falta de precisión de sus resultados. Esto se agrava en pruebas online sin datos técnicos que informen de su validez. En estos casos es recomendable una auditoría preventiva que muestre las verdaderas cualidades del instrumento antes de utilizarlo.
Reclamaciones
En muchas convocatorias (oposiciones, exámenes,..) los examinados detectan preguntas dudosas que hacen sospechar de la validez del proceso de evaluación. Cuando esto ocurre es conveniente hacer una auditoria reactiva del examen que puede servir de base en un dictamen técnico en procesos de reclamación.
Optimización de cualidades
Un estudio adecuado del test permite optimizar el funcionamiento de las preguntas y cuantas son necesarias. Con ello se reduce el tiempo de examen, el esfuerzo de los examinados y las tareas de corrección e interpretación.
Baremos adecuados
Los baremos y tablas normativas de muchos test están desfasadas y no siempre incluyen el perfil de los examinados a evaluar. El uso de unos baremos inadecuados sesga los resultados y lleva a una evaluación injusta.
Proceso de construcción
Muchos profesionales deben manejar datos rigurosos sobre aspectos subjetivos (conocimientos, opiniones, percepciones…) de los miembros de su organización. La metodología para elaborar un test o un cuestionario no es simple y requiere de un proceso metodológico muy sistemático.
¿A Quién Se Dirige Testing-Quest?
Desde hace años el equipo de Testing-Quest ha venido proporcionando asesoramiento y formación especializada a profesionales de la educación, salud, responsables de recursos humanos, selección y formación en organizaciones.
El común denominador de los proyectos ha sido optimizar sus métodos e instrumentos de evaluación.
Testing-Quest proporciona soluciones a profesionales que precisen:
- Diseñar nuevos sistemas de evaluación a medida en programas formativos y planes de intervención en diversos ámbitos.
- Generar nuevos test y cuestionarios adaptados a su entorno.
- Mejorar el rendimiento de sus evaluaciones.
- Auditar el funcionamiento de test y exámenes como evidencia en procesos de reclamación (Dictamen Técnico).
Actuación
Todos los proyectos de Testing-Quest se desarrollan mediante contratos-convenio a través de la Fundació Bosch y Gimpera de la Universidad de Barcelona.
El ámbito de actuación es la investigación por contrato en el marco de la transferencia de conocimiento entre universidad y empresa.
La FBG dispone de varios modelos de acuerdos ajustados a diferentes tipos de relación con las organizaciones interesadas. En función de cada caso se aplica el modelo más adecuado.
Tipos de Proyectos
Estudios de viabilidad
Consiste en una tarea logística previa a cualquier proyecto psicométrico. Se trata de valorar los recursos y tiempo que van a ser necesarios para su desarrollo.
Diseño y planificación de nuevos test y cuestionarios
Se define todo el proceso de desarrollo del instrumento. Esto incluye el contenido, formato, muestreo, cronograma, estudio del entorno y finalidad de la nueva prueba.
Mejora de las prestaciones de un test o cuestionario
Muchas organizaciones que administran test disponen de suficientes datos como para elaborar estudios particulares que actualicen y optimicen dichos instrumentos para sus objetivos concretos de evaluación.
Desarrollo de pruebas piloto y de ensayo
Antes de abordar evaluaciones a gran escala es conveniente efectuar ensayos y muestreos con el fin de anticipar posibles anomalías en los instrumentos empleados. En la mayoría de casos estos proyectos suponen también un ahorro de recursos.
Auditoria de pruebas
Consiste en verificar las cualidades métricas de un test sospechoso de no cumplir su función como instrumento de evaluación. Básicamente se trata de hacer el test del test en procesos de reclamación.
Formación en construcción de test
Testing-Quest ofrece formación orientada a usuarios de test interesados en la gestión autónoma y responsable de estas herramientas: Planificar y diseñar nuevas pruebas, actualizar y adaptar las que ya funcionan en otros ámbitos, obtener el mayor rendimiento de un test o encuesta, analizar sus principales indicadores psicométricos, interpretar sus resultados y puntuaciones, valorar los diferentes productos del mercado.
Testing-Quest Analytics
Testing-Quest incluye una aplicación Web que efectúa el control de calidad de las cualidades métricas de un test, examen o cuestionario. El programa es una derivación de desarrollos anteriores y forma parte del catálogo de tecnologías a licenciar de la Fundació Bosch y Gimpera.
Para el análisis se precisa del archivo de datos con la matriz de respuestas de los examinados al test, y clave de puntuación, en una estructura simple (formato hoja de cálculo). Opcionalmente, en función del proyecto, también requiere el original de la prueba, datos descriptivos de las preguntas y de los examinados así como información contextual del proceso de evaluación en que se aplica el test.
A modo de ensayo la opción Análisis ofrece la posibilidad de practicar diferentes análisis de bancos de datos de prueba.
Proceso De Analisis
Testing-Quest admite ítems de puntuación dicotómica (binarios, alternativa múltiple…) y también graduada (Rating Scales, tipo Likert…).
Tras cargar el archivo de datos, el programa efectúa tres tipos de análisis.
El primero proporciona indicadores gráficos y numéricos del funcionamiento general del test.
El segundo informa de la adecuación de las preguntas, de cada una de sus alternativas de respuesta y de las respuestas en blanco (omisiones).
Es un análisis principalmente gráfico que informa del funcionamiento de cada ítem como pieza del examen. Al igual que en desarrollos anteriores aquí se analiza tanto las respuestas como las no respuestas.
El tercer bloque informa de las puntuaciones de los examinados y sus índices de coherencia de respuesta y de coincidencia de errores (hábitos de estudio, sospecha de copia, etc.).
Todos estos resultados pueden conducir a cambios en la clave de corrección, a la eliminación de preguntas, recodificación de respuestas, identificación de examinados con respuestas anómalas, etc. Se trata de un proceso cíclico de depuración del test original que se repite hasta converger en la versión óptima del mismo con los mejores indicadores de calidad.
Este análisis se ha diseñado para dar respuesta a procesos de auditoría de test a gran escala y su aplicación viene condicionada por los datos disponibles, el tipo de proyecto y el modelo de contrato. A modo de ensayo a continuación se ofrece la posibilidad de analizar con diversos bancos de datos de prueba.
Análisis banco de datos
Precedentes Y Productos
Desde 1990 el equipo de Testing-Quest ha colaborado en proyectos psicométricos con:
- Àmbits Esport
- Asociación Española de Logopedia, Foniatría y Audiología
- Asociación de Planificación Familiar de Cataluña y Baleares
- Associació La Nova Miranda
- Baix Nova
- Barrón & Díaz Abogados
- BeBright
- Centre d’Alt Rendiment Esportiu de Sant Cugat
- Col·legi Oficial de Psicologia de Catalunya
- Colegio Oficial de Psicólogos
- Consell Català de l’Esport (GENCAT)
- Consorci el Far
- Departament de Cultura (GENCAT)
- Departament d’Educació (GENCAT)
- Despartament de Projectes (Universitat Politècnica de Catalunya)
- Direcció General de Política Lingüística (GENCAT)
- EAP Sant Andreu
- Escola d’Administració Pública de Catalunya (GENCAT)
- Federació Catalana de Vela
- Federación de Vela de la Comunidad Valenciana
- Fundació Hospital Sant Pere Claver
- Fundación Navegación Oceánica Barcelona
- Fundación Claudio Naranjo
- Fundación Inlea
- FullCourt-SwitchOn
- GAIU Universitat de Barcelona
- ICE Universitat de Barcelona
- IL3 Universitat de Barcelona
- IDEA I+D
- IDEALOGIC
- IDES, Universitat Autónoma de Barcelona
- Innocan Sistemas
- InPreneur
- Institució Familiar d’Educació
- Institut Català de Tecnologia
- Institut d’Estudis Catalans
- Institut d’Estudis Ilerdencs
- Institut Intel·ligència Emocional
- International Learning Authority
- Ministerio de Economía y Competitividad
- Modum Sport 360
- Mutua Universal
- Programa Binding
- Real Federación Española de Vela
- Recursos y Soluciones
- Renault España
- Sail Training International
- SapiensMindset
- Servición Empresariales y Tecnologías de la Información (Bilbao)
- Tratamiento Avanzado de Datos (TAD Sistemas)
- Universidad de Zaragoza
- Universitat Oberta de Catalunya
- Universidad Politécnica de Madrid
- Universidad de Cádiz
- Universidad de Carabobo (Venezuela)
- Universidad de la República (Uruguay)
- Universidad de Sevilla
Contacto
Dr. Jordi Renom Pinsach
Jordi Renom Pinsach es profesor de la Facultad de Psicología de la Universidad de Barcelona. Desde 1987 sus áreas de intervención son la medición psicológica y educativa y el factor psicológico en deporte.
Ha sido formador y consultor metodológico en más de 80 proyectos de transferencia de conocimiento entre la universidad y empresas de diferentes sectores. Se ha especializado en el diseño y validación de procedimientos de evaluación en psicología, educación, salud y deporte.
Como responsable del proyecto Testing-Quest coordina servicios a medida de creación y control de calidad de instrumentos de evaluación para organizaciones interesadas en garantizar académicamente sus métodos. Con Testing-Quest se efectua el control de calidad de los procedimientos de evaluación. Esta metodología también es útil en procesos de reclamación.
En el ámbito deportivo, desde 1985 ha impartido más de 200 cursos y seminarios sobre metodología de enseñanza y mejora del rendimiento para técnicos y especialistas deportivos. También ha coordinado diversos proyectos de promoción del deporte y reducción del abandono, especialmente del sector náutico.
Con más de 25 años de experiencia, 80 publicaciones y 150 aportaciones a congresos, Jordi Renom proporciona servicios de consultoría académica en estas especialidades a través de contratos de transferencia de la Fundació Bosch y Gimpera (UB).
Teléfono
+34-933-125-075
jrenompinsach@ub.edu
Dirección
Dept. de Psicología Social y Psicología Cuantitativa Facultad de Psicología, Campus Mundet, Universitat de Barcelona Avda. Vall d'Hebron 171. Barcelona - 08034 Coord. 41.437844, 2.141807
