Datos sintéticos vs. datos recopilados por humanos: cuándo gana cada enfoque

Por qué esta pregunta es más difícil de lo que parece

El debate sobre datos sintéticos frente a reales se ha intensificado en los últimos dos años, a medida que los modelos de lenguaje se volvieron lo suficientemente capaces como para generar datos de entrenamiento plausibles a escala. Equipos que antes no tenían más opción que recopilar etiquetas humanas ahora disponen de una alternativa creíble — al menos sobre el papel.

En la práctica, la elección depende de cuatro factores específicos de cada tarea: qué tan bien definida está la distribución objetivo, cuánto matiz conductual importa, si aplican restricciones de privacidad, y qué volumen se necesita realmente. Equivocarse en estos factores es costoso. Subutilizar los datos sintéticos significa sobrepagar por cobertura que podría generarse. Sobreutilizarlos significa entrenar con señal que diverge del comportamiento real de maneras que no afloran hasta producción.

Dónde los datos sintéticos ganan de verdad

La generación sintética produce datos de entrenamiento fiables cuando la distribución objetivo puede describirse completamente mediante reglas o plantillas.

Las tareas de clasificación estructurada son el caso más claro. Si se necesitan ejemplos etiquetados para un clasificador de documentos — y la taxonomía de etiquetas es fija, los tipos de documento son conocidos y los casos extremos están bien caracterizados — un pipeline de generación anclado en un pequeño corpus semilla cubrirá la distribución más rápido y con menor coste que cualquier programa de recopilación humana.

Los dominios con restricciones de privacidad son otro caso fuerte. Cuando los datos reales contienen registros médicos, información financiera o comunicaciones personales, la recopilación está legalmente restringida o requiere pipelines de anonimización costosos. La generación sintética evita ambos problemas: se describe la estructura y las propiedades estadísticas de los datos reales, y el generador produce ejemplos que las respetan sin necesidad de manipular los datos originales.

La aumentación de volumen es el tercero. Cuando ya se dispone de un dataset etiquetado por humanos pero se necesita cubrir clases raras o mejorar la cobertura de distribución, la generación sintética dirigida suele ser la opción correcta. Ya se tiene la señal real — la generación se usa para extenderla, no para sustituirla.

Dónde la recopilación humana sigue ganando

Los casos en que los datos recopilados por humanos superan a la generación sintética comparten una estructura común: el comportamiento objetivo no puede describirse completamente de antemano.

Las tareas conductuales abiertas son el ejemplo canónico. Si se construye un asistente conversacional, un modelo de feedback, o cualquier sistema que deba aprender del abanico completo de cómo se expresan las personas reales, los datos generados reflejarán la distribución del generador — no la del usuario. Los patrones sutiles que impulsan el rendimiento en casos extremos, las disfluencias naturales y cambios de tema que caracterizan la conversación real, la ambigüedad genuina en cómo los humanos toman decisiones — nada de esto se recupera de forma fiable a partir de la salida de un modelo de lenguaje.

Los datos de preferencias para RLHF son una forma específica de esto. Los modelos de recompensa entrenados con comparaciones de preferencias humanas requieren que los evaluadores emitan juicios genuinos. Los datos de preferencias sintéticos tienden a ser internamente consistentes pero mal calibrados respecto al comportamiento real del usuario, lo que amplifica los errores de alineación en lugar de corregirlos.

La especialización en dominios de alto riesgo es un tercero. En la anotación de imágenes médicas, la revisión de documentos legales o la transcripción de audio que requiere fluidez cultural, los revisores son parte de la calidad del dato. Su conocimiento de dominio no es replicable por un generador de propósito general sin un modelo especialista equivalente — que normalmente no existe o no es accesible.

La estructura híbrida que necesitan la mayoría de los pipelines en producción

La mayoría de los equipos que han trabajado con ambos enfoques a escala convergen en una estructura similar: datos humanos para la señal conductual principal, datos sintéticos para la extensión de volumen y cobertura.

El patrón operativo es el siguiente:

1. Recopilación humana primero. Ejecutar un programa de recopilación enfocado para obtener los ejemplos reales que definen qué es bueno. Este dataset se convierte en la referencia — la distribución contra la que se mide todo lo demás.

2. Aumentación sintética. Usar el dataset humano como semilla para un generador y ampliar la cobertura hacia clases raras, demografías subrepresentadas o casos extremos acotados. El dataset de referencia también es lo que se usa para medir la calidad sintética: si los ejemplos generados no superan la revisión humana a una tasa similar a la del dataset original, el generador ha derivado.

3. Validación humana continua. A medida que crece la proporción sintética de los datos de entrenamiento, el pipeline de validación importa más, no menos. Una muestra de revisión humana de tamaño fijo — incluso el 2–5% de cada lote sintético — proporciona una señal continua de que la calidad de distribución se mantiene. Cuando cae, se detecta pronto en lugar de en una regresión en producción.

La clave es mantener los datos sintéticos y humanos etiquetados en el pipeline. Los equipos que los mezclan sin rastrear el origen hacen que la depuración posterior sea casi imposible — especialmente cuando un modelo se degrada en un segmento específico y hay que entender si el problema está en los datos reales, en los sintéticos o en el límite de la aumentación.

Usa este cuestionario para orientar tu decisión

Las cinco preguntas a continuación mapean tus requisitos a una recomendación inicial. Úsalas como herramienta para hacer explícitas las variables clave antes de comprometerte con un diseño de pipeline.

El cuestionario no tiene en cuenta todas las restricciones — el presupuesto, el plazo y las herramientas existentes también importan. Pero pone sobre la mesa la pregunta de señal versus ruido pronto, que es donde la mayoría de los equipos comete sus mayores errores.

Qué implica esto para cómo se gestionan los programas de recopilación

Si el resultado apunta a recopilación humana o híbrida, los detalles operativos importan tanto como la decisión estratégica. Un programa de recopilación humana mal gestionado — con instrucciones de tarea vagas, revisores mal calibrados o sin presupuesto para tasas de rechazo — produce datos que rinden peor que una generación sintética bien estructurada a una fracción del coste.

Lo que separa la recopilación humana fiable de la ruidosa es lo mismo que separa un programa de dataset bien ejecutado de uno caótico: especificaciones de tarea precisas, capacidad de revisión calibrada, estructuras de pago claras y un bucle de retroalimentación entre los resultados de revisión y las instrucciones a los contribuidores.

Esa es la capa operativa que hace que los datos humanos merezcan la pena. Hacerlo bien antes de escalar es lo que evita que la capa de aumentación sintética cargue más peso del que debería.