IA Informer.

CrowdGPT propone entrenar un LLM de forma distribuida con GPUs domésticas

CrowdGPT es un proyecto en fase inicial que busca entrenar un modelo de lenguaje de 1.000 millones de parámetros sin centros de datos y con participación abierta de usuarios. La propuesta reparte el entrenamiento entre ordenadores personales, publica los pesos y abre también los datos de entrenamiento, pero por ahora todo eso debe leerse como una promesa del propio proyecto, no como un resultado ya probado.

Ilustración editorial sobre CrowdGPT propone entrenar un LLM de forma distribuida con GPUs domésticas
Imagen editorial generada para IA Informer.

Qué propone exactamente el proyecto

La presentación pública del proyecto lo describe como una iniciativa para crear una “IA de todos”: cualquier persona puede ejecutar un cliente en su equipo, aportar cómputo y sumar su contribución al modelo global. El autor afirma que CrowdGPT quiere entrenar un modelo de 1.000 millones de parámetros de forma colaborativa y abierta, y que el sistema está pensado para que la comunidad tenga voz en la dirección del proyecto.

El sitio del proyecto añade varios elementos que, de momento, conviene leer como afirmaciones de la propia iniciativa y no como resultados verificados: que el modelo se entrena sin datacenters, que el cliente es un único archivo Python auditable, que los pesos serán descargables y abiertos en Hugging Face y que el entrenamiento pretende hacerse con GPUs de consumo ya encendidas.

Cómo funcionaría el entrenamiento

La documentación pública describe un sistema sencillo en su planteamiento. Cuando un equipo se conecta, el servidor asigna un fragmento concreto de datos —bloques de 10 MB de texto tokenizado— y los pesos actuales del modelo. Después, el cliente descarga esos pesos, entrena localmente sobre ese trozo de datos y devuelve una actualización diferencial, es decir, el cambio producido durante el entrenamiento.

Según esa explicación, el proyecto dice aplicar varias comprobaciones antes de aceptar contribuciones: revisión de valores NaN o Inf, verificación de que el tamaño del delta coincide con la arquitectura y límites sobre la norma de la actualización para reducir el riesgo de manipulación del modelo. También afirma que cada actualización pasa por validación entre pares y que los participantes reincidentes que envíen contribuciones anómalas pueden ser expulsados.

Esa parte importa porque una de las críticas que aparecen en el debate público es precisamente la seguridad del sistema frente a datos maliciosos o contribuciones que alteren el modelo. Los comentarios muestran curiosidad por la idea, pero también dudas muy concretas sobre el control de calidad, la trazabilidad de cada contribución y la posibilidad de envenenar el entrenamiento con pocos envíos.

Qué pide a los usuarios y qué ofrece a cambio

En la publicación original, el creador plantea directamente qué frenaría a potenciales colaboradores y pregunta si estarían dispuestos a ceder parte del tiempo de su GPU para entrenar el modelo. También sugiere que, para atraer participación, podrían ofrecerse incentivos como créditos gratuitos de inferencia sobre el propio modelo de CrowdGPT.

Eso deja una cuestión práctica abierta: hoy la convocatoria no se presenta solo como una invitación ideológica a construir un modelo abierto, sino como un intento de averiguar qué tipo de compensación o experiencia haría que más gente se sume. En otras palabras, el proyecto todavía está probando si el discurso de propiedad compartida basta para movilizar voluntarios o si necesitará devolver algún beneficio directo.

Lo que está confirmado y lo que no

Lo confirmado, con lo que puede verificarse en la web del proyecto y en su repositorio, es que CrowdGPT existe, tiene sitio propio, código en GitHub, instrucciones de instalación y una arquitectura pensada para distribuir el entrenamiento entre máquinas participantes. También está confirmado que el proyecto declara soporte para varias plataformas de GPU y que su página de estado expone campos como contribuciones, GPUs activas, tokens procesados y pérdida actual.

Lo que no está confirmado, al menos con la información disponible, es que ese enfoque ya funcione a la escala prometida, que el modelo alcance una calidad competitiva o que el sistema de moderación de contribuciones resista ataques reales. Tampoco hay aquí una comparación independiente con otros métodos de entrenamiento distribuido ni una auditoría externa del código, así que la propuesta debe leerse como un prototipo ambicioso, no como una alternativa cerrada a los grandes laboratorios.

Por qué importa

La idea apunta a un problema real: gran parte del desarrollo de modelos avanzados depende de enormes centros de datos y presupuestos fuera del alcance de una comunidad abierta. Si CrowdGPT consiguiera una red estable de contribuyentes, demostraría que parte del entrenamiento puede repartirse más allá de la infraestructura corporativa tradicional. Pero, de momento, el valor del proyecto está sobre todo en la hipótesis que intenta probar, no en un resultado ya consolidado.

El siguiente paso, según la propia presentación pública, es ampliar el modelo más allá de esta versión de 1.000 millones de parámetros y seguir recabando críticas para hacerlo más accesible. La cuestión pendiente es si el proyecto podrá convertir esa colaboración dispersa en un sistema de entrenamiento fiable, verificable y útil fuera de la fase de prueba.