Últimamente veo cada vez más modelos de IA que se autodenominan “open source”. Llama, Mistral, Falcon… todos dicen ser “abiertos”. Pero, ¿realmente lo son? ¿Hasta qué punto son abiertos de verdad?
Hace poco descubrí el European Open Source AI Index (OSAI), una iniciativa europea que está haciendo un trabajo excelente evaluando de forma sistemática qué tan abiertos son realmente los modelos de IA generativa.
¿Qué es el OSAI Index?
El OSAI Index es un recurso público impulsado por la comunidad y alojado en la Radboud University (Países Bajos). Su misión es simple pero importante: evaluar la apertura real de los modelos de IA generativa (texto, imágenes, código, video y audio) más allá del marketing.
Lo interesante es que no se trata de una opinión subjetiva. Tienen un sistema de evaluación basado en 14 parámetros objetivos que miden diferentes aspectos de la apertura de un modelo.
Los 14 parámetros de evaluación
Lo que más me gusta del OSAI es que su evaluación es muy detallada. No se trata de un simple “sí/no”. Analizan:
- Datos del modelo base - ¿Están documentados y disponibles los datos de entrenamiento?
- Datos del modelo final - ¿Lo mismo para el modelo que interactúa con el usuario?
- Pesos del modelo base - ¿Están disponibles libremente los weights?
- Pesos del modelo final - ¿Y los del modelo de usuario?
- Código de entrenamiento - ¿Está disponible todo el código del pipeline?
- Documentación del código - ¿Está bien documentado?
- Arquitectura hardware - ¿Qué hardware se usó para entrenar?
- Preprint - ¿Hay papers previos con detalles técnicos?
- Paper revisado - ¿Publicaciones científicas peer-reviewed?
- Modelcard - ¿Documentación estandarizada del modelo?
- Datasheet - ¿Datasheet según el estándar de Gebru et al.?
- Paquete - ¿Está empaquetado para instalación fácil (PyPI, etc.)?
- API y meta-prompts - ¿Hay API sin restricciones?
- Licencias - ¿Usan licencias OSI aprobadas para TODO (datos, código, pesos)?
El problema del “openwashing”
Aquí es donde el OSAI Index realmente brilla. Identifica lo que llaman “openwashing”: cuando un modelo se marketea como “open source” pero en realidad no cumple los estándares del open source real.
Un ejemplo muy reciente: Lumo, el asistente de IA de Proton. El OSAI lo analizó y lo calificó como “el modelo ‘abierto’ menos abierto que jamás hemos evaluado”.
O sea, que se vendía como abierto pero en realidad era casi tan cerrado como cualquier solución propietaria tradicional.
¿Por qué esto importa para nosotros como developers?
Yo creo que esto es importante por varias razones:
Transparencia técnica
Cuando eliges un modelo para un proyecto, necesitas saber:
- ¿Puedo inspeccionar cómo funciona?
- ¿Puedo auditar los datos de entrenamiento?
- ¿Puedo modificarlo y redistribuirlo?
- ¿Qué restricciones legales tengo?
Independencia
Si el modelo no es realmente abierto:
- Dependes del proveedor para cambios
- No puedes auditar el comportamiento
- No puedes hostearlo tú mismo
- Estás atado a sus términos de servicio
Cumplimiento normativo
Con la EU AI Act y otras regulaciones, necesitas modelos que puedas auditar. El open source real te da control; el “openwashing” te da falsa seguridad.
El ranking: modelos realmente abiertos
Según el OSAI Index, los modelos más abiertos actualmente incluyen:
- OLMo (Ai2) - Muy bien valorado en apertura
- BLOOMZ (BigScience Workshop)
- Pythia (EleutherAI)
- OpenLLaMA
- SmolLM (HuggingFace)
Y curiosamente, modelos muy populares como Llama (Meta) o Mistral no salen tan bien parados cuando evalúas los 14 parámetros. Sí, liberan los pesos, pero faltan muchas cosas: código de entrenamiento, datos, documentación completa…
Mi opinión personal
Llevo años siguiendo el mundo open source, y creo que la transparencia importa especialmente en IA.
Con software tradicional, si no es open source, puedes al menos leer la especificación, entender la API, usarlo. Con IA, el modelo es un bloque opaco: no sabes qué ha aprendido, ni cómo, ni qué sesgos tiene.
Si un modelo dice ser “open source” pero:
- No comparte los datos de entrenamiento
- No documenta el hardware usado
- No permite redistribución real
- Usa licencias con restricciones ocultas
…entonces no es open source. Es “openwashing”.
Cómo usar el OSAI Index
Mi recomendación es sencilla: antes de elegir un modelo para un proyecto serio, consulta el OSAI Index.
El proceso:
- Ve a osai-index.eu
- Filtra por tipo (texto, imagen, código…)
- Compara modelos que te interesen
- Revisa los 14 parámetros
- Toma una decisión informada
Por ejemplo, si estás evaluando entre tres modelos de lenguaje:
- Comprueba si tienen modelcard proper
- Verifica si las licencias son OSI-approved
- Mira si hay papers revisados por pares
- Chequea si puedes auditar el entrenamiento
Conclusión
El European Open Source AI Index es una herramienta necesaria y oportuna.
En un mundo donde todo el mundo reclama ser “open”, necesitas una evaluación objetiva. Los 14 parámetros del OSAI te dan exactamente eso: una forma de distinguir marketing de realidad.
Para nosotros los developers y arquitectos de sistemas, esto significa que podemos tomar decisiones más informadas sobre qué modelos usar, cómo deployarlos y qué riesgos asumimos.
Y eso, al final del día, es lo que importa: transparencia real, no slogans de marketing.
Recursos:
Comentarios