El primer modelo de IA que construí (y cómo fracasó)

Lecciones aprendidas de un experimento que no salió como esperaba

Publicado por Nikola Panajotovikj el 12 de mayo de 2024

El aprendizaje en ciencia de datos y bioinformática está lleno de momentos de frustración, y construir tu primer modelo de inteligencia artificial es, sin duda, una de esas experiencias. Cuando empecé a trabajar con Machine Learning, estaba convencido de que mi primer modelo revolucionaría el análisis de datos en mi campo. Spoiler: no lo hizo.

Este es el relato de mi primera incursión en la construcción de un modelo de IA, las expectativas que tenía y cómo todo terminó siendo un desastre. Pero, sobre todo, es una historia sobre lo que aprendí en el camino.

1. El proyecto: una idea ambiciosa

La idea era simple, al menos en teoría. Quería construir un modelo de Machine Learning para predecir si un fármaco tenía una alta probabilidad de causar efectos adversos en base a su estructura química y su interacción con proteínas diana. En mi mente, esto iba a ser un avance revolucionario para la farmacovigilancia.

El plan era el siguiente:

  • Tomar una base de datos de fármacos conocidos y sus efectos adversos.
  • Extraer características moleculares de cada compuesto.
  • Entrenar un modelo de IA para predecir la probabilidad de efectos adversos.

Sonaba sencillo. No lo era.

2. La recolección de datos: el primer obstáculo

Para cualquier modelo de IA, los datos son lo más importante. Y aquí es donde me encontré con el primer problema: no todos los datos están limpios, completos o bien organizados.

Problemas con los datos:

  • Algunas bases de datos contenían nombres de compuestos sin estructuras químicas asociadas.
  • Había muchas entradas duplicadas con valores contradictorios.
  • Los datos de efectos adversos estaban desbalanceados: la mayoría de los fármacos no tenían eventos adversos graves registrados.
"Pensé que la parte difícil sería entrenar el modelo, pero en realidad, el verdadero reto fue limpiar y estructurar los datos."

3. La elección del modelo: demasiado optimismo

Después de finalmente obtener un conjunto de datos "más o menos" limpio, pasé a elegir el modelo de IA. Como buen principiante, decidí no empezar con algo simple, como regresión logística o Random Forest. No. Yo quería algo más avanzado: una red neuronal profunda con múltiples capas.

Mi razonamiento era que, si una red neuronal profunda podía resolver problemas complejos como el reconocimiento de imágenes, entonces seguro que podía manejar la predicción de efectos adversos de fármacos. Error de novato.

Lo que salió mal:

  • Mi dataset tenía menos de 5000 muestras. Para una red neuronal, eso es insignificante.
  • El modelo comenzó a memorizar los datos en lugar de aprender patrones generales (overfitting).
  • Los tiempos de entrenamiento eran eternos y los resultados seguían siendo mediocres.

Después de varios intentos frustrantes, bajé mis expectativas y probé con modelos más simples, como Random Forest y Support Vector Machines (SVM). Para mi sorpresa, estos modelos funcionaron mucho mejor con mi pequeño conjunto de datos.

4. Evaluación del modelo: la cruel realidad

Cuando finalmente tuve un modelo que parecía "funcionar", llegó el momento de evaluarlo. Para medir su desempeño, utilicé métricas como precisión (accuracy), sensibilidad (recall) y la curva ROC-AUC.

Los resultados:

  • Precisión del modelo: 85% (¡suena bien, verdad?).
  • Sensibilidad: 40% (ah, aquí está el problema).
  • ROC-AUC: 0.65 (básicamente, apenas mejor que el azar).

Mi modelo parecía "bueno" porque predecía correctamente la mayoría de los fármacos sin efectos adversos, pero fallaba en detectar los que sí los tenían. En otras palabras, era inútil para su propósito real.

"El 85% de precisión parecía impresionante, hasta que me di cuenta de que el modelo simplemente estaba prediciendo que casi todos los fármacos eran seguros."

5. ¿Por qué falló mi modelo?

Analizando todo lo que salió mal, identifiqué varias razones:

  • Datos insuficientes y desbalanceados: Los efectos adversos graves son raros, por lo que el modelo no tenía suficientes ejemplos para aprender a detectarlos.
  • Elección incorrecta del modelo: Una red neuronal profunda no era la mejor opción para este tipo de datos.
  • Falta de validación adecuada: No usé técnicas como cross-validation y data augmentation para mejorar la generalización.
  • Optimismo excesivo: Pensé que la IA resolvería todo por sí sola, pero en realidad, la calidad del modelo dependía mucho de cómo preparara los datos.

6. Lecciones aprendidas

Fracasar con este primer modelo fue una de las mejores experiencias de aprendizaje que he tenido. Aquí algunas lecciones clave:

Los datos son más importantes que el modelo

Un modelo mediocre con buenos datos puede superar a un modelo avanzado con datos deficientes. Dedica más tiempo a la limpieza y análisis exploratorio.

Empieza con lo simple

Antes de intentar redes neuronales profundas, experimenta con modelos más interpretables como regresión logística o árboles de decisión.

Evalúa correctamente

No te dejes engañar por la precisión. Usa métricas como la matriz de confusión, ROC-AUC y F1-score para entender cómo se comporta realmente tu modelo.

El fracaso es parte del proceso

Todos los científicos de datos y bioinformáticos han fallado con modelos en algún momento. Lo importante es aprender y seguir mejorando.

Conclusión

Mi primer modelo de IA no fue un éxito, pero me enseñó más de lo que esperaba. Hoy, después de más experiencia, sigo encontrando desafíos en cada nuevo proyecto, pero ahora los enfrento con un enfoque más realista y metodológico.

"Construir modelos de IA es más que programar; es entender los datos, interpretar los resultados y aceptar que, muchas veces, el primer intento fallará."

Si estás construyendo tu primer modelo de IA y no funciona como esperabas, no te desesperes. Aprender de tus errores es lo que te convertirá en un mejor científico de datos. ¡Sigue experimentando y mejorando!