Introducción

Khipu.ai es una conferencia dedicada a impulsar el progreso en el campo de la Inteligencia Artificial (IA) en América Latina al reunir a los mejores investigadores y profesionales de la industria para compartir sus conocimientos y experiencia. Este año, tuvo lugar del 6 al 10 de marzo en la Facultad de Ingeniería de la Universidad de la República en Montevideo, Uruguay.

El objetivo de Khipu es promover la diversidad en el campo de la IA y facilitar el crecimiento en América Latina mediante el fomento de la colaboración, la innovación y el intercambio de conocimientos. Crea oportunidades para capacitarse en temas avanzados de aprendizaje automático, así como para fortalecer la comunidad de IA de América Latina.

Como firmes defensores de Khipu, en Marvik tuvimos la oportunidad de participar en el evento como patrocinadores y como ponentes. La conferencia consistió en varias charlas, en las que se abordó una amplia gama de temas candentes relacionados con la IA, impartidas por destacados expertos, tales como:

• Procesamiento del lenguaje natural por Kyung Hyun Cho
• Modelos generativos de Rubén Villegas
• Modelos de visión en grandes lenguajes de Nando de Freitas
• Fundamentos del aprendizaje por refuerzo Pablo Castro
• Ética y equidad por Sara Hooker
• Grafique los fundamentos de las redes neuronales por Alejandro Ribeiro y Gonzalo Mateos

También hubo sesiones con profesionales de la industria, así como sesiones prácticas para reforzar los conocimientos adquiridos. Además, hubo un área con stands de empresas y una exhibición de pósters que destacaban las últimas investigaciones en este campo.

Ilana, María Noel, Anthony, Sofía y Martin de nuestro equipo en el stand de Marvik

Todas las charlas están disponibles en línea en Khipu's sitio oficial. El objetivo de esta publicación es proporcionar un resumen de los temas más populares discutidos en Khipu, junto con las principales conclusiones y puntos de vista.

PNL: La era de los LLMs

En el campo del procesamiento del lenguaje natural (PNL), los modelos de lenguaje grande (LLM) han mostrado un progreso significativo en los últimos años, lo que los convierte en uno de los temas más recurrentes de Khipu.

Profesora Kyung Hyun Cho comenzó con una conferencia sobre los fundamentos del LLM, durante la cual cubrió varios temas relevantes, como el mecanismo de atención, los transformadores y los modelos autorregresivos de Seq2Seq. Además, identificó la correlación espuria como uno de los desafíos clave del LLM, que debe mitigarse para aumentar la solidez de los modelos.

Conferencia magistral impartida por Kyunghyun Cho

Nando de Freitas complementó esto con una conferencia sobre los transformadores multimodales y los modelos del lenguaje de máscaras aplicados a las imágenes, reafirmando la importancia de incorporar otras fuentes de información en lugar de texto (imágenes, sonidos, etc.) para obtener resultados aún mejores.

Conferencia magistral impartida por Nando de Freitas

Además, durante una de las sesiones paralelas, Maria Lomeli de Metainvestigación dio una charla muy interesante sobre el uso de los modelos de lenguaje aumentado de recuperación (RALM) como alternativa a los LLM. Estos modelos permiten ganar en explicabilidad y tienen la capacidad de identificar las fuentes de información a partir de las cuales se genera la salida. En particular, presentó ATLAS, un modelo de recuperación que implica un costo computacional significativamente menor que los LLM y, al mismo tiempo, mantiene resultados decentes en tareas de aprendizaje con pocos intentos.

Finalmente, durante las charlas de investigación, tuvimos la oportunidad de escuchar a algunos de los principales investigadores de América Latina compartir su trabajo actual en el campo de la PNL. Uno de los temas más interesantes presentados fue la incorporación de lenguas subrepresentadas, como el guaraní y otros dialectos indígenas, en el mundo de la PNL. Principalmente, todos los ponentes compartieron la idea común de que es necesario crear conciencia sobre la falta de modelos disponibles que no estén en inglés y que este es un campo que debe explotarse más a fondo para democratizar el uso de la PNL en la sociedad.

Modelos generativos

Hubo varias charlas y una sesión práctica sobre los modelos generativos (GMM), ya que hoy en día son un tipo de inteligencia artificial relevante por su capacidad para generar datos realistas de alta calidad. En la conferencia, se abordó una amplia gama de temas relacionados con estos modelos, desde sus fundamentos teóricos hasta diversas aplicaciones prácticas, incluida la generación de imágenes, vídeo y audio.

Conferencia magistral impartida por Ruben Villegas

La charla principal sobre modelos generativos estuvo a cargo de Rubén Villegas, científico investigador en Cerebro de Google. En su charla se centró en la generación de imágenes y vídeos, discutiendo los modelos más populares basados en la difusión y los transformadores y destacando sus diferencias, ventajas y desventajas. También expuso múltiples ejemplos de la GMM en diversos campos, tales como Fenaki, un modelo para generar vídeos a partir del texto para el que ha colaborado, y Música LM, un modelo para generar música a partir del texto.

Además, se presentaron muchas aplicaciones de modelos generativos a lo largo de las sesiones paralelas y las charlas de patrocinadores y destacados. En ese sentido, nuestro CEO Paula Martínez presentó algunas de las cosas en las que hemos estado trabajando aquí en Marvik utilizando modelos generativos para una prueba virtual.

Charla sobre el patrocinio impartida por Paula Martínez

Aprendizaje por refuerzo

Durante la conferencia, el aprendizaje por refuerzo (RL) se destacó como otro tema discutido y referenciado con frecuencia. Se realizaron dos presentaciones magistrales sobre este tema, así como una sesión práctica y una sesión paralela con expertos en RL.

Pablo Castro ofreció una excelente introducción al aprendizaje por refuerzo, cubriendo los principios y conceptos básicos que forman la base de la RL, como el proceso de decisión de Markov (MDP), la búsqueda aleatoria de políticas, el gradiente de políticas, el aprendizaje automático y la compensación entre exploración y explotación. Algunos de estos temas se tratan con mayor profundidad en la obra de Pablo blog que está disponible en inglés y español. También hay un colaboración cuaderno disponible para practicar más.

Conferencia magistral impartida por Pablo Castro

Durante las sesiones paralelas, varios estudios de casos de Mente profunda y Cerebro de Google se presentaron mostrando los avances más vanguardistas en este campo, así como los desafíos actuales que aún quedan por resolver en la zona. En particular, se mencionó el uso de los LLM en el proceso de selección de acciones como uno de los temas candentes de RL.

Redes neuronales gráficas

A lo largo de los años, las redes neuronales gráficas (GNN) han demostrado ser un actor importante en el campo del aprendizaje automático y es probable que sigan siendo fundamentales en una amplia gama de aplicaciones en el futuro. La primera conferencia sobre este tema fue impartida por Alejandro Ribeiro, quien dio un vistazo a algunos de los principales temas tratados en su curso actual en Penn.

En escenarios en los que un gráfico es un componente clave para describir las relaciones entre los elementos, surge la importancia de usar GNN. GNN logra aprovechar el uso de la información estructural y capturar patrones complejos al agregar información de los nodos y bordes vecinos y usar esta información para actualizar las representaciones de los nodos. Esto no se puede hacer fácilmente con los algoritmos de aprendizaje automático tradicionales.

Alejandro introdujo el concepto de filtros convolucionales de grafos como una forma de generalizar las convoluciones habituales que se aplican en los grafos. O dicho de otro modo, pensar en las GNN como una generalización de las redes neuronales convolucionales (CNN). Otra propiedad interesante que se abordó es la transferibilidad. Los GNN pueden generalizarse bien a datos invisibles y, por lo tanto, pueden aplicarse a otros gráficos que difieren en estructura, tamaño y características del conjunto de entrenamiento. La transferibilidad de un GNN es una característica importante, ya que determina la utilidad práctica del modelo para aplicaciones del mundo real.

Una segunda conferencia fue impartida sobre este tema por Gonzalo Mateos. Presentó las ventajas de utilizar los GNN en una amplia variedad de aplicaciones, como los sistemas de recomendación, las interacciones entre agentes en la robótica multiagente, los sistemas de redes de comunicación inalámbricas y los gráficos de conocimiento, por nombrar algunas. Durante la conferencia, también habló sobre el aprendizaje de la representación gráfica y sobre la integración superficial, y utilizó varias técnicas, como la factorización matricial, las técnicas de representación basadas en recorridos aleatorios y node2vec.

Ética y equidad

El campo de la Inteligencia Artificial tiene el potencial de generar grandes beneficios para la sociedad, pero también plantea importantes cuestiones éticas y morales. En los últimos años, ha habido una creciente preocupación por el impacto de la IA en la sociedad, particularmente en lo que respecta a cuestiones de equidad, responsabilidad y transparencia. En la conferencia de Khipu, se dedicaron varias charlas a explorar estas cuestiones y a debatir posibles soluciones para garantizar que la IA se desarrolle y utilice de forma ética, responsable y justa.

Conferencia magistral impartida por Sara Hooker

En particular, Sara Hooker Director de CoHERE impartió una espectacular charla sobre este tema que permitió a los asistentes hacerse una idea general del campo de la ética y la equidad en la IA. Además, habló sobre Cohere para la IA, un laboratorio de investigación sin fines de lucro centrado en crear más puntos de entrada a la investigación sobre aprendizaje automático.

Sesiones prácticas

Además de los discursos principales y las presentaciones de investigación, la conferencia ofreció sesiones prácticas que permitieron a los asistentes adquirir experiencia práctica con las últimas herramientas y técnicas de inteligencia artificial. Estas sesiones prácticas fueron dirigidas por expertos en la materia y proporcionaron a los participantes información valiosa sobre las aplicaciones prácticas de la IA. En esta sección, proporcionaremos una descripción general de las sesiones prácticas ofrecidas en la conferencia, incluidos los temas tratados y las herramientas utilizadas. Los cuadernos de estas sesiones se pueden encontrar en esto enlace.

• Introducción a JAX: Este tutorial cubrió JAX, Optax y Haiku, que son bibliotecas de alto rendimiento para computación, optimización y aprendizaje de modelos. Además, presentó las redes neuronales convolucionales (CNN) y demostró cómo usar las herramientas mencionadas para entrenar un modelo convolucional profundo.
• Atención y transformadores: Esta sesión práctica fue ofrecida por miembros del equipo de Hugging Face. En ella se introdujo el mecanismo de atención con mayor detalle y se construyó un transformador bloque por bloque para ver por qué se trata de una arquitectura tan robusta y poderosa.
• Redes neuronales gráficas: este tutorial cubrió las redes neuronales gráficas (GNN), que han ganado una inmensa popularidad tanto en la investigación como en la industria. Incluyó un repaso sobre la teoría de grafos, una descripción general de cómo funcionan las GNN y una discusión sobre las implementaciones populares de las GNN con ejemplos prácticos.
• Modelos generativos profundos: esta práctica se centra en los modelos generativos. Específicamente, describe los desafíos de desarrollo de un modelo de difusión de ruido, que es la columna vertebral de modelos recientes como Dalle-2 e Imagen.
• Introducción al aprendizaje por refuerzo: este tutorial introductorio explica el aprendizaje por refuerzo (RL), en el que un agente aprende a tomar medidas para maximizar las recompensas en un entorno, y abarca varios enfoques de RL para resolver el problema clásico de CartPole.
• Impactos sociales de la inteligencia artificial: esta práctica se centró en evaluar el impacto de los estereotipos en las tecnologías lingüísticas y en comprender los sesgos en los grandes modelos lingüísticos y la incrustación de palabras.

Sesiones de pósters

La conferencia también incluyó una sesión de pósters en la que los asistentes pudieron presentar sus investigaciones en un entorno más informal. Esto permitió una experiencia más interactiva en la que los investigadores pudieron discutir su trabajo con otros asistentes y recibir comentarios sobre sus hallazgos.

La sesión de pósteres cubrió una variedad de temas relacionados con la inteligencia artificial, incluidos el aprendizaje profundo, la visión por computadora, el procesamiento del lenguaje natural y más. Fue una gran oportunidad para que los asistentes aprendieran sobre la investigación de vanguardia y se relacionaran con otros profesionales del campo. Los resúmenes de todos los pósters presentados durante la conferencia se pueden encontrar en esto enlace.

Además, Ilana Stolovas y Maria Noel Espinosa, miembros de nuestro equipo, presentaron parte de su tesis de pregrado durante la sesión de pósteres bajo el título «Etiquetado de audio para la evaluación del impacto antropogénico en el paisaje sonoro de la Antártida». Varios asistentes quedaron impresionados con su trabajo y recibieron valiosos comentarios y sugerencias de otros investigadores. Fue una gran oportunidad para que los miembros de nuestro equipo mostraran su experiencia y conocieran a la comunidad de IA en general.

María Noel, de nuestro equipo, con su póster sobre el etiquetado de audio en la Antártida

La mujer en la IA

El día 4, Google organizó un evento sobre las mujeres en la IA para unir a las mujeres y debatir, fomentar y apoyar la importancia de la diversidad en la comunidad de IA en América Latina. Durante el evento, un prestigioso grupo de panelistas del mundo académico y de la industria compartieron sus experiencias profesionales y su recorrido personal por el mundo de la IA. Estamos muy orgullosos de que uno de los nuestros, nuestro CEO Paula Martínez fue invitada a unirse a este panel de mujeres magníficas.

Panelista del evento Mujeres en la IA

Todos los miembros hablaron sobre las experiencias que los llevaron a trabajar sobre el terreno, las personas o los eventos que los inspiraron y los llevaron a mejorar sus carreras. También compartieron sus puntos de vista y consejos con las mujeres que están por venir. En concreto, uno de los mensajes de Paula se refería al hecho de que la industria de la inteligencia artificial cambia constantemente y a lo importante que es no dejarse abrumar por ello y entender que a veces es imposible estar al tanto de los últimos avances, ¡pero no pasa nada! Es importante saber cuándo dejar de buscar y empezar a crear.

Definitivamente, fue un espacio muy enriquecedor lleno de intercambio y crecimiento personal, centrado en el mensaje clave de que la diversidad en la IA no debe ser una preocupación exclusiva de las mujeres, ya que tiene un impacto en todos. Es imperativo que todos tomemos medidas y sigamos avanzando hacia una comunidad más inclusiva.

Finalmente, el evento cerró con un increíble espectáculo de una de las bandas uruguayas más famosas, No te va a gustar, quienes compartieron un poco de la cultura rock de nuestro país.

Acto de clausura

El evento de clausura de Khipu 2023 se llevó a cabo en el hermoso Teatro Solís el 10 de marzo, y fue un evento emocionante y gratuito que contó con charlas de reconocidos investigadores en Inteligencia Artificial. El evento estuvo abierto al público en general, el mundo académico, la prensa, la industria y los colaboradores, y los asistentes tuvieron la oportunidad de escuchar a destacados investigadores sobre las aplicaciones recientes de la IA en América Latina y el mundo.

El Teatro Solís en el acto de clausura

Los asistentes fueron recibidos calurosamente en el lugar, mientras que dos jóvenes programadores con talento demostraron sus habilidades en la programación en vivo. Se trata de un arte escénico de improvisación que consiste en escribir código fuente para generar imágenes o audio mientras se proyecta la pantalla del ordenador en el espacio del público, lo que permite al público ver el proceso de creación del código en tiempo real.

Luego, seis investigadores diferentes impartieron una serie de charlas que presentaron múltiples temas. Más tarde, Peter Norvig, científico informático estadounidense y becario de educación distinguido del Instituto de Inteligencia Artificial Centrada en el Ser Humano de Stanford, pronunció la conferencia de apertura. Posteriormente, un panel de investigadores experimentados en inteligencia artificial ofreció diferentes perspectivas sobre las posibilidades de colaboración regional en América Latina. Finalmente, los asistentes compartieron un merecido brindis frente al teatro Solís para poner fin a una semana increíble.

Reflexiones finales

Para concluir, la conferencia de Khipu 2023 fue un evento absolutamente increíble y en Marvik estamos increíblemente orgullosos de haber sido patrocinadores. La conferencia reunió a algunas de las mentes más brillantes del campo de la Inteligencia Artificial, y los asistentes pudieron disfrutar de una amplia variedad de interesantes charlas, talleres y mesas redondas.

Desde la investigación de vanguardia presentada en las sesiones principales hasta las sesiones de pósters, la conferencia fue una celebración de todo lo que hace que la IA sea un campo tan emocionante y dinámico. ¡Ya estamos deseando que llegue la próxima conferencia de Khipu y estamos ansiosos por ver las increíbles cosas que nos ofrecerán!

Asistentes de Khipu 2023 en el evento de clausura