Introdução

Khipu.ai é uma conferência dedicada a impulsionar o progresso no campo da Inteligência Artificial (IA) na América Latina, reunindo os principais pesquisadores e profissionais do setor para compartilhar seus conhecimentos e experiências. Este ano, aconteceu de 6 a 10 de março na Facultad de Ingeniería, Universidad de la República, em Montevidéu, Uruguai.

O objetivo da Khipu é promover a diversidade no campo da IA e facilitar o crescimento na América Latina, incentivando a colaboração, a inovação e a troca de conhecimento. Isso cria oportunidades de treinamento em tópicos avançados de aprendizado de máquina, além de fortalecer a comunidade de IA da América Latina.

Como fortes apoiadores de Khipu, na Marvik tivemos a oportunidade de participar do evento tanto como patrocinadores quanto como palestrantes. A conferência consistiu em várias palestras, cobrindo uma ampla variedade de tópicos importantes da IA, ministrados por especialistas proeminentes, como:

• Processamento de linguagem natural por Kyunghyun Cho
• Modelos generativos por Rubén Villegas
• Modelos de visão em grandes idiomas da Nando de Freitas
• Fundamentos do aprendizado por reforço por Pablo Castro
• Ética e justiça por Sara Hooker
• Representar graficamente os fundamentos das redes neurais por Alejandro Ribeiro e Gonzalo Mateos

Também houve sessões com profissionais do setor, bem como sessões práticas para reforçar o conhecimento adquirido. Além disso, havia uma área com estandes da empresa e uma vitrine de pôsteres destacando as pesquisas mais recentes na área.

Ilana, María Noel, Anthony, Sofía e Martin da nossa equipe no estande da Marvik

Todas as palestras estão disponíveis online no Khipu's site oficial. O objetivo desta postagem é fornecer um resumo dos tópicos mais populares discutidos em Khipu, junto com as principais conclusões e ideias.

PNL: A era dos LLMs

No campo do Processamento de Linguagem Natural (PNL), os Grandes Modelos de Linguagem (LLM) mostraram um progresso significativo nos últimos anos, tornando-os um dos tópicos mais recorrentes de Khipu.

Professor Universitário Kyunghyun Cho começou com uma palestra sobre os fundamentos do LLM, durante a qual ele abordou vários tópicos relevantes, como Mecanismo de Atenção, Transformadores e modelos Seq2Seq autorregressivos. Além disso, ele identificou a correlação espúria como um dos principais desafios do LLM, que precisa ser mitigado para obter robustez nos modelos.

Palestra principal proferida por Kyunghyun Cho

Nando de Freitas complementou isso com uma palestra sobre transformadores multimodais e modelos de linguagem de máscara aplicados a imagens, reafirmando a importância de incorporar outras fontes de informação em vez de texto (imagens, sons etc.) para obter resultados ainda melhores.

Palestra principal proferida por Nando de Freitas

Além disso, durante uma das sessões paralelas, Maria Lomeli da Metapesquisa deu uma palestra muito interessante sobre o uso de Modelos de Linguagem Aumentada de Recuperação (RALM) como alternativa aos LLMs. Esses modelos permitem obter explicabilidade e ter a capacidade de identificar fontes de informação a partir das quais a saída é gerada. Em particular, ela apresentou ATLAS, um modelo de recuperação que envolve um custo computacional significativamente menor do que os LLMs, mantendo resultados decentes em poucas tarefas de aprendizado.

Finalmente, durante as palestras de pesquisa, tivemos a oportunidade de ouvir alguns dos principais pesquisadores da América Latina compartilharem seus trabalhos atuais no campo da PNL. Um dos tópicos mais interessantes apresentados foi a incorporação de línguas sub-representadas, como o guarani e outros dialetos indígenas, no mundo da PNL. Principalmente, todos os palestrantes compartilharam o pensamento comum de que é necessário aumentar a conscientização sobre a falta de modelos disponíveis em outros idiomas e que esse é um campo que precisa ser explorado ainda mais para democratizar o uso da PNL na sociedade.

Modelos generativos

Houve várias palestras e uma sessão prática sobre modelos generativos (GMM), pois eles são hoje um tipo relevante de inteligência artificial devido à sua capacidade de gerar dados realistas de alta qualidade. Na conferência, uma ampla gama de tópicos relacionados a esses modelos foi abordada, desde seus fundamentos teóricos até várias aplicações práticas, incluindo geração de imagem, vídeo e áudio.

Palestra principal proferida por Ruben Villegas

A palestra principal sobre modelos generativos foi proferida por Rubén Villegas, Cientista pesquisador da O cérebro do Google. Em sua palestra, ele se concentrou na geração de imagens e vídeos, discutindo os modelos mais populares baseados em difusão e transformadores e destacando suas diferenças, vantagens e desvantagens. Ele também deu vários exemplos de GMM em vários campos, como Phenaki, um modelo para gerar vídeos a partir de textos para os quais ele contribuiu, e MúsicaLM, um modelo para gerar música a partir de texto.

Além disso, muitas aplicações de modelos generativos foram apresentadas durante as sessões paralelas e nas palestras com patrocinadores e holofotes. Nessa nota, nosso CEO Paula Martínez apresentou algumas das coisas em que estamos trabalhando aqui na Marvik usando modelos generativos para testes virtuais.

Palestra patrocinadora proferida por Paula Martínez

Aprendizagem por reforço

Durante a conferência, o Aprendizado por Reforço (RL) se destacou como outro tópico frequentemente discutido e referenciado. Duas apresentações principais foram feitas sobre esse assunto, bem como uma sessão prática e uma sessão paralela com especialistas em RL.

Pablo Castro deu uma excelente introdução ao Aprendizado por Reforço, cobrindo os princípios e conceitos básicos que formam a base da RL, como o Processo de Decisão de Markov (MDP), a Pesquisa Aleatória de Políticas, o Gradiente de Políticas, o Q-Learning e a compensação entre exploração e exploração. Alguns desses tópicos são abordados com maior profundidade no livro de Pablo blog que está disponível em inglês e espanhol. Também há um colab caderno disponível para prática futura.

Palestra principal proferida por Pablo Castro

Durante as sessões paralelas, vários estudos de caso de DeepMind e O cérebro do Google foram apresentados mostrando o progresso de ponta neste campo, bem como os desafios atuais ainda a serem resolvidos na área. Em particular, o uso de LLMs no processo de seleção de ações foi mencionado como um dos principais tópicos de RL.

Redes neurais gráficas

Ao longo dos anos, as Redes Neurais Gráficas (GNN) provaram ser uma empresa importante no campo do ML e provavelmente continuarão sendo centrais em uma ampla gama de aplicações no futuro. A primeira palestra sobre o assunto foi proferida por Alejandro Ribeiro, que deu uma olhada em alguns dos principais temas abordados em seu curso atual na Universidade da Pensilvânia.

Em cenários em que um gráfico é um componente chave na descrição de relações entre elementos, surge a importância de usar GNNs. O GNN consegue aproveitar o uso de informações estruturais e capturar padrões complexos agregando informações de nós e bordas vizinhos e usando essas informações para atualizar as representações dos nós. Isso não pode ser feito facilmente com algoritmos de ML tradicionais.

Alejandro introduziu o conceito de filtros convolucionais de grafos como uma forma de generalizar as convoluções usuais aplicadas em gráficos. Ou, em outras palavras, pensar nos GNNs como uma generalização das redes neurais convolucionais (CNN). Outra propriedade interessante que foi coberta é a transferibilidade. Os GNNs são capazes de generalizar bem para dados invisíveis e, portanto, podem ser aplicados a outros gráficos que diferem em estrutura, tamanho e características do conjunto de treinamento. A transferibilidade de um GNN é uma característica importante, pois determina a utilidade prática do modelo para aplicações do mundo real.

Uma segunda palestra foi dada sobre esse assunto por Gonzalo Mateos. Ele apresentou as vantagens de usar GNNs em uma grande variedade de aplicações, como sistemas de recomendação, interações de agentes em robótica multiagente, sistemas de redes de comunicação sem fio e gráficos de conhecimento, para citar alguns. Durante a palestra, ele também falou sobre aprendizado de representação gráfica e incorporações superficiais, passando por várias técnicas, como fatoração de matrizes, técnicas de representação baseada em caminhadas aleatórias e node2vec.

Ética e equidade

O campo da Inteligência Artificial tem o potencial de trazer grandes benefícios para a sociedade, mas também levanta importantes questões éticas e morais. Nos últimos anos, tem havido uma preocupação crescente com o impacto da IA na sociedade, particularmente em relação a questões de justiça, responsabilidade e transparência. Na Conferência de Khipu, várias palestras foram dedicadas a explorar essas questões e discutir possíveis soluções para garantir que a IA seja desenvolvida e usada de forma ética, responsável e justa.

Palestra principal proferida por Sara Hooker

Em particular, Sara Hooker Diretor da Coerente deu uma palestra espetacular sobre esse tópico, que proporcionou aos participantes uma visão geral do campo da ética e justiça na IA. Além disso, ela falou sobre Cohere para IA, um laboratório de pesquisa sem fins lucrativos focado em criar mais pontos de entrada na pesquisa de aprendizado de máquina.

Sessões práticas

Além dos discursos principais e apresentações de pesquisas, a conferência ofereceu sessões práticas que permitiram aos participantes adquirir experiência prática com as mais recentes ferramentas e técnicas de IA. Essas sessões práticas foram conduzidas por especialistas na área e forneceram aos participantes informações valiosas sobre as aplicações práticas da IA. Nesta seção, forneceremos uma visão geral das sessões práticas oferecidas na conferência, incluindo os tópicos abordados e as ferramentas usadas. Os cadernos para essas sessões podem ser encontrados em isso link.

• Introdução ao JAX: Este tutorial abordou JAX, Optax e Haiku, que são bibliotecas de alto desempenho para computação, otimização e aprendizado de modelos. Além disso, introduziu as Redes Neurais Convolucionais (CNN) e demonstrou como usar as ferramentas mencionadas para treinar um modelo convolucional profundo.
• Atenção e Transformers: Esta sessão prática foi oferecida por membros da equipe Hugging Face. Nele, o mecanismo de atenção foi introduzido com mais detalhes e um transformador foi construído bloco a bloco para ver por que é uma arquitetura tão robusta e poderosa.
• Redes neurais gráficas: este tutorial abordou as redes neurais gráficas (GNNs), que ganharam imensa popularidade tanto na pesquisa quanto na indústria. Incluiu uma atualização sobre a teoria dos grafos, uma visão geral de como os GNNs funcionam e uma discussão sobre implementações populares de GNN com exemplos práticos.
• Modelos generativos profundos: Essa prática se concentra em modelos generativos. Especificamente, ele aborda os desafios de desenvolvimento de um modelo de difusão Denoise, que é a espinha dorsal de modelos recentes como Dalle-2 e Imagen.
• Introdução ao aprendizado por reforço: este tutorial introdutório explica o aprendizado por reforço (RL), em que um agente aprende a realizar ações para maximizar as recompensas em um ambiente, abordando várias abordagens de RL para resolver o problema clássico do CartPole.
• Impactos sociais da inteligência artificial: Essa prática se concentrou em avaliar o impacto dos estereótipos nas tecnologias da linguagem e na compreensão de preconceitos em grandes modelos de linguagem e incorporações de palavras.

Sessões de pôsteres

A conferência também contou com uma sessão de pôsteres em que os participantes puderam apresentar suas pesquisas em um ambiente mais informal. Isso permitiu uma experiência mais interativa, na qual os pesquisadores poderiam discutir seu trabalho com outros participantes e receber feedback sobre suas descobertas.

A sessão de pôsteres abordou uma variedade de tópicos relacionados à Inteligência Artificial, incluindo aprendizado profundo, visão computacional, processamento de linguagem natural e muito mais. Foi uma ótima oportunidade para os participantes aprenderem sobre pesquisas de ponta e interagirem com outros profissionais da área. Os resumos de todos os pôsteres apresentados durante a conferência podem ser encontrados em isso link.

Além disso, Ilana Stolovas e Maria Noel Espinosa, membros de nossa equipe, apresentaram parte de sua tese de graduação durante a sessão de pôsteres sob o título “Marcação de áudio para avaliação de impacto antropogênico na paisagem sonora da Antártica”. Vários participantes ficaram impressionados com seu trabalho e receberam feedback e sugestões valiosos de outros pesquisadores. Foi uma ótima oportunidade para os membros da nossa equipe mostrarem seus conhecimentos e ganharem exposição à comunidade mais ampla de IA.

María Noel, da nossa equipe, com seu pôster sobre marcação de áudio na Antártica

Mulheres na IA

No dia 4, o Google organizou um evento Women in AI para unir mulheres e discutir, incentivar e apoiar a importância da diversidade na comunidade de IA na América Latina. Durante o evento, um prestigioso grupo de palestrantes da academia e da indústria compartilhou suas experiências de carreira e sua jornada pessoal pelo mundo da IA. Estamos muito orgulhosos de que um dos nossos, nosso CEO Paula Martínez fui convidada a participar deste painel de mulheres magníficas.

Palestrante do evento Mulheres na IA

Todos os membros falaram sobre quais experiências os levaram ao campo, quais pessoas ou eventos os inspiraram e os levaram a aprimorar suas carreiras. Eles também compartilharam suas perspectivas e conselhos para as mulheres que estão por vir. Em particular, uma das mensagens de Paula foi sobre o fato de que o setor de IA está mudando constantemente e como é importante não se surpreender com isso e entender que às vezes será impossível acompanhar todos os avanços mais recentes, mas tudo bem! É importante saber quando parar de pesquisar e começar a criar.

Definitivamente, foi um espaço muito enriquecedor, cheio de intercâmbio e crescimento pessoal, centrado na mensagem-chave de que a diversidade na IA não deve ser uma preocupação exclusiva das mulheres, pois afeta a todos. É imperativo que todos nós ajamos e continuemos avançando em direção a uma comunidade mais inclusiva.

Finalmente, o evento foi encerrado com um show incrível de uma das bandas uruguaias mais famosas, Agora, o Van Gustar., que compartilhou um pouco da cultura rock do nosso país.

Evento de encerramento

O evento de encerramento do Khipu 2023 foi realizado no belo Teatro Solís em 10 de março e foi um evento empolgante e gratuito que contou com palestras de renomados pesquisadores em Inteligência Artificial. O evento foi aberto ao público em geral, academia, imprensa, indústria e colaboradores, e os participantes tiveram a oportunidade de ouvir os principais pesquisadores sobre aplicações recentes de IA na América Latina e no mundo.

Teatro Solís no evento de encerramento

Os participantes foram calorosamente recebidos no local, enquanto dois jovens programadores talentosos demonstraram suas habilidades em codificação ao vivo. Essa é uma arte performática improvisada que envolve escrever código-fonte para gerar imagens ou áudio enquanto projeta a tela do computador no espaço do público, permitindo que o público veja o processo de criação do código em tempo real.

Em seguida, uma série de palestras foi proferida por seis pesquisadores diferentes apresentando vários tópicos. Mais tarde, Peter Norvig, cientista da computação americano e ilustre bolsista educacional do Instituto Stanford de IA centrada no ser humano, deu a palestra principal. Depois disso, um painel de pesquisadores experientes em IA forneceu diferentes perspectivas sobre as possibilidades de colaboração regional na América Latina. Finalmente, os participantes compartilharam um merecido brindis fora do teatro Solís para encerrar uma semana incrível.

Considerações finais

Para concluir, a conferência Khipu 2023 foi um evento absolutamente incrível e nós da Marvik estamos incrivelmente orgulhosos de termos sido patrocinadores. A conferência reuniu algumas das mentes mais brilhantes no campo da Inteligência Artificial, e os participantes assistiram a uma grande variedade de palestras, workshops e painéis de discussão empolgantes.

Desde a pesquisa de ponta apresentada nas sessões principais até as sessões de pôsteres, a conferência foi uma celebração de tudo o que torna a IA um campo tão empolgante e dinâmico. Já estamos ansiosos pela próxima conferência de Khipu e mal podemos esperar para ver as coisas incríveis que serão oferecidas!

Participantes de Khipu 2023 no evento de encerramento