Capacitação em O poder dos LLMs: Da Arquitetura Transformer aos Modelos Fundacionais Multimodais

Idioma Português, Brasil

INFO

Curso: O poder dos LLMs: Da Arquitetura Transformer aos Modelos Fundacionais Multimodais - RESULTADO AQUI

Carga Horária: 30h

Modalidade: Online

Turno/Horário: Segunda, Quarta e Sexta | 08h às 12h

Período: 01/11 a 13/11/2024

Professor(a): Prof. Paula Costa

Informações aqui!

Inscrição em: https://forms.gle/1tWxPqTUHUDmDdcM6

NÍVEL DO CURSO
Avançado

OBJETIVO:

O objetivo geral do curso é preparar os alunos para compreenderem os Large Language Models (LLMs), abordando sua evolução histórica, a arquitetura Transformer que os fundamenta, seus usos atuais, desafios éticos e as tendências futuras, proporcionando uma visão abrangente do estado da técnica nessa área de IA.

OBJETIVOS ESPECÍFICOS

Fornecer uma visão geral do desenvolvimento histórico dos LLMs, passando pela arquitetura Transformer, incluindo conceitos de atenção, embeddings e aprendizado contextual.
Explorar o estado atual dos LLMs, discutindo suas aplicações, métricas e benchmarks.
Debater as limitações e implicações éticas do uso de LLMs.
Discutir as perspectivas futuras, como modelos multimodais, modelos fundacionais e o papel dos grandes modelos no futuro da inteligência artificial.

QUEM PODE FAZER ESTE CURSO?

Este curso é voltado para estudantes e profissionais de áreas como engenharia, ciência da computação e afins, que já possuam uma base sólida em aprendizado de máquina. Espera-se que o aluno tenha familiaridade com:

Familiaridade com redes neurais e aprendizado supervisionado.
Programação em Python e ambientes de prototipação Jupyter Notebook/Google Colab.
Leitura e compreensão de textos técnicos avançados em inglês.

EMENTA

Histórico dos Large Language Models (LLMs) e evolução dos modelos de linguagem natural.

Arquitetura Transformer: embeddings, mecanismo de atenção, modelos encoder-decoder, encoder-only e decoder-only.

Aspectos do pré- treinamento e ajuste fino de LLMs.

Aplicações práticas dos LLMs: geração de texto, tradução automática, sumarização e perguntas e respostas.

Avaliação de modelos de linguagem: métricas, benchmarks e limites.

Desafios éticos e impactos sociais dos LLMs, incluindo bias e alucinações.

Modelos fundacionais e tendências futuras, incluindo arquiteturas multimodais e aprendizado contínuo.

Implementação e experimentação com modelos pré-treinados.

SOBRE O PROFESSOR

Paula Dornhofer Paro Costa é professora e pesquisadora na Universidade Estadual de Campinas (UNICAMP), com especialização em Engenharia de Computação. Ela possui doutorado em Engenharia de Computação pela UNICAMP, com tese intitulada "Two-Dimensional Expressive Speech Animation". Ao longo de sua carreira acadêmica, Paula tem contribuído significativamente para as áreas de interação humano-computador, sistemas multimodais e síntese de fala expressiva, publicando diversos artigos em periódicos e conferências renomadas. Entre suas principais contribuições científicas, destaca-se o desenvolvimento de abordagens inovadoras para geração de gestos utilizando modelos de difusão e a modelagem de estilo em sistemas de síntese de fala expressiva. Suas pesquisas têm aplicações em processamento de linguagem natural, acessibilidade e interação humano-computador. Além disso, ela possui patentes relacionadas à animação facial sincronizada com fala. Além de sua produção acadêmica, Paula tem participado ativamente de projetos de pesquisa, como aplicações de arquiteturas cognitivas para plataformas móveis e síntese expressiva de fala. Ela também colabora em projetos internacionais e supervisionou estudantes no âmbito do prestigiado programa Emerging Leaders of the Americas Program (ELAP). Sua liderança acadêmica também se reflete na orientação de diversos alunos de mestrado e doutorado. Seus alunos foram reconhecidos com prêmios importantes, demonstrando seu impacto na formação de novos talentos na área de inteligência artificial."