Existem dois pontos de vista diferentes na academia e na indústria em relação à próxima geração de IA.
Uma perspectiva defende que os modelos de linguagem continuarão sendo fundamentais para o futuro da IA. Diferentes modalidades, como imagens, sons e vídeos, podem ser transformadas em representações unificadas que os modelos podem processar, cabendo aos modelos de linguagem lidar, em última instância, com a compreensão, o raciocínio e a geração.
Outro ponto de vista argumenta que, à medida que a IA se move do espaço digital para o espaço físico e entra em cenários como robôs e modelos do mundo real, a multimodalidade deixará de ser uma simples extensão dos modelos de linguagem e se tornará parte intrínseca dos sistemas inteligentes.
Em relação a essas duas abordagens, Qiu Xipeng, professor da Universidade de Fudan, chefe do projeto OpenMOSS e cientista-chefe da Moss Intelligence, acredita que a inteligência ainda depende da linguagem, pois esta é um canal crucial para a cognição humana e a compreensão do mundo. O verdadeiro desafio da aprendizagem multimodal reside em alinhar efetivamente informações de diferentes fontes com a linguagem, permitindo que os modelos não apenas reconheçam informações individuais, mas também compreendam as relações entre elas.
Na WAIC 2026, que terminou recentemente, Chiu Hsi-Peng compartilhou suas opiniões sobre IA, com foco em computação multimodal, compreensão do mundo real e o paradigma de IA da próxima geração.
A IA precisa entender o contexto, não apenas a janela de bate-papo.
Qiu Xipeng acredita que a cognição, a descrição e a organização do conhecimento do mundo dependem em grande parte da linguagem. A linguagem não é apenas uma ferramenta de comunicação, mas também uma forma crucial para os humanos construírem conceitos abstratos e expressarem relações complexas. No entanto, isso não significa que simplesmente converter imagens, sons e vídeos em linguagem resolva o problema. O verdadeiro desafio da aprendizagem multimodal reside em alinhar efetivamente as informações de diferentes fontes com a linguagem, permitindo que o modelo não apenas reconheça informações individuais, mas também compreenda as relações entre elas. O que aparece em uma imagem, o que é dito em um clipe de áudio ou o que acontece em um vídeo é apenas o primeiro passo para a compreensão do mundo. O modelo precisa fazer julgamentos adicionais:
Por que essas coisas acontecem?
Quais são as conexões entre as diferentes informações?
Que tipo de realidade eles constituem coletivamente?
O valor da aprendizagem multimodal não reside em fornecer ao modelo mais canais de entrada, mas sim em permitir que o modelo forme uma compreensão mais completa do mundo.
Nos últimos anos, modelos de grande porte têm continuamente expandido os limites do tamanho do contexto. De milhares de tokens para centenas de milhares ou até milhões de tokens, a quantidade de informações que os modelos podem ler e processar simultaneamente aumentou drasticamente. No entanto, o “contexto” que Qiu Xipeng enfatiza não se refere meramente ao tamanho do contexto ou à área visível da tela. Ele se refere às “situações” mais complexas do mundo real.
Por exemplo, quando um robô entra em um espaço real e interage com uma pessoa, ele não se depara com um texto pré-escrito. Ele precisa processar simultaneamente:
O que o orador expressou?
Qual foi o tom de voz utilizado ao falar?
Em que contexto ocorre a conversa?
Quem são as pessoas e os objetos ao nosso redor?
Quais são as relações entre os personagens?
O que aconteceu antes;
O que poderá acontecer a seguir?
A mesma frase “Está tudo bem” pode ser usada para confortar alguém ou para disfarçar decepção. O mesmo “Você deveria ir para casa agora” pode ter significados completamente diferentes dependendo do contexto: trabalho, família ou relacionamentos íntimos. Os seres humanos geralmente conseguem entender rapidamente essas diferenças com base no tom de voz, expressões faciais, ambiente e relacionamento, mas, para os modelos atuais, essa ainda é uma tarefa difícil.
Chiu Hsi-peng salientou que os modelos atuais estão longe de ser adequados para a compreensão do mundo. Embora os modelos possam ser capazes de identificar uma pessoa, um objeto ou uma frase, podem não ser capazes de entender o que uma pessoa realmente deseja expressar em um contexto específico, nem de captar plenamente o impacto do ambiente complexo que a cerca na comunicação.
Portanto, a próxima geração de IA precisa de mais do que apenas uma memória de texto maior; ela precisa de uma capacidade mais completa de modelar situações do mundo real. As discussões sobre contexto não podem se limitar ao tamanho da janela de texto; elas precisam ir além, abrangendo a compreensão de cenários complexos do mundo real.
Sistemas multimodais requerem infraestrutura que vai além do modelo.
A informação em situações do mundo real é contínua, dinâmica e altamente complexa. Sons, imagens, ações dos personagens e mudanças ambientais ocorrem constantemente, e informações verdadeiramente valiosas podem surgir apenas em um único instante. Portanto, confiar exclusivamente em um modelo isolado e amplo não é necessariamente suficiente para uma compreensão sustentada do mundo real.
Qiu Xipeng acredita que o desenvolvimento futuro de modelos multimodais exigirá uma infraestrutura correspondente para transformar cenários complexos do mundo real em informações que possam ser entregues ao modelo. Esse caminho é semelhante ao desenvolvimento atual de modelos de código e agentes inteligentes. A razão pela qual os modelos de código conseguem realizar tarefas de desenvolvimento de software cada vez mais complexas não se deve apenas ao fato de os próprios modelos terem se tornado mais poderosos, mas também à sua capacidade de conectar repositórios de código, editores, ambientes de execução, ferramentas de teste e fluxos de tarefas.
De forma semelhante, os sistemas multimodais projetados para o mundo real também requerem infraestrutura de suporte para transformar cenários complexos em informações que o modelo possa receber e processar. O professor Qiu Xipeng compara isso a uma estrutura de codificação em programação, sugerindo que o desenvolvimento futuro de capacidades multimodais pode ser impulsionado tanto por modelos quanto por infraestruturas semelhantes de codificação multimodal.
A próxima geração de IA poderá ser projetada com a participação da IA.
Na visão de Qiu Xipeng, prever o futuro da tecnologia é uma tarefa muito difícil.
Ao analisarmos os últimos anos, percebemos que muitas mudanças tecnológicas que hoje parecem ocorrer naturalmente não foram previstas com precisão na época. Algumas tendências podem ter sido superestimadas, enquanto outras, verdadeiramente profundas, podem ter sido subestimadas por muito tempo. Os avanços tecnológicos não seguem necessariamente caminhos predeterminados. Às vezes, os objetivos que as pessoas buscam deliberadamente podem não ser alcançados como esperado; e algumas tecnologias que hoje parecem passar despercebidas podem ganhar novas oportunidades de desenvolvimento após um acúmulo contínuo.
No entanto, Qiu Xipeng levantou uma direção importante:
IA para IA: Nossa próxima geração de IA pode ser projetada pela própria IA.
Com os avanços em codificação e modelos de agentes, Qiu Xipeng acredita que essas capacidades podem ser ainda mais desenvolvidas antes de se tentar envolver a IA no design de futuros modelos multimodais, explorando a possibilidade de melhores formas de modelos e paradigmas tecnológicos. Isso não significa que a próxima geração de modelos já possa ser desenvolvida autonomamente por IA, mas sim que oferece uma nova possibilidade: a IA não só pode ser aplicada a outras tarefas, como também pode participar gradualmente da pesquisa e do design da própria inteligência artificial.
Mudanças de paradigma verdadeiras raramente acontecem de repente.
Chiu Hsi-peng mencionou: “Em 2023, todos pensavam que o GPT era uma grande mudança de paradigma, mas também foi algo que surgiu gradualmente.”
Antes do ChatGPT, abordagens como sequência para sequência, geração de sequências e unificação de tarefas de processamento de linguagem natural foram exploradas por um longo período. Os pesquisadores primeiro reconheceram o potencial de uma determinada abordagem tecnológica e, em seguida, otimizaram continuamente as estruturas do modelo, os métodos de treinamento, os dados e os sistemas de engenharia. Até que, em determinado momento, quando as capacidades do modelo ultrapassaram um limite crítico, um novo método de interação e uma nova forma de produto realmente emergiram.
Portanto, a futura inteligência multimodal pode não precisar necessariamente substituir completamente o atual sistema de modelos em larga escala. Ela pode se desenvolver gradualmente com base em modelos de linguagem, modelos de codificação e modelos de agentes existentes, impulsionada por necessidades de uso no mundo real, em vez de substituir completamente o sistema atual. Um novo paradigma raramente é projetado de uma só vez. É mais provável que ele cresça gradualmente por meio do uso contínuo, feedback constante e iteração a longo prazo.
Fonte: Xinhua