Soluções de infraestrutura de IA
Grids de IA
Escale aplicações nativas de IA orquestrando cargas de trabalho em infraestrutura de IA distribuída geograficamente.
Visão Geral
Infraestrutura distribuída para IA generativa, baseada em agentes e física
As aplicações de IA modernas são em tempo real, hiperpersonalizadas e com uso intensivo de dados, atendendo a milhões de usuários, agentes e máquinas em todo o mundo. As operadoras de telecomunicações estão posicionadas de forma única para atender a essa demanda, transformando sua infraestrutura existente em grids de IA, trazendo a IA para mais perto de onde a inteligência é usada.
Uma grid de IA é uma plataforma de infraestrutura de IA distribuída, interconectada e orquestrada que executa cada workload onde ela tem melhor desempenho. Ele conecta fábricas de IA com hubs regionais e locais no edge, para que dados, modelos e agentes possam se mover com segurança em locais distribuídos operando como um sistema unificado.
A NVIDIA fornece o Stack de computação acelerada, rede e software que impulsiona as grids de IA, ajudando as operadoras a desbloquear rapidamente a capacidade de IA distribuída e impulsionar novas experiências nativas de IA
Benefícios
Execute todas os workloads de IA no local ideal
Latência previsível
Mantenha os serviços nativos de IA responsivos, executando a inferência na infraestrutura mais próxima dos usuários, agentes e máquinas. Isso ajuda as operadoras a atender a acordos de nível de serviço (SLAs) rigorosos para experiências de voz, visão e controle em tempo real.
Melhor economia de tokens
Execute cargas de trabalho com uso intensivo de tokens em nós com a computação e a rede mais econômicas, reduzindo o volume de dados na rede e reduzindo os custos de saída sem sacrificar a qualidade do serviço.
Maior utilização e resiliência
Trate muitos sites distribuídos como um único pool de capacidade de IA para aumentar a utilização de GPU e reduzir recursos ociosos. Se um site falhar, as cargas de trabalho são reequilibradas automaticamente em toda a rede para manter a continuidade do serviço.
Simultaneidade em escala
Execute serviços nativos de IA em muitos sites distribuídos para lidar com grandes surtos de usuários, aplicações e agentes simultâneos, mantendo qualidade consistente de experiência e custo.
Produtos
As bases para uma grid de IA
A NVIDIA oferece uma plataforma unificada para equipar sites distribuídos com infraestrutura de IA completa, transformando-os em redes de IA conectadas e orquestradas.
Casos de Uso
Inteligência distribuída em ação
Explore como as grids de IA com tecnologia da NVIDIA permitem uma nova classe de aplicações nativas de IA que exigem acesso à inteligência em tempo real e com eficiência de custos em escala.
-
IA Física
-
IA em tempo real
-
Hiperpersonalização
-
Funções de rede nativas de IA
IA Física
A IA física permite que robôs, veículos, câmeras e sistemas de IoT percebam, raciocinem e ajam no mundo físico. As grids de IA permitem que o NVIDIA Metropolis execute IA de visão em escala de cidade perto de câmeras para análise em tempo real, enquanto robôs autônomos transferem o planejamento e o raciocínio mais pesados para locais próximos quando a computação incorporada não é suficiente.
IA em tempo real
Os serviços de IA interativos, como assistentes de AI conversacional, dependem de um controle rígido de latência de ponta a ponta e de jitter para se sentirem naturais e responsivos. As grids de IA executam essas cargas de trabalho em nós fisicamente próximos dos dados, preservando a margem de latência e roteando cada solicitação para os melhores recursos disponíveis, mesmo durante picos de demanda ou interrupções parciais.
Hiperpersonalização
Assistentes de IA personalizados, experiências de mídia e esportes e aplicações empresariais devem adaptar respostas em tempo real para milhares ou milhões de sessões simultâneas. Em uma grid de IA, os operadores podem armazenar em cache o contexto do usuário ou do locatário em nós regionais e executar a lógica de personalização e geração mais perto dos usuários, melhorando a latência de cauda enquanto mantêm a economia da personalização sempre ativa sustentável.
Funções de rede nativas de IA
Cargas de trabalho de rede, como RAN, gerenciamento de tráfego e otimização no plano do usuário, dependem cada vez mais da IA para analisar fluxos e tomar decisões em tempo real. As redes de IA executam essas funções de rede nativas de IA na mesma infraestrutura distribuída das aplicações, melhorando a utilização e permitindo roteamento mais inteligente, aplicação de políticas e qualidade da experiência em toda a rede.
Próximos Passos