Arquiteturas de Referência Empresarial da NVIDIA.

Arquiteturas de Referência

Crie Fábricas de IA Empresarial escaláveis

Transforme seu data center em uma fábrica de IA de alto desempenho com as Arquiteturas de Referência da NVIDIA.

Visão Geral

As Bases para o Sucesso da IA

As Arquiteturas de Referência (RAs) da NVIDIA permitem que as organizações projetem, implantem e escalem fábricas de IA de alto desempenho usando infraestrutura validada e repetível. Esses designs combinam computação certificada, redes de alta velocidade leste-oeste e norte-sul, ferramentas de observabilidade e software de infraestrutura para garantir desempenho escalável, desde clusters de quatro nós até ambientes em escala empresarial.

A Palantir se une à NVIDIA para oferecer arquitetura de referência de sistema operacional de IA soberana

A Arquitetura de Referência de SO de IA Soberana da Palantir é baseada em RAs da NVIDIA, testada e qualificada para executar o pacote completo de software da Palantir na infraestrutura de IA da NVIDIA.

Design comprovado e desempenho validado

Saiba como as RAs da NVIDIA, criadas em implantações reais e configurações testadas em batalha, simplificam o planejamento e maximizam o ROI para infraestrutura de IA escalável.

Arquiteturas de Referência da NVIDIA

Seu Guia para a Família Completa

Um pacote abrangente de instruções para configurar clusters no data center agora está disponível.

Infraestrutura

Arquiteturas de Referência da NVIDIA começam com configurações de hardware validadas, incluindo padrões de nós de CPU, GPU e rede, diagramas de cabeamento e detalhes de infraestrutura.

Lógica de Rede

O Guia de Configuração de Rede e Arquitetura Lógica para RAs fornece instruções para gerenciamento e provisionamento de nós por meio do design de VLAN e simulação de rede no NVIDIA Air.

Software

Nosso stack de referência de software para RAs descreve o software para gerenciar, provisionar e dimensionar clusters de infraestrutura. Os lançamentos atuais concentram-se no Kubernetes de código aberto, com o software NVIDIA AI Enterprise e o NVIDIA Run:ai.

Observabilidade

O Guia de Observabilidade para Arquiteturas de Referência da NVIDIA utiliza ferramentas de código aberto, como Prometheus e Grafana, para monitorar o desempenho de GPU e rede em todo o cluster. Os painéis fornecem métricas em tempo real para a integridade do sistema e a eficiência da carga de trabalho.

Implantação

O Guia de Implantação para Arquiteturas de Referência da NVIDIA é uma coleção de melhores práticas de infraestrutura que nossa equipe aprendeu ao criar, implantar, testar e validar os clusters internos nos quais construímos nosso programa.

Armazenamento

O programa Armazenamento Certificado pela NVIDIA é um esforço complementar de parceiros de armazenamento selecionados que criaram guias de armazenamento projetados para se integrar a RAs. Saiba mais sobre esse programa exclusivo.

Casos de Uso

Projetado para Todos os Casos de Uso

Acelere cargas de trabalho de IA baseada em agentes, IA física, computação de alto desempenho (HPC) e simulação de IA com as comprovadas Arquiteturas de Referência da NVIDIA e NVIDIA-Certified Systems™ de parceiros globais. As principais configurações de clusters de infraestrutura para implantar fábricas de IA empresarial são descritas abaixo.

NVIDIA RTX PRO IA Factory

A configuração do NVIDIA RTX PRO™ AI Factory foi projetada para um amplo espectro de cargas de trabalho empresariais, incluindo IA generativa e baseada em agentes, análise de dados, computação visual e simulação de engenharia. As implantações são otimizadas em torno de pontos de design de 16 e 32 nós, fornecendo um equilíbrio ideal de desempenho, escalabilidade e eficiência de implantação. Projetados para aceleração universal de workloads em IA empresarial, simulação e computação visual, os servidores NVIDIA RTX PRO são otimizados para ambientes PCIe, tornando-os ideais para data centers com restrições de espaço, energia e resfriamento. Criados especificamente para cargas de trabalho de IA modernas, oferecem desempenho eficiente para IA baseada em agentes e inferência de grandes modelos de linguagem (LLM).

NVIDIA HGX IA Factory

A configuração de alto desempenho NVIDIA HGX™ AI Factory foi criada especificamente para treinamento e inferência de IA de vários nós em escala, aproveitando os sistemas NVIDIA HGX. Disponível em pontos de design de 32, 64 e 128 nós e compatível com a rede NVIDIA Spectrum-X, a arquitetura apresenta um design flexível e otimizado para trilhos que permite a integração eficiente em diversos layouts de rack, oferecendo desempenho de alta taxa de transferência e baixa latência. Fornece desempenho inovador para usuários avançados de IA executando as workloads mais exigentes, permite o treinamento e o ajuste de modelos em larga escala e acelera significativamente a inferência. Com precisão de última geração e interconexões ultrarrápidas, a solução alcança uma taxa de transferência de tokens até 15 vezes maior.

NVIDIA NVL72 IA Factory

A configuração do NVIDIA NVL72 AI Factory foi projetada para treinar e implantar modelos de trilhões de parâmetros, oferecendo poder de computação em exaescala em um único rack. Criado para alta taxa de transferência de modelos, inferência de vários usuários e inferência em tempo real em escala, ele permite a próxima geração de inovação orientada por IA. Os pontos de design de implantação se concentram em configurações de quatro e oito racks. Criada em uma rede flexível e otimizada para trilhos, a arquitetura se adapta a diversos layouts de rack e designs de sistemas, oferecendo desempenho de alta largura de banda e baixa latência. A plataforma oferece saída excepcional de fábricas de IA com eficiência energética líder do setor e é impulsionada pelo NVIDIA NVLink™ de quinta geração, núcleos tensores FP4 e inovações térmicas avançadas.

Benefícios

O Valor Estratégico das Arquiteturas de Referência da NVIDIA

Desbloqueie a infraestrutura de IA escalável e de alto desempenho com configurações comprovadas e prontas para parceiros.

Desempenho de Pico para Cargas de Trabalho de IA

Atenda às demandas intensivas de inferência de IA, ajuste fino e treinamento com arquiteturas que garantem a utilização total da GPU e a consistência de desempenho em clusters de vários nós.

Escalabilidade Flexível, Operações Simplificadas

Expanda sua infraestrutura com facilidade e garanta a implantação escalável e simplificada para até 128 nós. Crie a base para soluções completas com o design validado do NVIDIA Enterprise AI Factory, que aproveita nosso ecossistema de software.

Reduza a Complexidade e o TCO

Simplifique os processos de implantação e os designs eficientes, reduza a complexidade e o custo total de propriedade (TCO), enquanto reduz o tempo de geração de valor.

Suportabilidade

Siga padrões de design específicos e padronizados para alcançar uma operação consistente de uma instalação para outra, reduza a necessidade de suporte frequente e permita tempos de resolução mais rápidos.

Parceiros

Parceria para Alta Performance

Temos orgulho em colaborar com os principais parceiros à medida que eles trazem soluções de fábrica de IA corporativas para o mercado. Os designs endossados desses parceiros foram aprovados em nosso Design Review Board, oferecendo orientação que recebe nosso endosso em uma ou mais das seguintes categorias: infraestrutura, Spectrum-X e arquitetura lógica de rede.

Arquitetura de referência de sistema operacional de IA Sovereign da Palantir com NVIDIA

A Arquitetura de Referência de Sistema Operacional de IA Soberana da Palantir é baseada nas RAs da NVIDIA, testadas e qualificadas para executar o pacote completo de software da Palantir na infraestrutura de IA da NVIDIA com nossos parceiros de sistema globais. Essa arquitetura de IA soberana é crítica para clientes com workflows sensíveis à latência, requisitos de soberania de dados e alta distribuição geográfica. A arquitetura fornece às empresas controle total sobre seus dados, modelos de IA e aplicações.

Recursos

Saiba mais sobre as RAs da NVIDIA

Arquitetura de referência de fábricas de IA NVIDIA RTX PRO

A configuração do NVIDIA RTX PRO AI Factory oferece suporte a uma ampla variedade de cargas de trabalho empresariais, incluindo inferência de IA baseada em agentes, IA física e industrial, computação visual e computação de alto desempenho para análise de dados e simulação. Este documento detalha os componentes de hardware que sustentam essa arquitetura escalável e modular.

Arquitetura de referência de fábricas de IA NVIDIA HGX

A configuração do NVIDIA HGX AI Factory está focada em inferência de IA de alto desempenho, treinamento de modelos e ajuste fino. Este documento descreve os componentes de hardware de uma arquitetura escalável e modular, incluindo orientação de clusters e topologias de malha de rede usadas para interconectar o cluster.

Arquitetura de Referência de Fábrica de IA NVIDIA NVL72

A fábrica de IA NVIDIA NVL72 é compatível com as cargas de trabalho de IA empresarial mais intensivas, incluindo treinamento de modelos fundamentais em larga escala, ajuste fino, inferência em tempo real e pipelines complexos de IA baseada em agentes. Este documento descreve o bloco de construção em escala de rack baseado em GB300 NVL72, incluindo orientação sobre a composição de nós, o design de domínio NVLink e as interfaces de rede necessárias para escalar.

Visão Geral da Arquitetura de Referência da NVIDIA

Este whitepaper apresenta as Arquiteturas de Referência da NVIDIA, que fornecem orientação comprovada para projetar e criar fábricas de IA para implantações de nível empresarial, variando de 32 a 1.024 GPUs. Essas arquiteturas ajudam a simplificar a implantação de infraestrutura de IA, reduzir a complexidade operacional e acelerar o tempo de geração de valor.

Impulsionando Fábricas de IA com Arquiteturas de Referência NVIDIA Enterprise

As Arquiteturas de Referência Empresarial da NVIDIA fornecem orientação de infraestrutura de ponta a ponta para fábricas de IA locais, integrando componentes de computação, rede, armazenamento, software e sistema em plataformas prontas para produção.

Desbloqueie uma taxa de transferência de tokens massiva com o NVIDIA Run:ai

O benchmarking conjunto com a Nebius mostra que as implantações de GPU fracionárias usando o NVIDIA Run:ai em Arquiteturas de Referência da NVIDIA melhoram significativamente a taxa de processamento e a utilização para cargas de trabalho de LLM de produção.

A fábrica de IA da NVIDIA IT impulsiona a inovação empresarial em escala

Utilizando Arquiteturas de Referência da NVIDIA, a NVIDIA criou uma fábrica de IA unificada para escalar workflows de IA Generativa e baseados em agentes em toda a empresa, garantindo segurança, desempenho e consistência. A plataforma é compatível com centenas de agentes de IA que aceleram a inovação, simplificam a engenharia de software e hardware e otimizam as operações da cadeia de suprimentos, reduzindo os tempos de planejamento em mais de 95% e alcançando décadas de trabalho de engenharia em apenas um ano.

Próximos Passos

Que tal começar agora?

Saiba Mais sobre o NVIDIA Enterprise AI Factory.

Mergulhe fundo nas Arquiteturas de Referência da NVIDIA

Explore como as Arquiteturas de Referência da NVIDIA fornecem modelos escaláveis e prescritivos para implantar infraestrutura de IA de alto desempenho.

Perguntas Frequentes sobre a Arquitetura de Referência da NVIDIA

As Arquiteturas de Referência da NVIDIA fornecem orientação clara e consolidada sobre design de clusters para parceiros de sistemas globais da NVIDIA e clientes empresariais que criam fábricas de IA empresarial. Eles abrangem software de computação, redes, armazenamento e infraestrutura, trazendo Sistemas Certificados pela NVIDIA, Armazenamento Certificado pela NVIDIA, NVIDIA Networking e o software NVIDIA AI Enterprise para designs integrados para infraestrutura de IA de produção.

Escolha o RTX PRO AI Factory para IA empresarial ampla, incluindo IA baseada em agentes e física, computação visual, análise, simulação e inferência de modelos grandes e médios.

Escolha o HGX AI Factory para treinamento de alto desempenho em vários nós, ajuste fino e inferência em larga escala.

Escolha o NVL72 AI Factory para as cargas de trabalho mais intensivas, incluindo treinamento de modelos de trilhões de parâmetros, raciocínio em tempo real e inferência em escala maciça de alto rendimento.

Comece com o tipo de workload, o número de usuários, tamanho do modelo, meta de desempenho, volume de dados e plano de crescimento. A NVIDIA publica pontos de design para cada arquitetura, incluindo sistemas RTX PRO de 16 e 32 nós, sistemas HGX de 32, 64 e 128 nós e sistemas NVL72 de 2, 4 e 8 racks. Trabalhe com um parceiro de sistemas da NVIDIA para confirmar o design e a lista de materiais para sua implantação.

O código segue um formato CPU-GPU-adaptador de rede-largura de banda. Na configuração 2-8-5-200, o sistema tem 2 soquetes de CPU, 8 GPUs, 5 adaptadores de rede com 1 para tráfego norte-sul e 4 para tráfego leste-oeste, além de uma largura de banda média de 200 GbE leste-oeste por GPU.

Uma Arquitetura de Referência da NVIDIA fornece orientação para computação, rede, armazenamento, software de infraestrutura e implantação. O Design Validado do NVIDIA Enterprise AI Factory adiciona um Stack completo selecionado e versionado de software da NVIDIA e de parceiros que é compatível com cargas de trabalho de IA. As equipes podem usar a RA para planejar a infraestrutura de IA por meio da camada Kubernetes e do design validado para implantar e operar o Stack de software nessa infraestrutura.

Cisco, Dell Technologies, HPE, Lenovo e Supermicro oferecem designs baseados em NVIDIA RAs e endossados pelo NVIDIA Design Review Board. Verifique a documentação das RAs da NVIDIA para os modelos de servidor atuais, configurações de GPU, pontos de escala e status de endosso antes de selecionar um sistema.

Os Sistemas Certificados pela NVIDIA validam o nó: os servidores testados para atender aos requisitos da NVIDIA para desempenho de IA empresarial, capacidade de gerenciamento, segurança e escalabilidade.

As Arquiteturas de Referência da NVIDIA definem o cluster: como os sistemas Certificados pela NVIDIA, a rede da NVIDIA, o armazenamento e o software NVIDIA AI Enterprise se unem em configurações repetíveis para Fábricas de IA Empresarial.

Em suma: a Certificação NVIDIA informa aos clientes que um sistema está pronto para IA; as RAs NVIDIA mostram aos parceiros e clientes como montar esses sistemas em implantações de fábricas de IA escaláveis.

Especificações da Configuração do Nó 2-8-5-200*

Especificações da Configuração do Nó 2-8-9-800*

Especificações da Configuração do Nó 2-4-5-800*

A Cisco é a líder mundial em tecnologia que está revolucionando a maneira como as empresas se conectam e protegem na era da IA. Por mais de 40 anos, a Cisco conectou o mundo de forma segura. Com suas soluções e serviços com tecnologia de IA líderes do setor, a Cisco permite que seus clientes, parceiros e comunidades desbloqueiem a inovação, aprimorem a produtividade e fortaleçam a resiliência digital. Com um propósito como objetivo, a Cisco continua comprometida em criar um futuro mais conectado e inclusivo para todos.

Soluções endossadas pelo Conselho de Revisão de Design da NVIDIA:

A Dell Technologies ajuda empresas e indivíduos a criar seu futuro digital e transformar a forma como trabalham, vivem e se divertem. A empresa fornece aos clientes o portfólio de tecnologia e serviços mais amplo e inovador do setor para a era de IA.

Soluções endossadas pelo Conselho de Revisão de Design da NVIDIA:

A HPE é líder em tecnologia empresarial essencial, reunindo o poder da IA, de cloud e de redes para ajudar as empresas a alcançar mais. Como pioneiros da possibilidade, nossa inovação e experiência avançam na maneira como as pessoas vivem e trabalham. Capacitamos nossos clientes de todos os setores a otimizar o desempenho operacional, transformar dados em previsão e maximizar seu impacto. Libere suas ambições mais ousadas com a HPE.

Soluções endossadas pelo Conselho de Revisão de Design da NVIDIA:

A Lenovo é uma potência global de tecnologia com receita de US$ 69 bilhões, ocupa a 196ª posição na Fortune Global 500 e atende a milhões de clientes todos os dias em 180 mercados. Com foco em uma visão ousada para oferecer Tecnologia Mais Inteligente para Todos, nossa parceria em andamento com a NVIDIA combina servidores Lenovo com GPUs aceleradas. O Lenovo Hybrid AI Advantage™ com NVIDIA aumenta a produtividade e a inovação com implantação mais rápida de IA, com a tecnologia da Biblioteca de IA Lenovo e um portfólio full-stack de infraestrutura, dispositivos, soluções e serviços de IA.

Soluções endossadas pelo Conselho de Revisão de Design da NVIDIA:

A Supermicro é líder global em soluções totais de TI otimizadas para aplicações. Fundada e operando em San Jose, Califórnia, a Supermicro está comprometida em oferecer inovação pioneira no mercado para infraestrutura de TI empresarial, nuvem, IA e 5G de telecomunicações/edge. Somos um provedor de soluções totais de TI com servidor, IA, armazenamento, IoT, sistemas de comutadores, software e serviços de suporte. A experiência da Supermicro em placas-mãe, energia e design de chassi permite ainda mais nosso desenvolvimento e produção, permitindo inovação de última geração de nuvem ao edge para nossos clientes globais.

Soluções endossadas pelo Conselho de Revisão de Design da NVIDIA: