Chat with RTX è un'app demo che consente di personalizzare un modello linguistico di grandi dimensioni (LLM) GPT collegato ai tuoi contenuti: documenti, note o altri dati. Con la tecnologia RAG (generazione di recupero aumentata), il modello TensorRT-LLM e l'accelerazione RTX, puoi interrogare un chatbot personalizzato per ottenere velocemente risposte pertinenti a un contesto. Inoltre, poiché il tutto viene eseguito localmente sul tuo PC o workstation Windows RTX, otterrai risultati rapidi e sicuri.
Basta scaricare e installare l'app per iniziare a chattare subito.
| Piattaforma | Windows |
| GPU | GPU NVIDIA GeForce™ RTX Serie 30 o 40 o GPU NVIDIA RTX™ Ampere o Ada Generation con almeno 8 GB di VRAM |
| RAM | 16 GB o superiore |
| SO | Windows 11 |
| Driver | 535.11 o versione successiva |
| Dimensioni del file | 35 GB |
Chat with RTX supporta vari formati di file, tra cui testo, pdf, doc/docx e xml. Basta aprire dall'applicazione la cartella contenente i file per caricarli nel catalogo in pochi secondi.
La demo tecnica di Chat with RTX si basa sul progetto di riferimento per sviluppatori RAG TensorRT-LLM disponibile su GitHub. Gli sviluppatori possono utilizzare tale riferimento per sviluppare e distribuire le proprie applicazioni basate su RAG per RTX, accelerate da TensorRT-LLM.
Ottieni prestazioni IA di livello superiore su GPU GeForce RTX™ e NVIDIA RTX™. Dalla creatività avanzata e la produttività alla velocità del gaming, il meglio della potenza dell'IA su PC Windows è su RTX.
Scopri di più sugli strumenti di sviluppo basati su IA generativa di NVIDIA e sulle soluzioni aziendali qui.