Chat with RTX är en demo-app som gör att du kan anpassa en stor GPT-språkmodell (LLM) som är ansluten till ditt eget innehåll – dokument, anteckningar eller andra data. Med RAG (Retrieval Augmented Generation), TensorRT-LLMoch RTX-acceleration kan du söka i en anpassad chatbot för att snabbt få kontextuellt relevanta svar. Och eftersom allt körs lokalt på din Windows RTX-dator eller arbetsstation får du snabba och säkra resultat.
Ladda ner, installera och börja chatta direkt.
| Plattform | Windows |
| GPU | Grafikkort i NVIDIA GeForce™ RTX 30- eller 40-serien eller NVIDIA RTX™ Ampere- eller Ada-generationen med minst 8 GB VRAM |
| RAM | 16 GB eller mer |
| Operativsystem | Windows 11 |
| Drivrutin | 535.11 eller senare |
| Filstorlek | 35 GB |
Chat with RTX stöder olika filformat, inklusive text, pdf, doc/docx och xml. Rikta programmet mot mappen som innehåller dina filer så laddar de in dem i biblioteket på några sekunder.
Teknikdemon för Chat with RTX är byggd från utvecklarreferensprojektet TensorRT-LLM RAG som finns tillgängligt från GitHub. Utvecklare kan använda den referensen för att utveckla och driftsätta sina egna RAG-baserade program för RTX, som accelereras av TensorRT-LLM.
AI-prestanda på en helt ny nivå med grafikkorten GeForce RTX™ och NVIDIA RTX™. RTX är den ultimata AI-kraften på Windows-datorer och ger allt från förbättrad kreativitet och produktivitet till blixtsnabbt spelande.
Läs mer om NVIDIA:s generativa AI-utvecklarverktyg och företagslösningar här.