Gemeinsamer GPU speicher?
Moin Moin,
Ich versuche aktuell einen Chatbot auf meinem Rechner aufzusetzen, das Problem dabei, sobald ich ein Sprachmodell laden möchte was rund 80 Gigabyte groß ist kommt der GPU speicher schnell an seine Grenzen und mir ist es nichtmal möglich das Sprachmodell vollständig zu laden. Ich habe 64 Gigabyte RAM und 24 Gigabyte VRAM, also 56 Gigabyte gesamten GPU Speicher der mir zu Verfügung steht. Jetzt ist meine Frage ob ich den Gemeinsamen GPU speicher unter Windows erhöhen kann, so dass die Grafikkarte auf mehr als nur den halben Arbeitsspeicher zugriff hat.
(1 votes)
Loading...
This would have to be done by the program itself so that it can be done.
Managed Memory use and hope that the GraKa Overallocation supports on Windows (where it may be that this was generally not going on Windows). Alternatively even memory swappen.
If I raise the RAM from 64 to 128 gigabytes, then 64 instead of 32 gigabytes of common GPU memory is available?
More detailed:
https://voltapc.sg/how-to-decreaseshared-gpu-memory-for-your-gaming-pc/
I don’t know. Internet says that depends on the BIOS.
Where they write something about VGA in the article, which is different.
From: Note that your OS and other devices also need storage.
Let me see if I find this attitude in my BIOS…
Thank you