OpenAI hat durch technische Optimierungen die Inferenzkosten für den Betrieb seiner KI-Modelle um mehr als die Hälfte gesenkt. Berichten zufolge konnte die Anzahl der benötigten Nvidia-GPUs für nicht eingeloggte ChatGPT-Nutzer auf nur wenige Hundert reduziert werden.
Die genauen Techniken sind unklar, könnten jedoch Methoden wie Quantisierung und Batching umfassen. Diese Einsparungen könnten OpenAI helfen, seine finanziellen Ziele zu erreichen und möglicherweise auch günstigere Preise für API-Dienste anzubieten.