Die drohende Allgegenwärtigkeit der KI: Cloud-Effizienz und Umweltauswirkungen mit CAST AI bewältigen

Laurent Gil, CAST AI

Heute erleben wir den Preis des Fortschritts. Während sich die generative KI inmitten einer boomenden Akzeptanzlandschaft rasant weiterentwickelt, sind die Wunder der künstlichen Intelligenz mit erstaunlichen Kosten und Herausforderungen verbunden. Der Reiz der VC-Community und der Technologiegiganten, die Milliarden von Dollar in Startups investiert haben, die sich auf generative KI-Technologien spezialisiert haben, hat die zugrunde liegende Realität dieser hohen Kosten, die diesen aktuellen Boom bedrohen, nicht berücksichtigt.

Seit Juni 2023 verzeichnet ChatGPT täglich 60 Millionen Besuche mit 10 Millionen Anfragen pro Tag. Im April 2023 wurde geschätzt, dass der Betrieb von ChatGPT 70.000 US-Dollar pro Tag kosten würde, bei durchschnittlichen Kosten von 0,36 US-Dollar pro Frage. Im Juni jedoch „schätzte Tom Goldstein, Professor für KI-ML an der Maryland University, die täglichen Kosten für den Betrieb von ChatGPT auf etwa 100.000 US-Dollar und die monatlichen Kosten auf 3 Millionen US-Dollar.“

In diesem kürzlich erschienenen Artikel wurde ein Startup namens Latitude vorgestellt, das mit überhöhten Rechnungen zu kämpfen hatte, als seine KI-gestützten Spiele wie AI Dungeon immer beliebter wurden. Das textbasierte Rollenspiel von Latitude nutzte die GPT-Sprachtechnologie von OpenAI, was zu steigenden Kosten proportional zur Nutzung des Spiels führte. Die unerwartete Nutzung von AI Dungeon durch Content-Vermarkter zur Erstellung von Werbetexten verschärfte die finanzielle Belastung des Startups zusätzlich.

Einer der Hauptgründe für die hohen Kosten generativer KI ist die erhebliche Rechenleistung, die für „Training und Inferenz“ erforderlich ist. Das Training großer Sprachmodelle (LLM) erfordert Milliarden von Berechnungen und spezielle Hardware wie Grafikprozessoren (GPUs). Nvidia, ein führender GPU-Hersteller, bietet leistungsstarke Chips für Rechenzentren an, die bis zu 10.000 US-Dollar pro Stück kosten können. Schätzungen gehen davon aus, dass Trainingsmodelle wie GPT-3 von OpenAI 4 Millionen US-Dollar übersteigen könnten, während fortgeschrittenere Modelle Trainingskosten im hohen einstelligen Millionenbereich erreichen könnten.

„Zum Beispiel erforderte das neueste LLaMA-Modell von Meta unglaubliche 2.048 Nvidia A100-GPUs und über 1 Million GPU-Stunden, was zu Kosten von über 2,4 Millionen US-Dollar führte.“ Dies könnte eine weitere Belastung für Branchenakteure wie Microsoft darstellen, die derzeit die Technologie nutzen, und Infrastrukturkosten in Milliardenhöhe erforderlich machen, um der Benutzernachfrage gerecht zu werden.

Ich traf mich mit Laurent Gil, ehemaliger Leiter der Internet Intelligence Group von Oracle und aktueller Mitbegründer von CAST AI, einer ML-basierten Cloud-Optimierungsplattform, die Millionen von Datenpunkten analysiert und nach der optimalen Balance zwischen hoher Leistung und niedrigsten Kosten sucht. CAST AI ermittelt, wie viel Sie sparen können, und ordnet Ihre Cloud-Ressourcen dann in Echtzeit neu zu, um das Ziel ohne Auswirkungen auf die Leistung zu erreichen.

Wir haben die wahren Kosten der Einführung fortschrittlicherer KI-Modelle besprochen.

Gil gab bekannt, dass bei Cloud-Diensten wie AWS, Azure und Google ein erheblicher Teil ihrer Rechnungen für Rechenleistung aufgewendet wird. Dazu gehören CPUs und Speicher, die etwa 90 % der Kosten ausmachen, während die andere Hälfte verschiedene Dienste wie Speicher und Datenbanken abdeckt. Er räumt ein, dass seine Antwort vor drei Monaten anders ausgefallen wäre.

„Ein KI-Unternehmen konzentriert sich mehr auf die Rechenleistung und weniger auf den Rest, da die meisten Kosten für den Betrieb dieses Modells auf Rechen-GPUs entfallen … Wir haben viele Kunden in der Cloud und verwalten und optimieren derzeit Millionen.“ von CPUs jeden Tag.“

Jüngste Beobachtungen zeigen, dass KI-Unternehmen zunehmend erhebliche Summen in die Schulung spezialisierter KI-Modelle investieren. Diese Trainingsprozesse erfordern einen enormen Rechenaufwand, der manchmal von minimaler CPU-Auslastung bis hin zu Zehntausenden von CPUs und GPUs reicht, die stundenlang laufen, um die Modelle effektiv zu trainieren. Diese Unterscheidung ist von entscheidender Bedeutung, da sie betont, dass diese hohen Rechenkosten speziell mit dem Training von KI-Modellen zusammenhängen und nicht mit deren Schlussfolgerung oder praktischer Nutzung.

Gil erklärt, dass es zwei Arten von KI-Engines gibt: generische und spezialisierte Modelle. Die generischen Modelle erfordern umfangreiche Rechenressourcen und werden von großen Unternehmen verwendet, die mit großen Datenmengen arbeiten. Aufgrund der hohen Kosten könnte es in dieser Kategorie weniger Spieler geben. Allerdings äußert er sich begeistert über den zweiten Typ – Spezialmodelle. Diese Modelle konzentrieren sich darauf, spezifische Probleme außergewöhnlich gut zu lösen und erfordern keine längere Rechennutzungszeit wie generische Modelle. Er sieht in dieser Spezialisierung die Zukunft der Branche, in der Unternehmen auf der Grundlage ihrer Spezialdaten einzigartige und leistungsstarke Lösungen anbieten werden, was zu einer neuen Wirtschaft im KI-Bereich führen wird.

CAST AI bietet seinen Kunden die Möglichkeit, von einer erheblichen Kostenoptimierung bei der Verwaltung ihrer Cloud-Ausgaben für den KI-Betrieb zu profitieren. Der Echtzeit-Optimierungsprozess hat eine beeindruckende durchschnittliche Kostenreduzierung von etwa 80 % gezeigt. Vor der Nutzung dieser Dienste geben Kunden normalerweise 100 US-Dollar für die Schulung von KI-Modellen aus, aber mit der Optimierung sinken diese Kosten auf 20 US-Dollar. Durch den Einsatz einer KI-Engine in ihrer Lösung können sie diese Rechenanforderungen genau verstehen und erfüllen und präzise Zuweisungen ohne Überschuss bereitstellen. Wenn das Training des KI-Modells abgeschlossen ist oder der Rechenbedarf sinkt, fährt das System schnell und automatisch unnötige Maschinen herunter, was zu weiteren Kosteneinsparungen beiträgt.

Für Startups, die sich an anspruchsvollere Modellentwicklung wagen, sagt Gil:

„Wir helfen diesen jungen Startups sehr, die einen sehr teuren Motor trainieren müssen. Wir sagen ihnen: „Sehen Sie, es ist sehr teuer, aber es wird fünfmal weniger sein, weil unser Motor genau weiß, was Sie brauchen, und wir es in Echtzeit liefern.“ Das gilt für jedes Unternehmen, das zu uns kommt.“

Das dezentrale Ledger von Bitcoin ist bekanntermaßen für die Computerprobleme und die damit verbundenen Auswirkungen auf die Umwelt verantwortlich. Das Aufkommen fortschrittlicherer künstlicher Intelligenz, die in der gesamten Branche zum Allheilmittel wird, scheint dasselbe Problem zu wiederholen, jetzt jedoch in einer breiteren Marktakzeptanz. Gil erkannte die erheblichen Auswirkungen auf die Umwelt an, da die Technologie immer mehr zum Mainstream wird. Allerdings wies er auf einen kritischen Aspekt hin: den Energieverbrauch dieser GPUs. Während die durch CAST AI erzielte Kostenoptimierung zu Dollareinsparungen führt, wirkt sie sich auch direkt auf den Energieverbrauch aus. Durch die Optimierung der CPU-Auslastung sinkt der Energiebedarf für die Berechnung erheblich. Diese Energieeffizienz ist ein faszinierendes Nebenprodukt, das das Unternehmen dazu veranlasst, zu untersuchen, wie sich auch CO2-Einsparungen messen lassen.

Gil erklärt, dass CPUs, wenn sie nicht verwendet werden, nur minimal Energie verbrauchen und betont die beiden wichtigsten Auswirkungen ihres Optimierungsprozesses: geringerer Energieverbrauch und erhöhte Verfügbarkeit von Maschinen für andere. Er führt aus,

„Der Energieverbrauch ist viel geringer, weil man diese Maschine nicht so lange braucht. Aber diese Maschinen werden auch für jemand anderen verfügbar, und das ist ein toller Nebeneffekt. Wenn man sie zwei Stunden statt vier Stunden benutzt, bedeutet das.“ In den anderen zwei Stunden kann der Cloud-Anbieter sie tatsächlich woanders weiterverkaufen, sodass er nicht mehr bauen muss, weil er über Kapazitäten verfügt.“

Dies führt zu einer Win-Win-Situation sowohl für ihre Kunden als auch für die Cloud-Anbieter. Durch die effiziente Nutzung von Rechenressourcen verhindert CAST AI Verschwendung, sodass Cloud-Anbieter mehr Kunden bedienen können, ohne neue Rechenzentren bauen zu müssen.

Gil erklärt das Wesen der Datenverarbeitung und den Wert der Elastizität der Cloud: „Die Cloud wurde aus einem guten Grund erfunden, den wir lieben: Sie ist elastisch, das heißt, Sie kaufen, wenn Sie sie brauchen, und geben sie zurück, wenn Sie sie nicht brauchen. Und wenn Wenn Sie über Werkzeuge verfügen, die der von mir genannten Nutzung folgen, können Sie Energie und Kosten sparen, da Sie nur für das bezahlen, was Sie nutzen.“

Er hebt die Abkehr vom bisherigen Ansatz der Ungewissheit hervor, bei dem Benutzer nur für den Fall, dass sie diese benötigten, übermäßig viele Ressourcen hinzufügten. Mit der intelligenten Technologie von CAST AI betont Gil jedoch: „Zahlen Sie einfach für das, was Sie brauchen, wenn Sie es brauchen.“ Wir sind einer von vielen Anbietern auf dem gleichen Gebiet, und das ist großartig, weil wir helfen, den Mangel an Maschinen zu lösen. Wir helfen, das Problem zu lösen Wir helfen dem Rechenzentrum dabei, seine Investition besser zu nutzen, da es jetzt ein Vielfaches von dem, was es besitzt, weiterverkaufen kann, und am Ende ist es besser für die Wirtschaft und die Industrie.“

Was ist der nächste Meilenstein für CAST AI? Gil gab bekannt, dass sie 100 Mitarbeiter einstellen werden, nachdem sie kürzlich eine von Creandum angeführte Investitionsrunde über 20 Millionen US-Dollar abgeschlossen haben. Der aktuelle Boom ermöglicht es ihnen, „auf den Wellen zu surfen“. Für CAST AI gilt: Je mehr Nvidia GPUs verkauft, desto besser wird es der Welt gehen: „So sehen wir das, und desto besser werden der Verbrauch und die Nutzung dieser Ressourcen sein.“ Es ist wirklich der Anfang. Die nächste Phase besteht darin, sie zu nutzen, und dort wird die Wirtschaft wachsen und die Branche explodieren.“

Die Nachfrage nach Rechenressourcen, insbesondere GPUs, steigt stark an, was zu einer potenziellen Belastung des Energienetzes und der Infrastruktur führen kann. Trotz der Herausforderungen gibt es vielversprechende Lösungen wie CAST AI, die dazu beitragen, Kosten und Energieverbrauch zu senken und gleichzeitig die verfügbaren Ressourcen besser zu nutzen. Dies kommt nicht nur einzelnen Unternehmen zugute, sondern trägt auch zur Gesamteffizienz der Branche bei.

Da die Nachfrage nach KI-gestützten Anwendungen weiter steigt, bleibt der Bedarf an zugänglichen und erschwinglichen Rechenressourcen ein zentrales Anliegen. Der Schlüssel liegt darin, ein Gleichgewicht zwischen Innovation und Nachhaltigkeit zu finden und sicherzustellen, dass die KI bei ihrer Weiterentwicklung gedeihen kann, ohne die Umwelt und die wirtschaftlichen Ressourcen zu gefährden.