Galileo ist eine GenAI-Evaluierungs-KI-Beobachtbarkeits- und Produktionsleitplankenplattform für -Szenarien, die offline experimentelle RAG/Agent-Indikatoren, Online-Traces, ein Luna-2-Evaluierungsmodell mit niedriger Latenz und eine Bereitstellung auf Unternehmensebene abdeckt.

Galileo

Kernparameter und Statistiken

Galileo positioniert sich als KI-Zuverlässigkeitsplattform und sein Kernstück ist ein integrierter Workflow, der „die Offline-Bewertung in Produktionsleitplanken umwandelt“. Das Produkt umfasst drei Hauptmodule: KI-Bewertung, KI-Beobachtbarkeit und Echtzeitschutz. Der Zugriff erfolgt über SDK, API und Webkonsole und unterstützt drei Bereitstellungsmethoden: SaaS, VPC und On-Premises.

Projekte	Öffentliche Informationen
Produktpositionierung	Evaluierungs-, Beobachtbarkeits- und Produktionsleitplankenplattform für GenAI- und Agentic-Anwendungen
Kernobjekte	Spuren, Sitzungen, Spannen, Datensätze, Eingabeaufforderungen, Metriken, Leitplanken
Voreingestellte Indikatoren	Über 20 sofort einsatzbereite Evaluierungen, die RAG, Agent, Safety, Security und andere Kategorien abdecken
Zugriffsmethode	Webkonsole Python SDK, TypeScript SDK, REST API, Mainstream-Agent-Framework-Integration
Workflow-Abdeckung	Offline-Experiment (Evaluate), Online-Beobachtung (Observe), Echtzeit-Leitplanke (Protect)
Bereitstellungsformulare	SaaS, Virtual Private Cloud, vor Ort
Luna-2-Evaluierungsmodell	0,12 $/1 Mio. Token, 0,95 Genauigkeit, 152 ms durchschnittliche Latenz, 128.000 Kontext
Neuestes öffentliches Update	05.06.2026 Agent Control für Unternehmenskunden
Preispläne	Kostenlos / Pro (100 $/Monat) / Enterprise (Kontaktieren Sie uns) drei Stufen

Randbemerkung: Galileo ist kein allgemeiner Chatbot oder eine reine Protokollierungsplattform. Dafür sind Teams erforderlich, die bereits über eine GenAI-, RAG- oder Agent-Anwendung verfügen und bereit sind, Zeit in die Erstellung von Grundlagen, die Kalibrierung von Metriken und die Definition von Leitstrategien zu investieren. Wenn das Team noch nicht mit der Entwicklung von KI-Anwendungen begonnen hat oder über keine Evaluierungsmethodik verfügt, sind die anfänglichen Onboarding-Kosten der Plattform höher als der Preis des Tools selbst.

Benutzer- und Markterkennung

Die Marktsignale von Galileo konzentrieren sich auf die beiden Dimensionen Kundenakzeptanz und Kapitalerkennung auf Unternehmensebene und nicht auf C-Port-Reputation oder GitHub-Stars.

Finanzierung und Unternehmenswachstum: Im Oktober 2024 wurde offiziell bekannt gegeben, dass die Serie B über 45 Millionen US-Dollar mit einer Gesamtfinanzierung von 68 Millionen US-Dollar abgeschlossen wurde; Dieselbe Ankündigung enthüllte, dass der Umsatz seit 2024 um 834 % gestiegen ist, die Zahl der Firmenkunden um das Vierfache gestiegen ist und 6 Fortune-50-Unternehmen eingeführt wurden. Die Investoren wurden auf der öffentlichen Seite nicht bekannt gegeben, aber der Finanzierungsumfang liegt auf der obersten Ebene im KI-Bewertungspfad.

Kunden- und Umweltpartner: Kunden- oder Partnerbewertungen wie Twilio, Comcast, HP, Writer, Cisco Outshift, Ema, NVIDIA, Satisfi Labs, MongoDB, CrewAI, Clearwater Analytics usw. erscheinen auf der Produktseite und der Preisseite. Die Bewertung konzentrierte sich auf „Verwendung von Galileo als Agent zur Beobachtung der Luna-2-Produktionsbewertung und des RAG-Qualitätsmanagements“ und weist darauf hin, dass der Schwerpunkt auf KI-Governance-Szenarien auf Unternehmensebene liegt.

Entwickler-Community: Die GitHub-Organisation „rungalileo“ hat 184 Follower und 58 Repositories. Zu den wichtigsten Open-Source-Projekten gehören „agent-leaderboard“ (224 Sterne, zur Bewertung der Fähigkeiten von LLM-Agenten verwendet), „hallucination-index“ (116 Sterne, Bewertung der LLM-Halluzinationstendenz) und „galileo-python“ SDK (22 Sterne, Apache-2.0-Lizenz). Das Open-Source-Warehouse ist eher ein Demonstrations- und Integrationsbeispiel, und die Kernfunktionen des Produkts liegen in der Closed-Source-SaaS-Schicht.

Kostenvorteil

Die Kostenstruktur von Galileo unterscheidet sich grundlegend von herkömmlichen LLM-Überwachungstools: Es ist nicht darauf angewiesen, jedes Mal GPT-5.4 oder Claude als Richter anzurufen, sondern verwendet das dedizierte Bewertungsmodell Luna-2, um die Kosten der Hochfrequenzbewertung auf 3 bis 5 % der allgemeinen Lösung zu senken.

C-Kunde/Einzelperson: Kostenloser Plan 0 $/Monat, beinhaltet 5.000 Traces/Monat, unbegrenzte Benutzer, unbegrenzte benutzerdefinierte Auswertungen. Geeignet für einzelne Entwickler, um einen Machbarkeitsnachweis im kleinen Maßstab durchzuführen. Die Einschränkung besteht darin, dass das kostenlose Kontingent weitaus niedriger ist als die Produktionsanforderungen (Hochfrequenz-Agentensysteme können Zehntausende von Spuren pro Tag generieren) und es an SSO, RBAC und dedizierter Unterstützung mangelt.

Entwickler/API: Der Pro-Plan beginnt bei 100 $/Monat (sparen Sie 33 % bei jährlichen Annotationen) und beinhaltet 50.000 Traces/Monat, Standard-RBAC, erweiterte Analysen und Slack-Unterstützung. Auf der Preisseite wird darauf hingewiesen, dass die Preise linear mit der Anzahl der Spuren skalieren. Die tatsächlichen Kosten für das Entwicklungsteam umfassen nicht nur die Abonnementgebühr, sondern auch die Gemeinkosten für LLM-as-a-Judge Calling Luna-Indikatoren, Datenaufbewahrung und Experimentspeicherung.

Enterprise/Privat: Enterprise ist „Kontaktieren Sie uns“ und umfasst unbegrenzte Traces, benutzerdefinierte Ratenlimits, Hosted/VPC/On-Prem-Bereitstellungsoptionen, RBAC/SSO der Enterprise-Klasse, dediziertes CSM, Echtzeit-Guardrail-Support rund um die Uhr, dedizierte Inferenzserver mit geringer Latenz und vorwärts bereitgestellten technischen Support. Mit den 0,12-Dollar-/1-Millionen-Dollar-Token von Luna-2 können etwa 97 % der Evaluierungskosten im Vergleich zu den 5,00-Dollar-/1-Millionen-Dollar-Token von GPT-5.4 eingespart werden. Luna-Metriken sind jedoch gemäß Unternehmensverträgen offen und nicht standardmäßig für alle Benutzer verfügbar.

Versteckte Kosten: Die tatsächlichen Kosten der KI-Messung ergeben sich nicht nur aus dem Galileo-Abonnement, sondern umfassen auch: LLM-als-Richter-Anrufgebühren, die in die Erstellung und Kalibrierung von Messmetriken, Datenaufbewahrung und Bandbreite, Betrieb und Wartung dedizierter Inferenzserver sowie Zeit des Teams zum Erlernen und Entwickeln des Messprozesses investiert werden. Luna-2 reduziert die Grenzkosten der Hochfrequenzauswertung, aber die anfänglichen technischen Investitionen in die Konstruktion der Grundwahrheit und die Optimierung der Indikatoren können nicht ignoriert werden.

Hauptfunktionen

Die Funktionen von Galileo sind in den vier Phasen „Datenerfassung → Bewertung und Konstruktion → Fehleranalyse → Leitplankenstart“ organisiert und nicht einzeln nach Modulen gestapelt.

• Daten- und Annotations-Asset-Management: Erstellen Sie Datensätze aus synthetischen Daten, Entwicklungskontext und Produktionsverkehr und unterstützen Sie Annotationen von Domänenexperten, um kontinuierlich aktualisierte Groundtruth-Assets zu bilden. Die wichtigsten Akzeptanzpunkte sind, ob der Annotationsworkflow mit der vorhandenen Datenpipeline verbunden werden kann, sowie der Versionsverwaltungs- und Rollback-Mechanismus von Groundtruth.
• Über 20 voreingestellte Bewertungsindikatoren + benutzerdefinierte Bewertung: umfasst RAG-Bewertungen (Abrufqualität, Kontextgenauigkeit), Agent-Bewertungen (Werkzeugauswahl, Aktionsfortschritt, Aktionsabschluss), Sicherheitsbewertungen (Voreingenommenheit, Toxizität), Sicherheitsbewertungen (sofortige Injektion, PII-Leck). Benutzerdefinierte Bewertungen unterstützen die codebasierte oder LLM-as-Judge-automatische Generierung. Die wichtigsten Akzeptanzpunkte sind, ob die voreingestellten Indikatoren auf die Geschäftsdomäne abgestimmt sind und ob die Genauigkeitsrate (F1) der benutzerdefinierten Indikatoren mehr als 80 % erreichen kann.
• Graph Engine Agent Observation: Erweitern Sie Agentenzweige, Toolaufrufe, Entscheidungspfade und Sitzungskontexte von linearen Protokollen auf Diagrammpfade und unterstützen Sie A2A-Protokolle mit mehreren Agentensystemen und verteiltes Tracing. Der wichtigste Akzeptanzpunkt ist die Möglichkeit, einen fehlerhaften Bereich schnell zu finden und den vollständigen Attributionslink innerhalb von 2–3 Klicks anzuzeigen.
• Automatische Fehleranalyse der Insights Engine: Analysieren Sie Agentenverhaltensdaten, identifizieren Sie Fehlermuster, versteckte Muster und Grundursachen und geben Sie umsetzbare Vorschläge (z. B. „Fügen Sie wenige Beispiele zur Tool-Eingabe hinzu“). Wichtige Akzeptanzpunkte sind die Genauigkeit und die Falsch-Positiv-Rate der Empfehlungen sowie die Rate, mit der das Ingenieurteam die Empfehlungen annimmt.
• Luna-2-Evaluierung auf Produktionsebene: Verwenden Sie SLM mit 3B/8B-Parametern, um das allgemeine LLM-as-Judge zu ersetzen und so eine kostengünstige Evaluierung mit einer Latenzzeit von unter 200 ms, 128.000 Kontext und 0,12 $/1 Mio. Tokens zu erreichen. Wichtige Akzeptanzpunkte sind die Konsistenz der Luna-Metriken mit menschlichen Anmerkungen und die Latenzstabilität bei hohen QPS.
• Zentralisierte Leitplankenverwaltung von Agent Control: Verwenden Sie eine zentralisierte Steuerungsebene, um Leitplankenrichtlinien zu definieren, um Risiken wie die Einschleusung schädlicher Inhalte, PII-Lecks und benutzerübergreifende Vorgänge zu blockieren, ohne den Agentencode zu ändern. Wichtige Akzeptanzpunkte sind die Rate falscher Abhörvorgänge, die Integrität des Prüfprotokolls und manuelle Fallback-Pfade.
• Auto-Tune und kontinuierliches Lernen: über CLHF (Continuous Lear

ning with Human Feedback)-Mechanismus, bei dem Beispiele mit wenigen Schüssen verwendet werden, um die Bewertungsaufforderung automatisch zu optimieren und die Indikatorgenauigkeit schrittweise zu verbessern. Die wichtigsten Akzeptanzpunkte sind die Gültigkeitsdauer des Autotunings und ob häufige manuelle Eingriffe erforderlich sind.

Modell- und Versionsentwicklung

Galileo ist eine SaaS-Plattform, die sich ständig weiterentwickelt. Der Versionsverlauf lässt sich anhand offizieller öffentlicher Meilensteine in vier Phasen einteilen:

Meilensteine der Hauptlinie

• 15.10.2024: Evaluation Intelligence Platform. Die Ankündigung der Serie B definiert die Hauptproduktlinie als Evaluation Intelligence neu und deckt die vier Phasen „Fine-Tuning“, „Evaluate“, „Observe“ und „Protect“ ab und betont die vollständige Verbindung vom Offline-Experiment bis zum Produktionsmanagement. Dies ist ein wichtiger Übergang für Galileo von einem frühen NLP-Tool zu einer GenAI-Bewertungsplattform.
• 16.07.2025: Agent Reliability Platform. Release Agent Reliability Platform kostenlos, Einführung von Graph Engine (Beobachtung des Agentenpfads), Insights Engine (automatische Fehleranalyse) und Luna-2 (Bewertungsmodell mit geringer Latenz) und Erweiterung des Produktschwerpunkts von „RAG-Bewertung“ auf „Zuverlässigkeit des gesamten Agentenlebenszyklus“.
• 22.05.2026: Kosten für Luna Studio und Integration. Versionshinweise veröffentlichen Luna Studio-Unternehmensfunktionen, die es Unternehmen ermöglichen, benutzerdefinierte SLM-Indikatoren mit geringer Latenz zu trainieren; Außerdem wird die Kostenverwaltungsseite „Integrationskosten“ hinzugefügt, die es Teams ermöglicht, LLM-as-Judge-, Luna- und einbehaltene Ausgabenstrukturen visuell zu verfolgen.
• 05.06.2026: Agentenkontrolle. Mit den Versionshinweisen wird Enterprise Agent Control veröffentlicht, das eine zentrale Steuerungsebene verwendet, um Leitplanken und Governance-Richtlinien zu verwalten und Risiken wie sofortige Injektion, PII-Leckage und benutzerübergreifende Vorgänge zu blockieren, ohne den Code zu ändern. Dabei handelt es sich um eine Produkterweiterung von Galileo von „Observation + Evaluation“ zu „Governance + Blocking“.

Wichtige Punkte der Überprüfung

05.06.2026 Agent Control ist der neueste öffentliche Funktionsknoten, die tatsächliche Verfügbarkeit wird jedoch durch Unternehmenspakete, Bereitstellungsformulare und Verkaufsaktivierung beeinflusst. Luna-Metriken sind auf der Luna-2-Seite mit „Nur für Kunden auf Anfrage geöffnet“ gekennzeichnet und nicht alle voreingestellten Metriken können standardmäßig als gebrauchsfertig betrachtet werden. Beim Kauf müssen Unternehmen die spezifischen Aktivierungsbedingungen von Luna Studio und Agent Control im Rahmen des aktuellen Vertrags bestätigen.

Technische Vorteile

Der technische Vorteil von Galileo ergibt sich aus der dreischichtigen Integration von Bewertungsmodellen, Beobachtungsdaten und Produktionsleitplanken und nicht aus einem einzelnen Punktmodell oder einzelnen Indikator.

Bewertungsmodellebene (Luna-2): Luna-2 verwendet einen Nur-Decoder-SLM mit leichtgewichtigen metrischen Köpfen für eine deterministische Bewertungsausgabe. Mechanisch passt es sich durch Feinabstimmung und Adapter auf der 3B/8B-Basis an unterschiedliche Bewertungsmaße an. Tatsächlich reduzieren 0,12-Dollar-/1-Millionen-Dollar-Tokens die Kosten jeder Bewertung um etwa 97 % im Vergleich zu den 5,00-Dollar-/1-Millionen-Dollar-Token von GPT-5.4, während eine Genauigkeit von 0,95 beibehalten wird. Das anwendbare Szenario ist eine hochfrequente, parallele Produktionskontextbewertung mit mehreren Indizes, z. B. Kundendienstmitarbeiter, RAG-Fragen und -Antworten und Prüfungen der finanziellen Compliance. Das 128-KByte-Kontextfenster von Luna-2 bedeutet, dass es eine End-to-End-Auswertung langer Konversationsszenarien unterstützt, während das 3-KByte-Fenster von Mitbewerbern mit ähnlichen Preisen (z. B. Azure Content Safety) den Kontext verliert.

Beobachtungsschicht (Graph Engine): Graph Engine wandelt Agentenaufrufe aus einem linearen Protokoll in ein gerichtetes Diagramm um. Jeder Knoten ist ein Tool-Aufruf oder eine LLM-Anfrage, und die Kanten sind Informationsfluss und Kontrollübertragung. Mechanisch erfasst es Spans und Traces über OpenTelemetry-Erweiterungen und SDK-Büros und rekonstruiert dann die Pfadtopologie im Backend. Tatsächlich kann das Engineering-Team alle Verzweigungen, Wiederholungsversuche und Fehlerpfade des Agenten in einer Beobachtung sehen. Die anwendbaren Szenarien sind komplexe Orchestrierungsszenarien wie die Zusammenarbeit mehrerer Agenten, A2A-Protokoll-MCP-Serveraufrufe usw.

Guardrail Layer (Agent Control): Agent Control ordnet Bewertungsergebnisse direkt Ausführungskontrollaktionen zu. Mechanisch bestimmt die Leitplanke anhand vordefinierter Richtlinien, ob die Ausführung zulässig ist, bevor das Tool aufgerufen wird. Tatsächlich kann das Team schädliche Vorgänge blockieren, ohne den Agentencode zu ändern. Anwendbare Szenarien sind die Verhinderung von PII-Lecks, die Blockierung von Prompt-Injections, das Abfangen benutzerübergreifender Vorgänge und die Kontrolle des wirtschaftlichen Verlustrisikos (z. B. die Obergrenze einer einzelnen Übertragung).

Grundlagen der technischen Beobachtbarkeit: Die Insights Engine von Galileo ist keine einfache Protokollaggregation, sondern führt eine Mustererkennung für Millionen von Signalen durch (Modellaufforderungen, Funktionen, Kontextdatensätze, Ablaufverfolgungen, MCP-Server). Die Produktseite zeigt einen Fall: Galileo erkennt automatisch „Halluzinationen, die falsche Werkzeugeingaben verursachen“ und schlägt vor, „ein paar Bilder hinzuzufügen, um korrekte Werkzeugeingaben zu demonstrieren“, was darauf hinweist, dass seine Funktionen zur Ursachenanalyse von der statistischen Zusammenfassung auf die Regelgenerierung erweitert wurden.

Wie man es benutzt

Die Eingänge von Galileo sind in drei Kategorien unterteilt: Webkonsolen-SDK/API und Unternehmensbereitstellung. Entwickler können sich zunächst kostenlos anmelden, Unternehmensteams müssen jedoch häufig zuerst Datengrenzen und Compliance-Anforderungen klären.

So verwenden Sie	Für jeden geeignet	Hauptaktionen	Vorsichtsmaßnahmen
Webkonsole	Produkt- und Betriebs-KI-Qualitätsmanager	Traces/Sitzungen/Metriken anzeigen, Experimente durchführen, Leitplanken konfigurieren	Sie müssen zuerst auf Anwendungsprotokolle zugreifen oder Bewertungsdaten importieren
Python SDK (galileo-python)	Ingenieurteam ML-Ingenieur	pip install galileo → GalileoLogger initialisieren → Spuren und Experimente aufzeichnen	API-Schlüssel, Projektschlüssel, Protokollfelder und Sampling-Strategie müssen verwaltet werden
TypeScript SDK (galileo-js)	Agentenentwickler, Full-Stack-Ingenieur	npm install @rungalileo/galileo-js → Client initialisieren → Verbindung zum Agent-Framework herstellen	Middleware oder Callback, die mit dem Framework kooperieren muss (LangGraph, CrewAI usw.)
REST-API	Mehrsprachiger Kontext, individuelle Integration	Rufen Sie „/v1/traces“, „/v1/experiments“, „/v1/guardrails“ und andere Endpunkte auf	Sie müssen sich selbst um die Authentifizierung, Strombegrenzung und Fehlerwiederholung kümmern
Unternehmensbereitstellungen	Sicherheits-, Compliance- und Plattformteams	Bewerten Sie gehostete/VPC/On-Prem-Szenarien	Erfordert Geschäftsüberprüfungsvertrag, Datenresidenz-SLA und dedizierte Inferenz

Typischer Einstiegspfad: Registrieren Sie sich kostenlos auf der offiziellen Website → Erstellen Sie ein Projekt → Installieren Sie das SDK und zeichnen Sie den ersten Trace auf → Führen Sie voreingestellte Bewertungsindikatoren für Traces aus → Zeigen Sie den Fehlermodus in Insights an → Erweitern Sie die stabilen Indikatoren, um zu experimentieren und eine Leitplanke zu erstellen. Für das RAG-System steht die Überprüfung der Abrufqualität und der Halluzination im Vordergrund; Für das Agentensystem wird der Überprüfung der Qualität der Werkzeugauswahl und der Aktionserfüllung Priorität eingeräumt.

Schnelles Integrationsbeispiel (Python):

„Python aus Galileo GalileoLogger importieren

galileo_logger = GalileoLogger(project="my-project") mit galileo_logger.start_trace("user-query") als Trace: Trace.log_input("Benutzerproblem") Antwort = llm_call(prompt) Trace.log_output(Antwort) Trace.log_metric("Latenz", 320) „

Produktpreise

Auf der Preisseite von Galileo wird ein dreistufiger Plan vorgestellt, wobei die wichtigsten Abrechnungsdimensionen die Anzahl der Spuren und die Abdeckung der Premium-Funktionen sind.

Planen	Öffentlicher Preis	Kernquote	Schlüsselfunktionen	Anwendbare Grenzen
Kostenlos	0 $/Monat	5.000 Traces/Monat, unbegrenzte Benutzer, unbegrenzte benutzerdefinierte Auswertungen	Grundlegende Bewertung, Community-Unterstützung	Experimente und kleiner Machbarkeitsnachweis
Pro	Ab 100 $/Monat (33 % Rabatt auf die jährliche Zahlung)	50.000 Spuren/Monat, Standard-RBAC	Erweiterte Analyseeinblicke, Slack-Unterstützung	Wachsende Teams, Produktion in kleinem Maßstab
Unternehmen	Kontaktieren Sie uns	Unbegrenzte Traces, benutzerdefinierte Ratenlimits	VPC/on-prem, SSO/RBAC, Echtzeit-Leitlinien, dedizierte Inferenz, 24/7-Unterstützung, dediziertes CSM	Unternehmensgröße, Compliance- und Bereitstellungsanforderungen

Luna-2-Kostenvergleich: Die Evaluierungskosten von Luna-2 (3B/8B) betragen 0,12 $/1 Mio. Token. Im Vergleich zu den 5,00-Dollar-/1-Millionen-Dollar-Token von GPT-5.4 und den 0,15-Dollar-/1-Millionen-Dollar-Token von GPT-5.4 mini bietet es offensichtliche Vorteile in hochfrequenten Bewertungsszenarien. Es ist jedoch zu beachten, dass die Aktivierungsbedingungen, die spezifische Indikatorabdeckung und die Inferenzserverkonfiguration der Luna-Metriken alle durch den Unternehmensvertrag bestätigt werden müssen und der Gesamtbetrag nicht direkt auf der Grundlage des öffentlichen Preises geschätzt werden kann.

Abrechnungsrisikopunkt: Die endgültigen Kosten der KI-Bewertung werden durch die Anzahl der Spuren × Abtastrate × Anzahl der Indikatoren × Aufrufhäufigkeit bestimmt. Die Obergrenze der Spuren für Free- und Pro-Pläne kann bei einer eingehenden Evaluierung schnell erschöpft sein; Obwohl Enterprise keine Obergrenze für Traces hat, erfordern benutzerdefinierte Ratenlimits und die Kosten für exklusive Inferenz geschäftliche Verhandlungen. Es wird empfohlen, vor dem Kauf 1–2 Wochen tatsächliche Trace-Daten zur Kostensimulation zu verwenden und dann die entsprechende Lösung auszuwählen.

Anwendungsszenarien

• RAG-Qualitätsmessung und -Regression: Misst die Abrufgenauigkeit, die Kontextrelevanz, die Antwortillusion und die Zitierkonsistenz. Der Schwerpunkt der Akzeptanz liegt auf der Abstimmung des Abrufindikators mit der geschäftlichen Grundwahrheit und darauf, ob der Regressionsbericht automatisch nach jeder Modellaktualisierung ausgelöst werden kann, anstatt sich auf eine einzige manuelle Bewertung zu verlassen.
• AI Agent Full-Link-Beobachtung: Wird für mehrstufige Agent-Tool-Anrufe, Verzweigungen, Übergaben, Aktionsabschlüsse und Überwachung der Konversationsqualität verwendet. Der Schwerpunkt der Akzeptanz liegt darauf, ob die Grundursache einer fehlgeschlagenen Agenteninteraktion innerhalb von 5 Minuten in Insights lokalisiert werden kann und ob Verbesserungen an die Eingabeaufforderung oder das Toolschema zurückgemeldet werden können.
• Sicherheits- und Compliance-Echtzeitleitlinien: Wird für Hochrisikoszenarien wie sofortige Injektion, PII-Leckage, schädliche Inhalte, benutzerübergreifende Vorgänge und nicht autorisierte Toolaufrufe verwendet. Der Akzeptanzschwerpunkt liegt auf der Blockierung mit geringer Latenz (Luna-Niveau unter 200 ms), der Rate falscher Abhörvorgänge, der Integrität des Prüfprotokolls und manuellen Fallback-Mechanismen.
• Eval Engineering-Plattform: Wird zur Integration von Datensätzen, Experimenten, benutzerdefinierten Metriken, menschlichem Feedback und Release-Gate in den CI/CD-Prozess verwendet. Der Schwerpunkt der Akzeptanz liegt auf der Bewertung, ob die Pipeline bei jeder Aktualisierung des Modells oder der Eingabeaufforderung automatisch ausgeführt werden kann, und auf der Ausgabe eines Pass/Fail-Signals.
• Enterprise AI Operations Governance and Cost Control: Wird verwendet, um Produktionsspuren, Luna-Bewertungskosten, LLM-as-Judge-Kosten und ungewöhnliche Trends über Abteilungen hinweg zu aggregieren. Der Schwerpunkt der Akzeptanz liegt darauf, ob Berechtigungsisolierung, Datenaufbewahrung, Bereitstellungsisolierung und Kostenzuordnung den organisatorischen Anforderungen entsprechen.

Anwendbare Personen

• AI Application Engineering Team: Ein Team, das ein RAG, einen Agenten, einen Kundendienstroboter oder ein Such-Q&A-System aufbaut, um Protokolle, Überprüfungen und Online-Anomaliediagnose in einer einzigen Ansicht zu vereinen. Voraussetzung ist, dass das Team über grundlegende Konzepte zum Vergraben von Baumstämmen und zum Aufspüren von Baumstämmen verfügt und kein Vollzeit-KI-Plattform-Ingenieur erforderlich ist.
• AI-Qualitäts- und Evaluierungsingenieur (Eval Engineer): Eine technische Rolle, die speziell für die Erstellung von Evaluierungsdatensätzen, die Kalibrierung von Indikatoren, die Verwaltung von Experimenten und die Gestaltung der Release-Zugriffskontrolle verantwortlich ist. Die benutzerdefinierten Auswertungen, die automatische Optimierung und Luna Studio von Galileo sind die Kerntoolchain für diese Rolle.
• Produkt- und Domänenexperten (KMU): Produktmanager und Geschäftsexperten, die an der Kommentierung teilnehmen, die Antwortqualität bewerten und Geschäftserfolgskriterien definieren müssen. Wandeln Sie subjektive Urteile durch Anmerkungen und benutzerdefinierte Evaluatoren in nachvollziehbare und wiederverwendbare Qualitätsindikatoren um.
• Plattform- und Sicherheitsbetriebsteam: Unternehmensplattformteam, das SSO/RBAC, Datenaufbewahrung, Produktionsleitplanke PII und Prompt-Injection-Risikokontrolle benötigt. Die Enterprise-Lösung und Agent Control von Galileo sind die wichtigsten Mehrwertpunkte für diese Gruppe.

Ungeeignete Situationen: Teams, die nur einen allgemeinen Chat oder einfache LLM-Anrufe benötigen (ein Huhn mit einem Messer töten); Organisationen, die keine Online-KI-Anwendungen haben oder keine Spuren/Datensätze bereitstellen können (die Plattform verfügt über keine zu analysierenden Daten); Teams, die keinen klaren Bewertungsleiter oder Indikator-Governance-Prozess haben (das Tool wird zu „einem weiteren Dashboard“); Szenarien, die strenge geografische Anforderungen an die Datenresidenz stellen, Galileo das entsprechende Gebiet jedoch noch nicht abdeckt.

Zusammenfassung und Ausblick

Die Kernkompetenz von Galileo liegt darin, das beobachtbare Luna-2-Low-Latency-Bewertungsmodell des GenAI Evaluation Agent und die Produktionsleitplanken in denselben Arbeitsablauf zu integrieren. Es löst das schwierigste Problem für Unternehmens-KI, nachdem es vom POC zur Produktion übergegangen ist: Wie kann kontinuierlich nachgewiesen werden, dass Modelle und Agenten zuverlässig, erklärbar und verbesserungsfähig sind und Risiken im realen Datenverkehr verhindern können? Im Bereich der KI-Bewertung ist Galileo eines der wenigen Produkte, das die vollständige Verknüpfung von „Offline-Experiment → Online-Beobachtung → Echtzeit-Leitplanke“ gleichzeitig abdeckt und kein Einzelpunkt-Indikatortool ist.

Aktuelle Einschränkungen und Unsicherheiten: Obwohl die Genauigkeit von Luna-2 mit 0,95 höher ist als die von GPT-5.4 mit 0,94, handelt es sich hierbei um ein Benchmark-Testergebnis unter einer bestimmten Bewertungsdimension. Ob die gleiche Qualität in einem stark angepassten Geschäftsszenario aufrechterhalten werden kann, bedarf einer tatsächlichen Überprüfung. Einige Unternehmensfunktionen (Luna Studio, Agent Control) erfordern zur Aktivierung eine geschäftliche Bestätigung. Die Tiefe der SDK/Agent-Framework-Integration hängt vom aktuellen Technologie-Stack und der OTel-Kompatibilität ab; Die langfristige Genauigkeit von Bewertungsindikatoren hängt von der Grundwahrheit ab. Laufende Wartung und KMU-Feedback.

Beschaffungs-/Einführungsrisikobewertung: Es wird empfohlen, zunächst einen hochwertigen, messbaren RAG- oder Agentenprozess für zwei bis vier Wochen als Pilotprojekt auszuwählen und Indikatoren wie Trace-Abdeckung, Fehlerortungszeit, Umfang der manuellen Überprüfung, Abfang-Fehlalarmrate und Erfolgsquote bei der Online-Zugriffskontrolle festzulegen. Wenn die Indikatoren stabil sind und das Team einen Konsens über den Bewertungsprozess erzielt, erweitern Sie die Lösung auf eine Multi-Team-, Multi-Agent- oder Unternehmensbereitstellung. Vor dem Kauf sollten sich Unternehmen darauf konzentrieren, Folgendes zu prüfen: ob die VPC-/On-Prem-Bedingungen und die Datenresidenz den Compliance-Anforderungen entsprechen; der Aktivierungsumfang und die Gebührenstruktur von Luna-2 und Luna Studio im Rahmen des aktuellen Vertrags; die Kompatibilität von SSO/RBAC und dem Enterprise Identity Management System (IdP); die tatsächliche Reaktionszeit und der Upgrade-Pfad des 24/7-Supports; und die Bedingungen für den Datenexport und die Migrationsunterstützung bei Beendigung des Vertrags.

Verwandte Tools: hugging-face, replicate

Versionsinfo

• Agent Control für Unternehmenskunden ：In den offiziellen Versionshinweisen wurde Agent Control veröffentlicht, das zentral Leitplanken definiert und die Agent-Governance für Unternehmenskunden verwaltet. Es kann die sofortige Injektion schädlicher Inhalte, den Verlust personenbezogener Daten und andere Risiken blockieren, ohne den Agentencode zu ändern. （2026-06-05）
• Kostentabellen für Luna Studio und Integration ：Offizielle Versionshinweise kündigen die Veröffentlichung der Enterprise-Funktionen von Luna Studio für das Training von SLM-Metriken mit geringer Latenz und niedrigen Kosten sowie die Hinzufügung der Integrationskosten-Verwaltungsseite zur Verfolgung der LLM-as-a-Judge-Kosten an. （2026-05-22）
• Agentenzuverlässigkeitsplattform ：Der offizielle Blog kündigte die kostenlose Agent Reliability Platform an, die sich um Graph Engine, Insights Engine und Luna-2-Echtzeitleitplanken dreht und die Multi-Agent-Systembeobachtung, Fehlermodusanalyse und Produktionsschutz unterstützt. （2025-07-16）
• Evaluation-Intelligence-Plattform ：Der offizielle Blog kündigte eine Serie-B-Finanzierung in Höhe von 45 Millionen US-Dollar an und definierte die Hauptproduktlinie als Evaluation Intelligence Platform, die den KI-Qualitätslebenszyklus wie Feinabstimmung, Bewertung, Beobachtung und Schutz abdeckt. （2024-10-15）