BigCode ist ein von Hugging Face und ServiceNow Research gemeinsam ins Leben gerufenes Open-Science-Kooperationsprojekt, das sich der offenen und verantwortungsvollen Entwicklung des Code Large Language Model (Code LLM) widmet. Zu den Hauptausgaben gehören Modelle der StarCoder-Serie (StarCoder 15B, StarCoder2 3B/7B/15B), der Stack-Datensatz BigCodeBench-Benchmark und die Code-Evaluierungsplattform BigCodeArena.

BigCode

Kernparameter und Statistiken

BigCode ist ein Open-Science-Kooperationsprojekt, das gemeinsam von Hugging Face und ServiceNow Research ins Leben gerufen wurde und sich auf die Open-Source-Forschung und verantwortungsvolle Entwicklung des Code Large Language Model (Code LLM) konzentriert. Auf der offiziellen Website des Projekts wird als „offene wissenschaftliche Zusammenarbeit, die sich der offenen und verantwortungsvollen Entwicklung großer Codemodelle verpflichtet“ positioniert. Es handelt sich nicht um ein einzelnes Produkt, sondern um ein komplettes Open-Source-Ökosystem, das Modelle, Daten, Evaluierungs- und Bereitstellungstools umfasst.

Projekte	Öffentliche Informationen
Offizielle Positionierung	Offene wissenschaftliche Zusammenarbeit, die sich der offenen und verantwortungsvollen Entwicklung großer Code-Sprachmodelle verschrieben hat
Sponsor	Umarmendes Gesicht + ServiceNow Research
Organisationsform	Gemeinnützige Open-Science-Zusammenarbeit
Kernmodell	StarCoder (15.5B), StarCoder2 (3B/7B/15B)
Kerndatensatz	Der Stack (v1/v2, Datensatz mit maximal lizenziertem Code vor dem Training)
Bewertungsrahmen	BigCodeBench, BigCodeArena, BigCode Evaluation Harness
Open-Source-Lizenz	Apache-2.0 (Kern-Repository), BigCode OpenRAIL-M v1 (Modell)
Gemeinschaftsgröße	GitHub 1.8k Folgen Sie HF 2.1k Folgen Sie 359 Teammitgliedern
Neueste Modellversion	StarCoder2-15B (29.02.2024)
Unterstützte Plattformen	Web (HF Spaces), API (TGI), selbst gehostet

Gemeinschaftsebene: Es gibt 29 öffentliche Lager, die von GitHub organisiert werden. Das StarCoder-Lager führt das StarCoder2-Lager mit 7,5.000 Sternen, 2,1.000 Sternen und BigCode Evaluation Harness mit 1,1.000 Sternen an. Es gibt 69 Modelle, 93 Datensätze und 29 Räume in der Hugging Face-Organisation. Das am häufigsten heruntergeladene Modell, StarCoder2-3B, hat 181.000 Downloads verzeichnet.

Ausgabeabdeckung: BigCode deckt gleichzeitig vier Abschnitte ab: Modellschulung, Datenverwaltung, Bewertungsbenchmarks und Inferenzbereitstellung. Dies ist bei Open-Source-Code-Modellprojekten relativ selten – die meisten Projekte konzentrieren sich nur auf einen einzigen Abschnitt (z. B. nur die Veröffentlichung von Modellen oder nur die Bereitstellung von Benchmarks).

Benutzer- und Markterkennung

Die Anerkennung von BigCode spiegelt sich in der Akzeptanz durch die Open-Source-Community und akademischen Zitaten wider und nicht in Benutzerregistrierungen oder Umsatzzahlen im herkömmlichen Sinne.

Open-Source-Community-Popularität: Die Repositories der StarCoder-Serie haben insgesamt mehr als 10.000 GitHub-Sterne. BigCode Evaluation Harness (1,1.000 Sterne) hat sich zu einem der Standard-Frameworks für die Codemodellbewertung entwickelt und wird von mehreren Modellprojekten Dritter als Bewertungstool zitiert.

Einführung auf Unternehmensebene: ServiceNow hat als Co-Sponsor intern das StarCoder-Modell für Code-Intelligence-Szenarien verwendet; Hugging Face bietet StarCoder2-Inferenzdienste über Text Generation Inference (TGI). Im Open-Source-Ökosystem gibt es bereits mehrere vertikale Modelle, die auf der StarCoder-Feinabstimmung basieren (13 Adaptermodelle und 21 feinabgestimmte Modelle sind im Hugging Face-Modellbaum aufgeführt).

Akademische Auswirkungen: Das StarCoder2-Papier (arXiv 2402.19173) wurde im Februar 2024 veröffentlicht, das BigCodeBench-Papier wurde von ICLR 2025 akzeptiert und das SelfCodeAlign-Papier wurde von NeurIPS 2024 akzeptiert. Die Zahl der akademischen Zitate, die das Projekt im Bereich der Codegenerierung produziert, nimmt weiter zu.

Voraussetzungen für die Implementierung: Die StarCoder-Serie ist ein Basismodell und kein Befehlsmodell. Es erfordert eine Feinabstimmung oder schnelles Engineering zur Anpassung an bestimmte Aufgaben (z. B. Code-Vervollständigung, Fehlerbehebung und Testgenerierung). Es funktioniert nicht gut, wenn es direkt im Gespräch verwendet wird.

Kostenvorteil

Der Kostenvorteil des BigCode-Projekts liegt nicht im API-Preiswettbewerb, sondern in der Öffnung aller Modellgewichte unter der Apache-2.0-Lizenz, sodass Teams Codegenerierungsfunktionen ohne Lizenzgebühren erhalten können.

C-Seite/Individuell: Das StarCoder2-Modell ist völlig kostenlos und kann online über Hugging Face Spaces erlebt oder auf einer lokalen GPU ausgeführt werden. Das 3B-Modell kann auf einer Consumer-GPU (z. B. RTX 3090) mit 8-Bit-Quantisierung ausgeführt werden und benötigt etwa 9 GB Videospeicher; Das 15B-Modell benötigt etwa 17 GB Videospeicher mit 8-Bit-Quantisierung.

Entwickler/Selbstgehostet: Modellgewichte können kostenlos heruntergeladen werden, und Sie können Ihren eigenen Inferenzdienst über TGI oder vLLM erstellen. Die Hardwarekosten hängen von der Modellgröße und den Durchsatzanforderungen ab – das 3B-Modell kann mit einer einzelnen T4-Karte bereitgestellt werden, und das 15B-Modell empfiehlt die Verwendung einer GPU mit mindestens 24 GB Videospeicher und Quantisierung. Insgesamt betragen die Gesamtkosten des selbstgehosteten Codemodells = GPU-Instanzgebühr + Betriebs- und Wartungspersonal, was weitaus niedriger ist als bei kommerziellen APIs mit denselben Funktionen, die per Token abgerechnet werden.

Unternehmen/Privat: Unternehmen können die Bereitstellung und Feinabstimmung privat basierend auf StarCoder2-Gewichten direkt durchführen, ohne Lizenzgebühren an das BigCode-Projekt zu zahlen. Sie sollten jedoch die Einschränkungen der BigCode OpenRAIL-M v1-Lizenzvereinbarung (einschließlich Nutzungsbeschränkungen) beachten. Es wird empfohlen, dass die Rechtsabteilung vor der kommerziellen Nutzung eine Lizenzprüfung durchführt.

Versteckte Kosten: Das Basismodell erfordert eine Feinabstimmung oder schnelle Entwicklung, um ein nutzbares Niveau zu erreichen, was oft unterschätzt wird. Darüber hinaus erfordern die Urheberrechtseigentümerschaft und die Lizenzkonformität des modellgenerierten Codes auch eine zusätzliche Governance – BigCode bietet ein Suchindizierungstool zur Rückverfolgung der Quelle von Trainingsdaten, Unternehmen müssen jedoch noch ihre eigenen Code-Rückverfolgbarkeitsprozesse einrichten.

Hauptfunktionen

Die Kernfunktionen des BigCode-Projekts basieren auf dem Full-Link-Open-Source-Code LLM, und die öffentliche Ausgabe kann in fünf Ebenen zusammengefasst werden:

• Codegenerierungsmodell (StarCoder-Serie): Bietet Basismodelle mit mehreren Maßstäben (1,1B bis 15B), die die Vervollständigung von Fill-in-the-Middle-Code (FIM), die Generierung mehrsprachigen Codes (StarCoder2 deckt über 600 Programmiersprachen) und das Verständnis von Code für lange Kontexte (16.000 Token) unterstützen.
• Pre-Training-Datensatz (The Stack): Der Stack v2 ist derzeit der größte lizenzierte Code-Pre-Training-Datensatz (5,45 Milliarden Token), deckt über 600 Programmiersprachen ab und unterstützt den Opt-out-Mechanismus, der es Entwicklern ermöglicht, ihre eigenen Warehouses aus den Trainingsdaten zu entfernen.
• Bewertungsbenchmark (BigCodeBench/BigCodeArena): BigCodeBench (ICLR 2025) konzentriert sich auf die Codegenerierungsbewertung mehrerer Funktionsaufrufe und komplexer Anweisungen; BigCodeArena (2025) bewertet Modellpräferenzen anhand der Ergebnisse der Codeausführung und bietet so eine zuverlässigere automatisierte Bewertungsmethode.
• Evaluation Harness: Bietet ein standardisiertes Codemodell-Evaluierungs-Framework, das die Evaluierung mehrerer Benchmarks wie HumanEval, HumanEval+, GSM8K (PAL), DS-1000, CruxEval-I usw. mit einem Klick unterstützt.
• Feinabstimmungs- und Bereitstellungstools: Bereitstellung eines LoRA-Feinabstimmungsskripts, integrierter PEFT-Bitsandbytes-Quantifizierung, Unterstützung eines TGI-Inferenzcontainers und starcoder.cpp (C++-Inferenzimplementierung basierend auf ggml).

Synergie: Diese Funktionen existieren nicht isoliert – der Stack-Datensatz wird zum Trainieren des StarCoder-Modells verwendet, das StarCoder-Modell wird durch Evaluation Harness evaluiert und BigCodeBench bietet eine standardisierte Evaluierungsmethodik. Die drei bilden eine „Daten-Modell-Bewertung“-Struktur. Dies bedeutet, dass Teams, die BigCode verwenden, dieselbe Toolkette wiederverwenden können, um den gesamten Prozess von der Schulung bis zur Evaluierung abzuschließen, ohne Komponenten über mehrere Projekte hinweg zusammensetzen zu müssen.

Modell- und Versionsentwicklung

Kontinuierliche iterative Updates, die neueste Version führt Leistungsoptimierung und neue Funktionen ein. Historische Versionsinformationen können auf der offiziellen Veröffentlichungsseite eingesehen werden. Derzeit gibt es keinen vollständigen Zeitplan für die Entwicklung der öffentlichen Version.

Technische Vorteile

Die technischen Vorteile von BigCode spiegeln sich in den drei Dimensionen Modelldesign, Trainingsumfang und Open-Source-Governance wider. Die Kernlogik besteht darin, „Codemodelle durch offene Wissenschaft transparenter und reproduzierbarer zu machen“.

Modellarchitektur: StarCoder2 verwendet Grouped Query Attention (GQA), was die KV-Cache-Nutzung während der Inferenz reduziert und den Speicherbedarf bei der Selbstbereitstellung im Vergleich zu Multi-Head Attention reduziert. Die Sliding-Window-Aufmerksamkeit (4K-Tokens) steuert den Rechenaufwand in Szenarien mit langen Sequenzen und behält gleichzeitig den effektiven Kontext von 16K bei. Das FIM-Trainingsziel macht das Modell ideal für Code-Vervollständigungsszenarien geeignet – es versteht die Semantik des Ausfüllens in der Mitte des Codes und nicht nur die Textgenerierung von links nach rechts.

Trainingsumfang: 15 Milliarden Modelle, die auf einer 1024× H100-GPU trainiert wurden, insgesamt mehr als 4 Billionen Token. Diese Skala gehört zur ersten Stufe im Open-Source-Code-Modell. Das Training nutzt das NVIDIA NeMo-Framework und den Eos-Supercomputer, was mit der Trainingskonfiguration kommerzieller Modelle gleicher Größe vergleichbar ist.

Data Governance: Die Verarbeitungspipeline von Stack v2 (Deduplizierung, Berechtigungsfilterung, Opt-out-Unterstützung für PII-Entfernung) ist die ausgereifteste unter den Open-Source-Code-Datensätzen. Bei jedem Trainingsbeispiel bleibt die Rückverfolgbarkeit der Quelle erhalten, und mit dem Suchindex-Tool können Benutzer überprüfen, ob der generierte Code aus einem bestimmten Open-Source-Warehouse stammt, was für die Rückverfolgbarkeit der Unternehmenscompliance wichtig ist.

Reproduzierbarkeit der Evaluierung: BigCode Evaluation Harness bietet standardisierte Evaluierungsskripte und Docker-Umgebungen. Die Ergebnisse verschiedener Teams bei demselben Benchmark können direkt verglichen werden, wodurch Unvergleichbarkeitsprobleme aufgrund unterschiedlicher Bewertungsmethoden verringert werden.

Technische Einschränkungen: Bei der StarCoder-Serie handelt es sich eher um ein Basismodell als um ein Befehls-Feinabstimmungsmodell, und der direkte Dialogeffekt ist schlecht. Die Argumentation, die Mathematik und andere Fähigkeiten des Modells sind schwächer als bei multimodalen Basismodellen derselben Skala (wie DeepSeek, LLaMA 3). Für lange Dateirekonstruktionsszenarien, die ein ausgeprägtes Kontextverständnis erfordern, ist ein 16-KByte-Kontextfenster möglicherweise nicht ausreichend.

Wie man es benutzt

• Web-Client: Sie können ihn nutzen, indem Sie die offizielle Website besuchen und ein Konto registrieren. Die meisten Funktionen erfordern keine Installation.
• API-Zugriff: Bietet RESTful API, Entwickler können den API-Schlüssel erhalten und ihn in ihre eigenen Anwendungen integrieren.

Produktpreise

Für das BigCode-Projekt selbst fallen keine Gebühren an. Alle Modellgewichte, Datensätze und Codes werden unter einer Open-Source-Lizenz veröffentlicht.

• C-Seite/Individuell: völlig kostenlos. Erleben Sie es online mit Hugging Face Spaces oder führen Sie das Modell auf einer lokalen GPU aus.
• Entwickler/API-Benutzer: Keine offiziell gehostete API. Sie können Ihren eigenen Inferenzdienst über TGI oder vLLM erstellen. Die Kosten umfassen nur die Kosten für die GPU-Instanz.
• Unternehmen/Privat: Modellgewichte sind kostenlos und ohne Lizenzgebühren erhältlich. Vorbehaltlich der Bedingungen der BigCode OpenRAIL-M v1-Lizenzvereinbarung (einschließlich Nutzungsbeschränkungen). Es wird empfohlen, vor der kommerziellen Nutzung eine rechtliche Lizenzprüfung durchzuführen.

Anwendungsszenarien

Das Modell von BigCode verfügt über eine breite Palette anwendbarer Szenarien im Bereich der Codegenerierung und des Codeverständnisses, und sein Kern liegt in der Fähigkeit, „gängige Programmiermuster aus Open-Source-Code zu lernen“:

• Code-Vervollständigung und -Generierung: Integrieren Sie das StarCoder-Modell in IDE-Plug-Ins oder CLI-Tools, um Code-Vervollständigung, Funktionskörpergenerierung und Boilerplate-Code-Füllung in Echtzeit bereitzustellen. Die Vorteile sind ein reduzierter sich wiederholender Codierungsaufwand und eine beschleunigte Prototypenentwicklung. Es ist zu beachten, dass das Basismodell ein entsprechendes Prompt-Design und keine Anweisungen in natürlicher Sprache erfordert.
• Codeübersetzung und -migration: Nutzen Sie die Fähigkeit des Modells, mehrsprachigen Code zu verstehen, um bei der Übersetzung von Code von einer Sprache in eine andere (z. B. Python→Java) oder bei der Durchführung der Codemigration für Framework-Upgrades zu helfen. Der Effekt hängt von der Abdeckung der Quell- und Zielsprachen in den Trainingsdaten ab.
• Generierung von Testfällen: Generieren Sie ein Unit-Test-Skelett basierend auf der Funktionssignatur und der Dokumentationszeichenfolge. Die Evaluierungsdaten von BigCodeBench zeigen, dass StarCoder2 in komplexen Multifunktionsaufrufszenarien eine gute Leistung erbringt, die Generierung von Tests jedoch immer noch eine manuelle Überprüfung der Abdeckung und Korrektheit erfordert.

Anwendbare Personen

Aufgrund der Open-Source-Positionierung besteht die Servicegruppe von BigCode hauptsächlich aus Entwicklern und Forschern:

• KI/ML-Forscher: Recherchieren Sie Code-LLM-Architekturen, Trainingsmethoden oder Bewertungsmethoden. BigCode bietet eine vollständig reproduzierbare Basislinie, einschließlich Modellgewichtungen, Datenverarbeitungspipelines, Bewertungsframeworks und Benchmarks.
• Softwareentwickler und -architekten: Teams, die ihre eigenen Code-Intelligence-Funktionen aufbauen müssen. Ein privater Code-Vervollständigungsdienst kann basierend auf dem StarCoder2-Modell erstellt werden, um das Senden von Quellcode an APIs von Drittanbietern zu vermeiden.
• Enterprise AI Platform Team: Evaluieren und integrieren Sie Open-Source-Codemodelle in interne Toolchains. Die Lizenztransparenz und die Rückverfolgbarkeit von Datensätzen sind die Hauptvorteile von BigCode gegenüber seinem Geschäftsmodell.

Passt nicht in die Grenzen:

• Szenarien, die Konversationscode-Assistenten erfordern (z. B. GitHub Copilot Chat) – die StarCoder-Serie ist kein Anweisungsmodell und die Interaktionsmethode basiert auf Vervollständigung und nicht auf Dialog. – Compliance-Szenarien mit Nulltoleranz für Urheberrechte im generierten Code – Modelle können in den Trainingsdaten Snippets generieren, die dem Open-Source-lizenzierten Code ähneln, was eine zusätzliche Überprüfung der Rückverfolgbarkeit erfordert.
• Edge-Geräte mit extrem begrenzten Ressourcen – selbst das 3B-Modell erfordert bestimmte GPU- oder Speicherressourcen, was eine direkte Ausführung auf mobilen Endgeräten oder MCUs unrealistisch macht.

Zusammenfassung und Ausblick

Der Kernwert von BigCode besteht darin, einen vollständigen Satz an Code-LLM-Infrastruktur auf offene wissenschaftliche Weise bereitzustellen: von Trainingsdaten (The Stack), Modellen (StarCoder-Serie), Bewertungsbenchmarks (BigCodeBench) bis hin zu Bereitstellungstools (TGI, starcoder.cpp), die die vollständige Verbindung von Codemodellen vom Training bis zur Implementierung abdecken. Es ist weder der schnellste Code-Assistent noch das leichteste Modell, aber für Teams, die die Funktionen zur Codegenerierung vollständig kontrollieren und auf Datenrückverfolgbarkeit und Lizenztransparenz achten müssen, bietet BigCode die umfassendste Toolkette im Open-Source-Ökosystem.

Aktuelle Einschränkungen: Der StarCoder2-Serie fehlt eine offizielle Version zur Feinabstimmung von Anweisungen (instruct-v0.1 der Community ist noch experimentell), und das Team muss die Feinabstimmung und Anpassung selbst abschließen; Das Modellkontextfenster (16 KB) reicht möglicherweise nicht aus, wenn es um große Codebasen geht. Das Projekt stellt keine verwaltete API bereit und die Selbstbereitstellung erfordert bestimmte MLOps-Funktionen.

Bewertung des Beschaffungs- und Einführungsrisikos: Die Modellgewichte von BigCode werden unter den Lizenzen Apache-2.0 und OpenRAIL-M v1 veröffentlicht. Die Lizenzrisiken sind relativ beherrschbar, die zusätzlichen Nutzungsbeschränkungen in OpenRAIL-M erfordern jedoch eine rechtliche Bestätigung, ob sie auf das Zielszenario anwendbar sind. Vor der Einführung sollten sich Unternehmen auf die Bewertung konzentrieren: ① Ob die Abschlussgenauigkeit von StarCoder2 in der Zielprogrammiersprache und im Codierungsstil den nutzbaren Schwellenwert erreicht; ② Die Datenanmerkungen und GPU-Kosten, die für die Feinabstimmung auf ein akzeptables Leistungsniveau erforderlich sind; ③ Die langfristige Nachhaltigkeit des Projekt-Governance-Modells (unter der Leitung von Hugging Face und ServiceNow). Es wird empfohlen, das 7B-Modell zunächst in einer Nicht-Produktionsumgebung mit einer kleinen Stichprobe auszuführen, um den Effekt zu überprüfen, und dann den Umfang der Bewertung zu erweitern.

Verwandte Tools: github-copilot, cursor

Versionsentwicklung von BigCode

Der Versionskontext von BigCode basiert auf der Modellfreigabe und entwickelt sich schrittweise von der frühen Erkundung im kleinen Maßstab zum groß angelegten Training der StarCoder2-Serie.

Frühe Erkundung (~2023-01)

• SantaCoder-1.1B: Die erste öffentliche Modellausgabe, 1.1B-Parameter, die zur Überprüfung der grundlegenden Funktionen der mehrsprachigen Codegenerierung verwendet wird.

Hauptversion

• StarCoder-15.5B (~2023-05): Das erste Flaggschiff-Modell, 15,5B Parameter, über 80 Programmiersprachen, 1 Billion Token-Training, 8K-Kontext. Pass@1 erreichte 33,6 % bei HumanEval und nach der Veröffentlichung tauchten in der Community schnell mehrere fein abgestimmte Varianten auf.
• StarCoder2-3B/7B/15B (29.02.2024): Die Modellreihe der zweiten Generation, vollständig aktualisiert. 3B/7B wird auf mehr als 3 Billionen Token trainiert und 15B wird auf mehr als 4 Billionen Token trainiert; Gruppierte Abfrageaufmerksamkeit, 16K-Kontextfenster (4K-Schiebefenster) und FIM-Ziel werden eingeführt; Die Trainingshardware wird auf eine 1024× H100-GPU aufgerüstet.

Bewertung und ökologische Ergänzung (2024-2025)

• BigCodeBench (ICLR 2025): Veröffentlichung eines Multifunktionsaufruf-Benchmarks, der die Lücke bestehender Benchmarks schließt, die nur die Generierung einzelner Funktionen testen.
• SelfCodeAlign (NeurIPS 2024): Schlägt eine Code-Selbstausrichtungsmethode vor, um die Compliance-Funktionen von Modellanweisungen ohne manuelle Annotation zu verbessern.
• BigCodeArena (2025-10): Einführung der Code-Präferenzbewertung basierend auf Ausführungsergebnissen, um das Wiederholbarkeitsproblem der herkömmlichen manuellen Bewertung zu lösen.
• OctoPack (~2024): Geben Sie Anweisungen zur Feinabstimmung des Datensatzes und der Trainingsprodukte aus, um standardisierte Ausrichtungsdaten für das Codemodell bereitzustellen.

Ab Juli 2026 produziert das Projekt weiterhin neue Modelle und Datensätze über GitHub und Hugging Face, hat jedoch keinen festen Release-Zyklus für Versionen festgelegt. Produktionsbenutzern wird empfohlen, StarCoder2-15B oder StarCoder2-7B als Bewertungsbasis zu verwenden und je nach Komplexität der Aufgabe geeignete Spezifikationen auszuwählen.

So verwenden Sie BigCode

Die Modelle von BigCode können auf verschiedene Arten bezogen und verwendet werden, geeignet für Teams mit unterschiedlichem technischen Hintergrund:

So verwenden Sie	Geeignet für die Menge	Funktionen	Kosten
Hugging Face Spaces Online-Erlebnis	Produktbewertung/Schnellverifizierung	Keine Installation erforderlich, direkt im Browser ausführen	Kostenlos
Transformers-Bibliothek wird geladen	Entwicklungsintegration	Unterstützt PyTorch, Bitsandbytes-Quantifizierung	Kostenlos (erfordert Ihre eigene GPU)
Textgenerierungsinferenz (TGI)	Bereitstellung von Produktionsinferenzen	Unterstützt REST API, kontinuierliche Stapelverarbeitung	Kostenlose Open Source (GPU erforderlich)
starcoder.cpp (ggml)	Edge-/CPU-Bereitstellung	C++-Implementierung, keine Python-Abhängigkeiten	Kostenlos
Lokale Feinabstimmung (PEFT + LoRA)	Modellanpassung	Feinabstimmung der 4-Bit-Quantisierung, GPU für Endverbraucher verfügbar	Kostenlos (GPU erforderlich)

Typische Verwendungsschritte (nehmen Sie als Beispiel Transformers, die StarCoder2-15B laden):

„Python

Abhängigkeiten installieren

pip install git+https://github.com/huggingface/transformers.git

aus Transformatoren importieren AutoModelForCausalLM, AutoTokenizer

checkpoint = „bigcode/starcoder2-15b“ Gerät = „Cuda“

tokenizer = AutoTokenizer.from_pretrained(checkpoint) model = AutoModelForCausalLM.from_pretrained( Kontrollpunkt, device_map="auto", Torch_dtype=torch.bfloat16 ).to(Gerät)

inputs = tokenizer.encode("def fibonacci(n):", return_tensors="pt").to(device) Ausgänge = model.generate(Eingänge, max_new_tokens=128) print(tokenizer.decode(outputs[0])) „

Quantitative Bereitstellung: Mit Bitsandbytes kann eine 8-Bit- (ca. 16,9 GB Videospeicher) oder 4-Bit-Inferenz (ca. 9,2 GB Videospeicher) erreicht werden, wodurch die GPU-Anforderungen erheblich reduziert werden.

Feinabstimmung der Anpassung: Das Projekt stellt ein Feinabstimmungsskript basierend auf PEFT + LoRA bereit, das die Domänenanpassung mit einer Single-Card-GPU für Endverbraucher unter 4-Bit-Quantisierung abschließen kann.

Es wird empfohlen, die tatsächliche Umsetzung in vier Phasen voranzutreiben: „Auswahl der Bewertungsgrundlage → Überprüfung kleiner Stichproben → Feinabstimmung und Anpassung → quantitativer Einsatz“. Die erste Woche konzentriert sich auf die Überprüfung der Abschlussgenauigkeit des Modells in der Zielprogrammiersprache und dem Aufgabentyp und entscheidet dann, ob eine Feinabstimmung durchgeführt werden soll.

Versionsinfo

• StarCoder2-15B ：Das größte Modell in der StarCoder2-Reihe (15B Parameter), trainiert auf über 600 Programmiersprachen und über 4 Billionen Token, unter Verwendung von Grouped Query Attention mit 16.000 Kontextfenstern. （2024-02-29）
• StarCoder2-7B ：Mittelklassemodell der StarCoder2-Serie (7B-Parameter), 3+ Billionen Token-Training, geeignet für Einzel-GPU-Bereitstellungsszenarien. （2024-02-29）
• StarCoder2-3B ：Das kleinste Modell der StarCoder2-Serie (3B-Parameter), ausgerichtet auf die Codevervollständigung und -generierung in ressourcenbeschränkten Szenarien. （2024-02-29）
• StarCoder-15.5B ：Das erste Flaggschiffmodell der StarCoder-Serie, über 80 Programmiersprachen, 1 Billion Token-Training, 8K-Kontextfenster. Einen offiziellen genauen Termin gibt es noch nicht. （2023-05-09）
• SantaCoder-1.1B ：BigCodes frühe Ausgabe eines kleinen Codemodells (1,1 Milliarden Parameter) zur Erforschung der mehrsprachigen Codegenerierung. Einen offiziellen genauen Termin gibt es noch nicht. （~2023-01）