CodeQwen ist ein codespezifisches großes Sprachmodell, das vom Alibaba Tongyi Qianwen (Qwen)-Team ins Leben gerufen wurde. Es basiert auf der Qwen1.5-Architektur und ist auf etwa 3 Billionen Tokens an Codedaten vorab trainiert. Es unterstützt 92 Programmiersprachen und hat eine Kontextlänge von 64 KB. CodeQwen1.5-7B erreicht 83,5 % pass@1 (Chat-Version) bei HumanEval und schneidet bei der Codegenerierung, Modellierung langer Kontexte, Codebearbeitung, Text-to-SQL und anderen Aufgaben gut ab und ist damit die erste Stufe in Open-Source-Codemodellen.

CodeQwens Tool-Analyse

Kernparameter und Statistiken

Parameter	Wert
Vollständiger Modellname	CodeQwen1.5-7B / CodeQwen1.5-7B-Chat
Entwicklungsteam	Alibaba Cloud Tongyi Qianwen Team (Qwen Team)
Infrastruktur	Qwen1.5 (nur Transformator-Decoder)
Parameterskala	7B
Menge der Daten vor dem Training	Ungefähr 3 Billionen Token (codebezogene Daten)
Unterstützte Programmiersprachen	92 Typen
Kontextlänge	64.000 Token
Aufmerksamkeitsmechanismus	Aufmerksamkeit für Gruppenabfragen (GQA)
Lizenzvereinbarung	Tongyi Qianwen FORSCHUNGSLIZENZVEREINBARUNG (Verfügbar für Forschungszwecke, Antrag für kommerzielle Nutzung erforderlich)
Open-Source-Repository	GitHub: QwenLM/Qwen1.5
Modell-Gewichtsplattform	Umarmendes Gesicht / ModelScope

CodeQwen ist ein großes Sprachmodell der Alibaba Tongyi Qianwen-Familie, das speziell für Codierungsszenarien entwickelt wurde. Im Gegensatz zum allgemeinen Qwen-Modell verwendet CodeQwen etwa 3 Billionen Token an Codedaten für spezielles Training in der Vortrainingsphase und deckt 92 Programmiersprachen ab. Sein Hauptgewinn ergibt sich aus der Spezialisierung der Datenverteilung – nicht aus der größeren Parameterskala, sondern aus der höheren Dichte und Vielfalt der Codes in den Trainingsdaten, wodurch das Modell bei der Codegenerierung, dem Verständnis, der Reparatur und anderen Aufgaben deutlich besser ist als das gleich große allgemeine Modell.

Benutzer- und Markterkennung

• GitHub-Ökosystem: Modelle der CodeQwen1.5-Serie werden im QwenLM/Qwen1.5-Warehouse gehostet und die gesamte Qwen-Organisation hat auf GitHub mehr als 21,4.000 Sterne erhalten. CodeQwen1.5-7B hat etwa 3.154 monatliche Downloads auf Hugging Face (zum Zeitpunkt der Abfrage).
• Benchmark-Ergebnisse: CodeQwen1.5-7B-Chat erreichte 83,5 % pass@1 bei HumanEval 0-shot und übertraf damit DeepSeek-Coder-Instruct 6.7B (78,6 %) und CodeLlama-7B (33,5 %) derselben Größe und belegte den ersten Platz im Open-Source-Codemodell auf 7B-Ebene. MBPP 0-shot erreicht 77,7 % und liegt damit ebenfalls vor Konkurrenzprodukten gleicher Größe.
• Auswertung des langen Kontexts: In der synthetischen Auswertung „Nadel im Code“ kann CodeQwen1.5 die eingefügte benutzerdefinierte Funktion innerhalb des Längenbereichs von 64 KB genau reproduzieren, was darauf hinweist, dass seine Fähigkeit zum Verständnis des Codes mit langem Kontext die Entwurfsziele erfüllt.
• SWE-Bench-Leistung: CodeQwen1.5-Chat erzielte im SWE-Bench einen Wert von 0,89 und übertraf damit ChatGPT-3.5, was darauf hinweist, dass seine Fähigkeit, echte Softwareentwicklungsprobleme auf Lagerebene zu lösen, zunächst konkurrenzfähig ist.

Kostenvorteil

CodeQwen ist als Open-Source-Codemodell positioniert und seine Kostenstruktur unterscheidet sich auf drei Ebenen: einzelne Entwickler, akademische Forscher und Unternehmen.

• C-seitige/einzelne Entwickler: Modellgewichte sind völlig kostenlos und Open Source (Forschungslizenz) und können über Tools wie Hugging Face Transformers oder Ollama auf lokalen GPUs bereitgestellt und ausgeführt werden. In Bezug auf die Videospeicheranforderungen erfordert die BF16-Genauigkeit etwa 16,99 GB GPU-Videospeicher (7B-Modell), der nach der Int4-Quantifizierung auf etwa 8,21 GB reduziert wird, und Grafikkarten der Verbraucherklasse (wie RTX 3090/4090) können ihn ausführen. In Bezug auf die Inferenzgeschwindigkeit beträgt sie unter BF16 etwa 40,93 Token/s und unter Int4 etwa 50,09 Token/s.
• Entwickler-/API-Aufruf: Modelle der Tongyi Qianwen-Serie (qwen-turbo/qwen-plus) können über die Alibaba Cloud DashScope API aufgerufen werden, und die Abrechnung erfolgt auf Token-Basis. Die konkreten Preise unterliegen der offiziellen DashScope-Seite. Darüber hinaus können vLLM/SGLang-Dienste über die Hugging Face Inference API oder durch Sie selbst bereitgestellt werden. Die Bereitstellungskosten hängen von den GPU-Spezifikationen ab.
• Enterprise/Private Deployment: Unternehmen können eine privatisierte Bereitstellung und Feinabstimmung auf Basis von Open-Source-Gewichten durchführen. Für die kommerzielle Nutzung müssen Sie eine kommerzielle Genehmigung bei Alibaba Cloud beantragen (füllen Sie das Antragsformular aus). Die konkreten Genehmigungsbedingungen unterliegen der offiziellen Antwort. Für Compliance-Szenarien wie Finanz- und Regierungsangelegenheiten, die eine privatisierte Bereitstellung von Code Assistant erfordern, reduzieren die Open-Source-Funktionen von CodeQwen das Risiko ausgehender Daten und die Abhängigkeit von Dritten.

Hauptfunktionen

• Codegenerierung (Text-to-Code): Übersetzen Sie Beschreibungen in natürlicher Sprache in ausführbaren Code. Unterstützt 92 Sprachen, darunter Python, C++, Java, JavaScript, TypeScript, Go und Rust. Bei den HumanEval- und MBPP-Benchmarks erreicht die Chat-Version pass@1 83,5 % bzw. 77,7 %, was nahe am GPT-3.5-Niveau liegt.
• Langes Kontextcode-Verständnis: Ein Kontextfenster mit 64K-Tokens ermöglicht die Verarbeitung von Codedateien auf Repository-Ebene. Basierend auf Technologien wie NTK-fähiger Interpolation und LogN-Aufmerksamkeitsskalierung erweitert, kann es Codefragmente innerhalb eines Längenbereichs von 64 KB in tatsächlichen Tests genau abrufen und reproduzieren.
• Codebearbeitung und Debugging: Auf CodeEditorBench erzielte CodeQwen1.5 einen SOTA-Effekt von 7B Parametern in den vier Dimensionen Debugging, Übersetzung, Sprachumschaltung und Codepolierung.
• Text-to-SQL: Unterstützt die Konvertierung von Abfragen in natürlicher Sprache in SQL-Anweisungen. In den beiden Text-to-SQL-Benchmarks Spider und Bird belegt CodeQwen1.5-Chat den zweiten Platz hinter GPT-4 (DIN-SQL-Eingabeaufforderungsmethode). Diese Fähigkeit ermöglicht es, die Interaktionslücke zwischen Nicht-Programmierern und Datenbanken zu schließen.
• Tool-Aufrufe und Agentenfunktionen: Die Qwen-Chat-Serie unterstützt Tool-Aufrufe und Funktionsaufrufe im ReAct-Stil. In der Bewertung der chinesischen Werkzeugnutzung erreichte die Werkzeugauswahlgenauigkeit von CodeQwen1.5-7B-Chat 95,5 %, die Werkzeugeingabe Rouge-L erreichte 0,900 und die Falsch-Positiv-Rate betrug nur 11,6 %.

Modell- und Versionsentwicklung

CodeQwen hat derzeit nur eine große Release-Serie – CodeQwen1.5, veröffentlicht am 16. April 2024. Die Serie besteht aus zwei Modellen:

CodeQwen1.5-7B (Basis)

Codebasiertes Modell, vorab trainiert auf etwa 3 Billionen Tokens an Codedaten. Geeignet für nachgelagerte Aufgaben wie Code-Vervollständigung und Feinabstimmung. Es gibt keine integrierte Dialogfunktion, Benutzer müssen das Prompt-Format erstellen oder SFT selbst durchführen.

CodeQwen1.5-7B-Chat (Chat)

Die auf SFT und RLHF ausgerichtete Dialogversion basierend auf dem Basismodell unterstützt nativ interaktive Szenarien wie mehrere Runden Codedialog, Codegenerierung, Debugging und SQL-Abfragen. Die Rezension dreht sich hauptsächlich um die Chat-Version.

Es ist erwähnenswert, dass CodeQwen in der Qwen1.5-Ära (Anfang 2024) geboren wurde. Mit der Veröffentlichung von Qwen2, Qwen2.5 und der neuesten Qwen3-Serie arbeitet das Team von Tongyi Qianwen weiter an den Code-Funktionen – die Qwen3-Serie verfügt über integrierte Code-Generierungsfunktionen, und nachfolgende dedizierte Modelle wie Qwen3-Coder könnten der geistige Nachfolger von CodeQwen werden. Derzeit ist CodeQwen1.5 jedoch immer noch das einzige codespezifische Open-Source-Modell mit dem Namen „Code“ in der Qwen-Reihe.

Technische Vorteile

• Spezialisierte Vortrainingsdaten: CodeQwen1.5 wird anhand von etwa 3 Billionen Tokens an Codedaten anstelle allgemeiner Textdaten vorab trainiert. Diese Codedaten decken reale Codes in mehreren Sprachen, mehreren Frameworks und mehreren Feldern ab, wodurch das Verständnis des Modells für Codesyntax, Semantik und Programmierparadigmen viel tiefer geht als bei einem allgemeinen Modell derselben Größenordnung.
• Gruppenabfrage-Aufmerksamkeit (GQA): Verwendet den Gruppenabfrage-Aufmerksamkeitsmechanismus, um die KV-Cache-Nutzung während der Inferenz zu reduzieren und die Durchsatzeffizienz von Mehrrundendialogen und der Generierung langer Sequenzen zu verbessern. GQA ist besonders wichtig in kontinuierlichen Bearbeitungsszenarien der Codegenerierung – wenn Entwickler häufig Codeausschnitte anzeigen und ändern, kann GQA die Inferenzlatenz effektiv reduzieren.
• Technologie zur Erweiterung des langen Kontexts: Erweitern Sie die Kontextlänge von vorab trainierten 8 KB auf 64 KB durch eine Kombination aus NTK-fähigen Interpolationstechnologien Window Attention und LogN-Aufmerksamkeitsskalierung. Dadurch kann das Modell die gesamte Codedatei auf Lagerebene auf einmal lesen und so die Kontextabhängigkeiten der gesamten Datei verstehen, wenn eine Funktion geändert wird.
• Mehrsprachige Abdeckung: Unterstützt die Codegenerierung in 92 Programmiersprachen und deckt alles von Mainstream-Sprachen (Python, Java, C++, JavaScript) bis hin zu Nischensprachen (wie Verilog, Racket, COBOL usw.) ab. In der MultiPL-E-Bewertung war die Leistung in den acht Mainstream-Sprachen Python, C++, Java, PHP, TypeScript, C#, Bash und JavaScript ausgeglichen und nicht auf eine einzelne Sprache ausgerichtet.
• Quantifizierungsfreundlich: Der Beamte stellt quantisierte Int4- und Int8-Versionen bereit. Nach der Quantisierung wird die Inferenzgeschwindigkeit um etwa 20–40 % erhöht und die Videospeichernutzung um etwa 50 % reduziert (7B BF16: 16,99 GB → Int4: 8,21 GB), wodurch die Ausführung von Grafikkarten der Verbraucherklasse möglich wird. Der quantifizierte Leistungsverlust beträgt in Benchmarks nicht mehr als 2-3 Prozentpunkte.

Wie man es benutzt

CodeQwen verfügt über flexible Bereitstellungs- und Aufrufmethoden, die alle Szenarien von lokalen Experimenten bis hin zur Produktionsbereitstellung abdecken.

Lokales Denken (Transformer)

„Python aus Transformatoren importieren AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/CodeQwen1.5-7B-Chat" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( Modellname, device_map="auto", trust_remote_code=True ).eval()

Antwort, Verlauf = model.chat(tokenizer, „Eine schnelle Sortierfunktion in Python schreiben“, Verlauf = Keine) drucken(Antwort) „

OpenAI-kompatible API-Bereitstellung (vLLM)

„Bash pip install vllm python -m vllm.entrypoints.openai.api_server \ --model Qwen/CodeQwen1.5-7B-Chat \ --trust-remote-code \ --dtype bfloat16 „

Dann rufen Sie über OpenAI SDK auf:

„Python von openai importieren OpenAI

client = OpenAI( api_key="", base_url="http://localhost:8000/v1" )

chat_response = client.chat.completions.create( model="Qwen/CodeQwen1.5-7B-Chat", message=[{"role": "user", "content": "Implementieren eines LRU-Cache in C++"}], max_tokens=2048, Temperatur=0,2 ) print(chat_response.choices[0].message.content) „

Lokale Lightweight-Bereitstellung (Ollama/llama.cpp)

CodeQwen1.5 unterstützt die Ein-Klick-Bereitstellung über Ollama und kann auch CPU-Inferenz über llama.cpp durchführen. Die Modellgewichte wurden auf Hugging Face hochgeladen und die Community hat eine quantisierte Version im GGUF-Format bereitgestellt.

Alibaba Cloud DashScope API

Modelle der Tongyi Qianwen-Serie (einschließlich Codierungsfunktionen) können online über Alibaba Cloud DashScope aufgerufen werden:

„Python Dashscope importieren aus der Dashscope-Importgenerierung

dashscope.api_key = "" Antwort = Generation.call( model="qwen-turbo", message=[{"role": "user", "content": "Schreiben Sie einen Python-Dekorator, um die Ausführungszeit einer Funktion zu messen"}] ) print(response.output.text) „

Produktpreise

• Open-Source-Gewichte: Die Modellgewichte von CodeQwen1.5-7B und CodeQwen1.5-7B-Chat können kostenlos auf Hugging Face und ModelScope unter Verwendung der FORSCHUNGSLIZENZVEREINBARUNG von Tongyi Qianwen heruntergeladen werden (kann für Forschungszwecke verwendet werden, kommerzielle Nutzung erfordert Genehmigung von Alibaba Cloud).
• DashScope-API: Rufen Sie Modelle der Tongyi Qianwen-Serie über Alibaba Cloud DashScope auf, die Abrechnung erfolgt über Token. Die spezifischen Preise für qwen-turbo und qwen-plus unterliegen der offiziellen DashScope-Preisseite, die normalerweise niedriger ist als der API-Preis der Modelle der GPT-Serie.
• Private Bereitstellungskosten: Hängt von der GPU-Hardwareauswahl ab. Die quantisierte Int4-Version kann auf einer einzelnen RTX 3090/4090 (24 GB Videospeicher) ausgeführt werden, und die BF16-Version empfiehlt die Verwendung einer GPU mit mehr als 24 GB Videospeicher. Bei der Unternehmensbereitstellung müssen auch das Inferenz-Framework (vLLM/SGLang), der Lastausgleich sowie die Betriebs- und Wartungskosten berücksichtigt werden.
• Kostenloses Kontingent: Die DashScope-API bietet neuen Benutzern ein kostenloses Anrufkontingent (vorbehaltlich der neuesten offiziellen Alibaba Cloud-Richtlinie). Für die Open-Source-Bereitstellung selbst gibt es keine Nutzungsbeschränkung.

Anwendungsszenarien

• Private Bereitstellung des AI Programming Assistant: Unternehmen können CodeQwen auf internen Servern als Open-Source-Alternative zu GitHub Copilot bereitstellen. Es eignet sich besonders für Szenarien wie Finanzen, Regierungsangelegenheiten und die Militärindustrie, in denen strenge Anforderungen an den Datenschutz des Codes gestellt werden. Stellen Sie über die VSCode-Erweiterung oder das JetBrains-Plug-in eine Verbindung zur Modell-API her, um Code zu vervollständigen, zu interpretieren und zu überprüfen. Für die Bereitstellung muss das Unternehmen über eine GPU-Infrastruktur verfügen oder Cloud-API-Aufrufe akzeptieren können.
• Text-to-SQL-Datenabfrage: Nicht-technisches Geschäftspersonal beschreibt Abfrageanforderungen in natürlicher Sprache und CodeQwen wandelt sie in ausführbare SQL-Anweisungen um. Self-Service-Abfrageszenarien, die für Datenanalysten, Betreiber und Unternehmensleiter geeignet sind, um die Abhängigkeit vom Datenteam zu verringern. Es ist zu beachten, dass die Genauigkeit komplexer JOIN-Abfragen mit mehreren Tabellen möglicherweise geringer ist als bei GPT-4. Es wird empfohlen, den Schlüsselabfragen eine manuelle Überprüfung hinzuzufügen.
• Unterstützung beim Lehren und Lernen von Code: CodeQwen-Chat kann als Programmier-Lernpartner dienen, der Codeausschnitte erklärt, Beispiele bereitstellt und auf Fehler hinweist. Für Programmieranfänger bietet es eine gesprächige Schritt-für-Schritt-Anleitung zum Codierungsprozess. Allerdings kann das Modell unsicheren Code oder Schreibmethoden mit Sicherheitsrisiken erzeugen, sodass das Bewusstsein für sicheres Codieren in der Lehre betont werden muss.
• Code-Migration und Refactoring: Migrieren Sie Code aus alten Sprachen (wie COBOL, Fortran) in moderne Sprachen (wie Python, Java) oder refaktorieren Sie Code zwischen verschiedenen Frameworks. Die sprachübergreifenden Übersetzungsfähigkeiten von CodeQwen basieren auf der Vorschulung von 92 Sprachen. Es wird empfohlen, eine angemessene Unit-Test-Verifizierung des migrierten Codes durchzuführen.

Anwendbare Personen

• Softwareentwickler: Verwenden Sie CodeQwen, um während des Codierungsprozesses bei der Codegenerierung, beim Debuggen und bei der Interpretation zu helfen. Unterstützt die Mainstream-IDE-Integration (über Ollama oder die API-Schnittstelle von vLLM), geeignet für einzelne Entwickler und kleine Teams, die einen kostenlosen Open-Source-Code-Assistenten suchen. Für ein optimales Erlebnis sind grundlegende lokale Modellbereitstellungsfunktionen erforderlich.
• Dateningenieure und -analysten: Nutzen Sie Text-to-SQL-Funktionen, um Datenbanken schnell abzufragen, oder verwenden Sie Python-Skripte, um Datenverarbeitungsaufgaben zu automatisieren. Die Leistung von CodeQwen bei der SQL-Generierung liegt nahe an GPT-4 und ist zuverlässig genug für regelmäßige Abfragen. Nicht geeignet für hochkomplexe Abfragen und Szenarien mit hoher Parallelität (es wird empfohlen, kommerzielle Datenbank-KI-Assistenten zu verwenden).
• KI-Anwendungsentwickler: Betten Sie CodeQwen als Back-End-Codegenerierungsmodul in eine selbst entwickelte KI-Anwendung ein und stellen Sie es selbst über Open-Source-Gewicht bereit, ohne sich auf die Preis- und Frequenzkontrollbeschränkungen von APIs von Drittanbietern verlassen zu müssen. Es ist notwendig, die kommerziellen Nutzungsbeschränkungen der Forschungslizenz zu prüfen, und Sie müssen vor der kommerziellen Nutzung eine Genehmigung bei Alibaba Cloud beantragen.
• Akademische Forscher: Erforschen Sie den technischen Weg, die Feinabstimmungsmethoden und die Bewertungsbenchmarks großer Codemodelle. Die Open-Source-Gewichte und der vollständige technische Bericht von CodeQwen1.5 bieten ein reproduzierbares Basismodell für die Code-LLM-Forschung. Geeignet für Forschung in den Bereichen Code-Intelligenz, Software-Engineering-Automatisierung und anderen Bereichen.

Nicht für Grenzen geeignet: CodeQwen ist nicht für allgemeine Konversationsszenarien geeignet (im Vergleich zum allgemeinen Qwen2-Modell aus der gleichen Zeit sind seine Chat- und Open-Domain-Erstellungsfunktionen unzureichend); Es eignet sich nicht für Szenarien, die mehr als 80.000 ultralange Kontexte erfordern (die Obergrenze des Kontextfensters beträgt 64.000). Es ist nicht für Online-Dienste geeignet, die eine niedrige Echtzeitlatenz erfordern (die Inferenzgeschwindigkeit ist begrenzt, wenn sie nicht durch vLLM optimiert wird). Es eignet sich nicht für die direkte Verwendung der Modellausgabe in Produktionskontexten mit extrem hohen Anforderungen an die Codesicherheit (manuelle Codeüberprüfung ist erforderlich).

Zusammenfassung und Ausblick

CodeQwen1.5-7B ist ein wichtiger Versuch des Alibaba Tongyi Qianwen-Teams in Richtung codespezifischer Modelle. Es war zu dieser Zeit auch eines der stärksten Open-Source-Codemodelle mit einem 7B-Parameterlevel. Seine Hauptvorteile liegen in den umfassenden Code-Verständnisfunktionen, die durch das Vortraining auf 3 Billionen Token-Codedaten erzielt werden, den Verarbeitungsfunktionen für 64K-Kontextfenster für Code auf Warehouse-Ebene und der umfassenden Abdeckung von 92 Sprachen. Seine Leistung bei mehreren Code-Benchmarks wie HumanEval, MBPP und SWE-Bench hat seine Wettbewerbsfähigkeit bestätigt.

Aktuelle Einschränkungen: CodeQwen ist derzeit nur 7 Milliarden groß und es fehlt eine Version mit einer größeren Parameterskala, um höhere Benchmarks zu erreichen; die Forschungslizenz ist nicht kommerziellfreundlich und Unternehmen müssen eine zusätzliche Genehmigung beantragen; Das Modell wurde relativ früh veröffentlicht (April 2024) und die nachfolgende Qwen3-Serie verfügt über integrierte Codefunktionen in das allgemeine Modell.

Bewertung des Beschaffungs- und Einführungsrisikos: Für Teams, die den Einsatz von Code-Assistenten privatisieren möchten, ist CodeQwen1.5 eine Einstiegslösung mit geringem Risiko – das Open-Source-Gewicht ist bei 7B kostenlos erhältlich, die Waage kann auf Grafikkarten der Verbraucherklasse ausgeführt werden und das Community-Ökosystem ist vollständig. Es wird empfohlen, Ollama oder Transformers für die lokale PoC-Überprüfung zu verwenden, um zu bestätigen, dass die Qualität der Codegenerierung den Geschäftsanforderungen entspricht, und anschließend die kommerziellen Autorisierungsanforderungen zu bewerten. Für Teams, die die neuesten Codierungsfunktionen anstreben, kann die Qwen3-Coder-Serie als Nachfolgelösung in Betracht gezogen werden. Bevor alle Produktionsumgebungen verwendet werden, sollte ein Code-Sicherheitsauditprozess eingerichtet werden, um die erforderliche Sicherheitsüberprüfung und Testabdeckung für den modellgenerierten Code durchzuführen.

Verwandte Tools: github-copilot, cursor

Versionsinfo

• CodeQwen1.5-7B-Chat ：Die erste öffentliche Version basiert auf der Qwen1.5-Architektur, 7B Parametern, unterstützt 92 Programmiersprachen und 64.000 Kontexte und erreicht 83,5 % pass@1 bei HumanEval. （2024-04-16）
• CodeQwen1.5-7B ：Das Code-Basismodell (Base) ist auf etwa 3 Billionen Token-Code-Daten vorab trainiert und unterstützt die Vervollständigung und Feinabstimmung des Codes. Es gibt noch kein offizielles genaues Datum. Bitte beachten Sie das Veröffentlichungsdatum des Blogs vom 16.04.2024. （2024-04-16）