Humanloop は、製品、エンジニアリング、およびドメインの専門家のコラボレーションのための LLMOps プラットフォームで、評価、プロンプト管理、可観測性、データセット、ログ、評価者、エージェント、API ワークフローをカバーします。公式文書によると、Humanloop プラットフォームは 2025 年 9 月 8 日に廃止され、過去の製品調査、移行評価、および同様のプラットフォーム選択の比較に適していることが示されています。

ヒューマンループ

コアパラメータと統計

プロジェクト	広報
製品のポジショニング	評価、即時管理、可観測性をカバーするエンタープライズレベルの LLM 評価プラットフォーム
正式な入口	https://ヒューマンループ.com/
書類入口	https://humanloop.com/docs/
デフォルトのドキュメントのバージョン	v5.0
主な機能	エバリュエーター、データセット、ログ、プロンプト、エージェント、ツール、フロー、API/SDK、モニタリング
API サンプル ドメイン名	https://api.humanloop.com/v5
プラットフォームのステータス	2025-09-08 日没
請求ステータス	公式の変更ログには、2025 年 7 月 30 日以降課金が停止されていることが示されています。
チームステータス	Humanloop チームが Anthropic	に加わりました。
適用フォーム	Web コンソール API、Python/TypeScript SDK、および文書化されたワークフロー

製品の境界: Humanloop は、基本モデルのプロバイダーでも、汎用のチャットボットでもありません。その中核的な位置は LLM アプリケーション開発およびガバナンス層にあり、チームがプロンプト ファイル、データ セット、ログ、評価者、オンライン モニタリング、コラボレーション プロセスを管理するのを支援します。プラットフォームは廃止されたため、現時点では新規プロジェクトの直接調達対象としては適していません。これは、LLMOps 製品形式の調査、レガシー移行の参照、および同様のソリューションの比較に適しています。

ステータスの意味: Humanloop の公式ホームページとドキュメントは両方とも、現在の事実の状態として「Join Anthropic」および「Platform sunset」と言及しています。過去の顧客にとって、重要な問題はデータのエクスポートと移行です。新しい選択チームにとって重要な価値は、かつて evals 主導の開発と共同開発を 1 つのプラットフォームに組み合わせた製品構造を理解することです。

ユーザーと市場の認識

エンタープライズレベルのポジショニング: 公式 Web サイトのメタ情報では、Humanloop を「エンタープライズ向けの LLM 評価プラットフォーム」と説明しており、この文書のホームページでは、製品チームが Humanloop を使用して堅牢な AI 機能を構築し、評価、即時管理による可観測性と連携できることが強調されています。この位置付けは、単一の Prompt 実験を提供するのではなく、バージョン、テスト、モニタリング、チーム コラボレーションの要件を伴うエンタープライズ AI 機能を提供することを示しています。

顧客と生態学的シグナル: 公式 Web サイトの事例紹介ページには、顧客事例の入り口が公開されており、ページのコンテンツで Gusto などの顧客名を確認できます。 YC 企業ページでは、Humanloop を W20 企業として分類し、LLM アプリケーション開発におけるツールの位置付けを記録しています。 Humanloop はまた、GitHub、X、LinkedIn、Trust Center、および Media Kit ポータルを公的に保持しており、かつて開発者と企業向けのデュアル チャネルとして運用されていたことを示しています。

市場境界: ヒューマンループは、検証可能なアクティブ顧客の合計 ARR、更新率、ユーザー数、または業界ごとの導入規模を公式には公表していません。顧客のロゴ、ケース、投資家情報は、企業や資本市場からの注目を集めていることを示すだけであり、事業規模を推測することはできません。

コストメリット

C サイド/個人開発者: Humanloop の歴史的な製品は、典型的な個人消費ツールではありません。この文書では、エンジニアとプロダクト マネージャーの 2 種類の入り口を強調しています。 API、プロンプト ファイル データセット、エバリュエーター、およびログは、既存の LLM アプリケーションの開発プロセスにより適しています。プラットフォームの廃止後は、個人や小規模チームがプラットフォームを購入して通常の SaaS として使用することはできなくなります。過去の価格と無料割り当ては、公式アーカイブと契約の対象となります。

開発者/API チーム: コスト上の利点は主に、「プロンプトはドキュメントに保存され、評価はテーブルに保存され、オンライン ログは監視システムに保存される」というスイッチング損失の削減によってもたらされます。プロンプトは API を通じて呼び出すことができ、ログには各関数ファイルの実行の入力、出力、バージョン、メタデータが記録され、データセットはログから評価ケースに生成されます。この組み合わせにより、ポジショニング回帰、反復実験、および役割を越えたコミュニケーションにかかる隠れたコストが削減されます。

エンタープライズ/ガバナンス シナリオ: Humanloop の公開ページでは、かつてコンプライアンスとセキュリティ、トラスト センター、SOC 2、および HIPAA ロゴの入力が強調されていましたが、エンタープライズ契約価格の SLA、データ保持、民営化およびセキュリティ条件は、現在の公開ページでは完全には開示されていません。プラットフォームの廃止後は、調達アクションを移行計画と代替プラットフォームの評価に移す必要があります。過去の顧客に対する払い戻し、データのエクスポート、および契約の取り決めは、顧客に通知された正式な移行指示に従うものとします。

主な機能

• 評価: Humanloop の Evaluator は、LLM によって生成されたログを判定する関数であり、ブール値、数値、選択、複数選択、テキストなどの結果を返すことができます。開発段階でのオフライン評価と実稼働シナリオでのオンライン監視をサポートします。
• プロンプト管理: プロンプト ファイルには、テンプレート、モデル、パラメータ、および利用可能なツールが保存されます。テンプレート、モデル温度、最大トークン、top_p、またはツールを変更すると、新しいバージョンが生成されます。この構造は、チームがチャット レコードからのプロンプトをバージョン管理可能、呼び出し可能、測定可能なエンジニアリング資産に変換するのに適しています。
• 可観測性とログ: ログは、関数ファイルの各実行の入力、出力、使用されたバージョンおよびメタデータをキャプチャします。外部の実稼働システムは、モニタリングと評価のためにログを Humanloop に報告することもできます。
• データセット: データセットはデータポイントで構成されており、入力、メッセージ、ターゲットを含めることができます。データセットのバージョンは不変であり、評価は特定のデータセット バージョンにバインドされるため、特定の評価でどのテスト ケースが使用されたかを簡単に追跡できます。
• 評価者のソース: 評価者は、コード、AI、および人間の 3 種類の判断ソースをサポートします。コードは、コスト トークン、レイテンシ、正規表現などの特定のルールに適しています。 AI は意味的な品質の判断に適しています。人間は、価値の高いタスクやリスクの高いタスクの標準的なフィードバックに適しています。
• エージェントとツール: 2025 年 5 月の変更ログには、Humanloop がネストされたエージェントをサポートし、環境ごとにファイルをエージェントにリンクし、より複雑な RAG と複数ステップのエージェント ワークフローを構築するためのプロンプト テンプレートでリンクされたツールを呼び出すことが示されています。
• モデルとサプライヤーの統合: 2025 年 5 月に更新された Claude 4 Sonnet/Opus は、AWS Bedrock クロスリージョン推論と Bedrock での DeepSeek R1 サポートをサポートしており、プラットフォームがかつて重要な機能としてマルチモデルおよびマルチベンダー アクセスを備えていたことを示しています。

モデルとバージョンの進化

Humanloop のメインライン ノード

プラットフォームの廃止 (2025 年 9 月 8 日): 公式文書のホームページと 2025 年 8 月の変更ログには、Humanloop プラットフォームが 2025 年 9 月 8 日に廃止されることが明確に記載されています。このノード以降はプラットフォームとデータに永続的にアクセスできなくなるため、最新のステータスは「新機能バージョン」ではなく「サービス終了および移行完了ノード」となります。

Humanloop が Anthropic に参加 (2025-08-13): Humanloop の公式ホームページは、チームが Anthropic に参加したことを発表し、顧客、投資家、サポーターに感謝しています。変更ログには、2025 年 7 月 30 日以降、請求が停止され、年間サブスクリプションの日割り返金は、顧客に連絡するチームによって処理されることも記載されています。

2025 年 5 月の製品アップデート (2025-05): 5 月の変更ログは、RAG にリンクされたテンプレート ツール、Claude 4 のサポート、AWS Bedrock クロスリージョン推論、コード内のプロンプト、より直観的な可観測性、レビュー タブのトレース ログ、ネストされたエージェント、Bedrock 経由の DeepSeek R1 を含む、集中的な製品機能アップデートの最後の検証可能なセットの 1 つです。

Humanloop のドキュメント バージョン

v5.0 のデフォルト ドキュメント: 公式の llms.txt には、Humanloop Docs に v5.0 と v4.0 の 2 つのドキュメント バージョンがあり、v5.0 がデフォルトであることが示されています。 v5 ドキュメントは、プロンプト、データセット、エバリュエーター、ログ、エージェント、ツール、その他のオブジェクトをカバーしており、日没前にヒューマンループの製品抽象化を理解するのに適しています。

v4.0 履歴ドキュメント: v4.0 ドキュメントには古いバージョンの概念と API パスが保持されており、これは過去の顧客を移行する際に古いプロジェクト構造を検証するのに適しています。現在のプラットフォームのステータスは終了しているため、バージョンの調査は、新機能の統合ではなく、移行と互換性の判断に重点を置く必要があります。

技術的な利点

評価オブジェクトの統合: Humanloop は、プロンプト、エージェント、ツール、エバリュエーター、フローを関数ファイル実行システムに統合し、ログは各実行の入力、出力、およびバージョンをキャプチャします。このメカニズムの利点は、評価、監視、再生がすべて同じ種類の実行証拠を中心に行われることです。該当するシナリオは、複数のプロンプトと複数のエージェントを備えたエンタープライズ AI アプリケーションです。

オンライン モニタリングとオフライン評価は同じエバリュエーターを共有します: 同じタイプのエバリュエーターを本番ログのオンライン モニタリングに使用でき、オフライン評価のためにデータセットとともに使用することもできます。機械的には、チームは打ち上げ前のテストと打ち上げ後のモニタリングのために 2 つのまったく異なる判断ロジックを維持する必要はありません。その結果、品質基準を継続的に再利用しやすくなります。

プロンプトとデータセット間のバージョン リンク: プロンプトのテンプレート、モデル、パラメーター、ツールを変更すると新しいバージョンが生成され、データセットのバージョンはデータポイントの内容によって一意に決定されます。機械的には、各評価を特定のプロンプト バージョンとデータセット バージョンまで追跡できます。その結果、モデル置換プロンプト変更とテスト セット調整の間の因果関係がより明確になります。

UI ファーストとコード ファーストが共存: 公式ドキュメントでは、Humanloop が開発者と対象分野の専門家の両方にサービスを提供していると説明されています。機械的には、エンジニアは API/SDK/CLI およびローカル ファイル ワークフローを通じてアクセスでき、プロダクト マネージャーやドメイン エキスパートは UI でプロンプトを作成し、レビューを実行し、フィードバックに参加できます。 AI の品質承認に参加するために非技術的な役割を必要とするチームに適しています。

使い方

使用パス	正式な入口・オブジェ	一般的な手順	現在の状況
迅速な管理	プロンプト ファイル / プロンプト エディター / /v5/prompts/call	プロンプトの作成 -> テンプレート、モデル、パラメーターの構成 -> UI または API を介した呼び出し -> ログの記録 -> ログに基づいてデータセットを構築	プラットフォームには日没があり、歴史的な参照のみに使用できます。
評価ワークフロー	評価者 + データセット + 評価実行	データセットの作成 -> コード/AI/ヒューマン評価者を定義 -> 異なるプロンプト/エージェントバージョンで評価を実行 -> 集計判定	プラットフォームは廃止され、移行と比較の参照のみに使用できます。
生産観察	ログ + モニタリング評価者	外部実行時にログをレポートする -> モニタリング評価者を導入する -> ドリフト、遅延、コストまたは品質の低下を継続的にチェックする	プラットホームは日没
移行エクスポート	移行ガイド	日没前にデータをエクスポートします。プラットフォームとデータは 2025 年 9 月 8 日以降アクセスできなくなります。現在、移行期間は過ぎています

実装の境界: Humanloop のプロダクト メソッドを研究している場合、最小パスは Prompt、Log、Dataset、Evaluator の 4 つのオブジェクトからそのフィードバック コンテキストを理解することです。過去の顧客の移行の場合、エクスポート ファイル API 互換のプロンプト テンプレート データセット テスト ケースと評価ルールがコア アセットである必要があります。新しいプロジェクトを選択する場合は、現在も稼働している同様の LLMOps/Evals プラットフォームを選択する必要があります。

製品の価格設定

コスト階層	公開ステータス	説明
個人/小規模チーム	未公開の新規購入価格	現在のページには新規購入に利用できる公開パッケージはなく、プラットフォームは 2025 年 9 月 8 日の日没に閉鎖されました。
開発者/API	現在の公開ページでは過去の価格が完全には保持されていません。 API/SDK の機能はドキュメントで確認できますが、課金は 2025 年 7 月 30 日以降停止されています。
エンタープライズ/コンプライアンス	契約と返金は、顧客への公式コミュニケーションの対象となります	日没日以降に年間サブスクリプションをお持ちのお客様には、日割り計算による返金について Humanloop チームからご連絡いたします。

価格判断: Humanloop の現在のビジネス状況は、「月額サブスクリプションの SaaS」ではなく、「Anthropic への参加後の独自プラットフォームの終了」です。したがって、過去の価格ページは購入可能な価格リストとして使用しないでください。新しいプロジェクトでは、コスト分析を代替プラットフォームのサブスクリプション、モデルの通話料金、データ移行料金、評価者の書き換え、プロンプト バージョンの移行、および再構築コストの監視に移行する必要があります。

アプリケーションのシナリオ

• 迅速なバージョン管理: モデル、テンプレート、パラメーター、ツールのさまざまな組み合わせを比較する必要があるチームに適しています。 Humanloop のプロンプト ファイルは設定をクエリ時のデータから分離し、同じタスクの異なるバージョンを評価プロセスに入れることができます。
• LLM 品質評価: AI アプリケーションのテスト ケースのライブラリとしてデータセットを使用するチームに適しています。データポイントの入力、メッセージ、ターゲットは、実際の障害サンプル、境界サンプル、および回帰テストをサポートする標準的な回答を受け入れることができます。
• 運用の可観測性と監視: すでに AI 機能を立ち上げているチームに適しています。ログ、モニタリング エバリュエーター、トレース構造により、チームは品質のドリフト、遅延、コスト、ツール呼び出し、出力のコンプライアンスを継続的に観察できます。
• 役割を超えた共同開発: プロダクト マネージャー、エンジニア、ドメインの専門家が共同で品質基準を定義するチームに適しています。人間の評価者と UI ファーストのワークフローにより、技術者以外の専門家も評価に参加できる一方、コードファーストのパスによりエンジニアリングの自動化が維持されます。
• エージェント/RAG ワークフロー実験: リンクされたテンプレート ツールとネストされたエージェントに関する 2025 年 5 月の更新手順。 Humanloop は、プロンプト、ツール、エージェントの組み合わせたオーケストレーションをサポートでき、歴史研究における複雑なエージェント ワークフローの製品設計に適しています。

該当する人

• AI 製品チーム: 迅速な反復、評価、オンライン モニタリングを同じフィードバック チェーンに配置する必要があります。前提条件は、実際のユーザーのタスク、失敗サンプル、定義可能な品質基準があることです。
• LLMOps/プラットフォーム エンジニアリング チーム: 複数の事業分野のログ、データセット、評価者、および API アクセスを均一に管理する必要があります。このグループは、バージョン追跡、一貫性の監視、および移行コストに重点を置いています。
• ドメイン エキスパートおよびプロダクト マネージャー: 迅速な品質承認、手動評価、テスト セットのメンテナンスに参加する必要がありますが、コードを直接変更したくない。 Humanloop の UI ファーストのデザインは、この種のコラボレーション シナリオに役立ちます。
• 歴史的な顧客および移行リーダー: 古い資産をまだ運用中のプラットフォームまたは内部システムに移行するには、Humanloop のファイル、バージョン、ログ、データセット、および評価者の抽象化を理解する必要があります。

不適切な境界: Humanloop は現在、新しい制作プロジェクトに直接採用するのには適していません。 1 回限りの Prompt デモのみを実行し、テスト セットやオンライン モニタリング要件を持たないチームは、その完全な方法論から十分なメリットを得るのは困難です。コンプライアンス、監査、データの長期保存に関与する組織は、契約上の SLA とサポートを引き続き提供する代替手段を優先する必要があります。

概要と展望

Humanloop の歴史的価値は、LLM アプリケーション開発を「即時デバッグ」から「評価駆動開発 + 共同開発 + 本番の可観測性」へと早期に進化させたことにあります。そのオブジェクト モデルは明確です。プロンプトは構成を管理し、ログは実行証拠を管理し、データセットはテスト ケースを管理し、評価者は品質判断を管理し、評価/監視はリリース前後の品質管理を管理します。この構造は、同様の LLMOps や AI ガバナンス プラットフォームから学ぶ価値があります。

現在の制限と不確実性も非常に明確です。プラットフォームは 2025 年 9 月 8 日に廃止され、課金は 2025 年 7 月 30 日以降に停止され、プラットフォームとデータは 2025 年 9 月 8 日以降アクセスできなくなります。公開ページには実行可能な新しい購入価格はありません。過去の顧客データ、返金、移行の詳細は、公式の移行期間と顧客とのコミュニケーションによって異なります。チームがAnthropicに参加した後、オリジナルのHumanloop製品ラインが新しい形でAnthropicに参入するかどうか、製品システムは公開されていません。

実装に関する提案は、Humanloop を新しい調達オブジェクトではなく、方法論および移行オブジェクトとして扱うことです。これまでの顧客は、プロンプト ファイル、データセットのバージョン、評価ルール、ログ、API コール パスと権限モデルのエクスポートを行う必要があります。新しい選考チームは、ヒューマンループのクローズド構造を受け入れフレームワークとして使用して、候補プラットフォームがバージョン管理されたプロンプト、再現可能な評価、オンラインモニタリング、手動フィードバック API/SDK アクセス、エンタープライズセキュリティ条件をサポートしているかどうかを比較できます。

バージョン情報

• ヒューマンループプラットフォームの夕日 ：公式ドキュメントと 2025 年 8 月の変更ログには、チームが Anthropic に参加した後、Humanloop プラットフォームが 2025 年 9 月 8 日に廃止されたことが示されています。この日以降、プラットフォームとデータは永久にアクセスできなくなります。 （2025-09-08）
• ヒューマンループが人類移行に参加 ：Humanloop の公式発表では、チームが Anthropic に参加したことが発表され、プラットフォームは移行と終焉の段階に入ったと述べられています。 2025 年 7 月 30 日以降、請求は停止されました。 （2025-08-13）
• 2025 年 5 月の製品アップデート ：2025 年 5 月の変更ログでは、RAG リンクされたテンプレート ツール、Claude 4 のサポート、AWS Bedrock クロスリージョン推論、コード内のプロンプト、ネストされたエージェント、およびオブザーバビリティの更新を発表します。 （2025-05-22）
• ヒューマンループ v5 ドキュメント ：公式ドキュメントのインデックスは、v5.0 がデフォルトのドキュメント バージョンであることを示していますが、正式な正確なリリース日はありません。 v5 ドキュメントでは、評価、プロンプト管理、可観測性、エージェント、ツール、データセット、API がカバーされています。 （~2025-08）