Humanloop는 평가, 프롬프트 관리, 관찰 가능성, 데이터 세트, 로그, 평가자, 에이전트 및 API 워크플로를 다루는 제품, 엔지니어링 및 도메인 전문가 협업을 위한 LLMOps 플랫폼입니다. 공식 문서에 따르면 Humanloop 플랫폼은 2025-09-08에 종료되며 과거 제품 연구, 마이그레이션 평가 및 유사한 플랫폼 선택 비교에 적합합니다.

휴먼루프

핵심 매개변수 및 통계

프로젝트	공공정보
제품 포지셔닝	평가, 신속한 관리, 관찰 가능성을 다루는 엔터프라이즈 수준 LLM 평가 플랫폼
공식입장	https://humanloop.com/
서류접수	https://humanloop.com/docs/
기본 문서 버전	v5.0
주요 기능	평가자, 데이터 세트, 로그, 프롬프트, 에이전트, 도구, 흐름, API/SDK, 모니터링
API 샘플 도메인 이름	https://api.humanloop.com/v5
플랫폼 현황	2025-09-08 일몰
결제상태	공식 변경 로그에는 2025-07-30 이후 청구가 중단된 것으로 표시됩니다
팀현황	Humanloop 팀이 Anthropic
지원양식	웹 콘솔 API, Python/TypeScript SDK 및 문서화된 작업 흐름

제품 경계: 휴먼루프는 기본 모델 제공자도 아니고 범용 챗봇도 아닙니다. 핵심 위치는 LLM 애플리케이션 개발 및 거버넌스 계층에 있으며 팀이 프롬프트 파일, 데이터 세트, 로그, 평가자, 온라인 모니터링 및 협업 프로세스를 관리하도록 돕습니다. 플랫폼이 종료되었기 때문에 현재 신규 프로젝트의 직접 조달 대상으로는 적합하지 않습니다. LLMOps 제품 형태 연구, 레거시 마이그레이션 참조 및 유사한 솔루션 비교에 더 적합합니다.

상태 의미: 휴먼루프의 공식 홈페이지와 문서 모두 현재 사실 상태를 'Join Anthropic'과 '플랫폼 일몰'로 명시하고 있습니다. 기존 고객의 경우 주요 문제는 데이터 내보내기 및 마이그레이션입니다. 새로운 선정 팀의 핵심 가치는 한때 평가 중심 개발과 협업 개발을 하나의 플랫폼으로 결합한 제품 구조를 이해하는 것입니다.

사용자 및 시장 인지도

엔터프라이즈 수준 포지셔닝: 공식 웹사이트 메타 정보에서는 Humanloop를 "기업용 LLM 평가 플랫폼"으로 설명하고, 문서 홈페이지에서는 제품 팀이 Humanloop를 사용하여 강력한 AI 기능을 구축하고 평가, 프롬프트 관리를 통해 관찰 가능성과 협력할 수 있음을 강조합니다. 이 포지셔닝은 단일 프롬프트 실험이 아니라 버전, 테스트, 모니터링 및 팀 협업 요구 사항을 갖춘 엔터프라이즈 AI 기능을 제공한다는 것을 보여줍니다.

고객 및 생태학적 신호: 공식 웹사이트의 사례 연구 페이지에는 고객 사례 입구가 공개적으로 표시되며, 페이지 콘텐츠에서 Gusto와 같은 고객 이름을 확인할 수 있습니다. YC 회사 페이지에서는 Humanloop를 W20 회사로 분류하고 LLM 응용 프로그램 개발을 위한 도구 포지셔닝을 기록합니다. 또한 Humanloop은 GitHub, X, LinkedIn, Trust Center 및 Media Kit 포털을 공개적으로 보유하고 있어 한때 개발자와 기업을 위한 이중 채널로 운영되었음을 나타냅니다.

시장 경계: Humanloop는 공식적으로 검증 가능한 총 활성 고객 ARR, 갱신율, 사용자 수 또는 업계별로 분류된 채택 규모를 공개하지 않습니다. 고객 로고, 케이스, 투자자 정보는 기업과 자본시장에서 주목을 받았다는 사실만을 나타낼 뿐, 사업 규모를 가늠할 수는 없습니다.

비용 이점

C측/개인 개발자: 휴먼루프의 역사적 제품은 일반적인 개인 소비 도구가 아닙니다. 이 문서에서는 엔지니어와 제품 관리자를 위한 두 가지 유형의 입구를 강조합니다. API, 프롬프트 파일 데이터 세트, 평가자 및 로그는 기존 LLM 애플리케이션의 개발 프로세스에 더 적합합니다. 플랫폼이 종료되면 개인이나 소규모 팀은 더 이상 이를 일반 SaaS로 구매하여 사용할 수 없습니다. 과거 가격과 무료 할당량은 공식 아카이브 및 계약의 적용을 받습니다.

개발자/API 팀: 비용 이점은 주로 "프롬프트는 문서에 저장되고, 평가는 테이블에 저장되며, 온라인 로그는 모니터링 시스템에 저장됩니다"의 전환 손실을 줄이는 것에서 비롯됩니다. 프롬프트는 API를 통해 호출할 수 있고, 로그는 각 함수 파일 실행의 입력, 출력, 버전 및 메타데이터를 기록하며, 데이터 세트는 로그에서 평가 사례로 침전될 수 있습니다. 이 조합은 위치 회귀, 재발 실험 및 역할 간 통신의 숨겨진 비용을 줄여줍니다.

기업/거버넌스 시나리오: Humanloop의 공개 페이지는 한때 규정 준수 및 보안, Trust Center, SOC 2 및 HIPAA 로고 항목을 강조했지만 기업 계약 가격 SLA, 데이터 보존, 민영화 및 보안 조건은 현재 공개 페이지에 완전히 공개되지 않습니다. 플랫폼이 종료된 후에는 조달 조치가 마이그레이션 계획 및 대체 플랫폼 평가로 전환되어야 합니다. 과거 고객에 대한 환불, 데이터 내보내기 및 계약 준비는 고객과 전달된 공식 마이그레이션 지침을 따릅니다.

주요 기능

• 평가: 휴먼루프의 Evaluator는 LLM에서 생성된 Log를 판단하는 기능으로 불리언, 숫자, 선택, 다중 선택, 텍스트 등의 결과를 반환할 수 있습니다. 개발 단계에서는 오프라인 평가를 지원하고 프로덕션 시나리오에서는 온라인 모니터링을 지원합니다.
• 프롬프트 관리: 프롬프트 파일은 템플릿, 모델, 매개변수 및 사용 가능한 도구를 저장합니다. 템플릿, 모델 온도, 최대 토큰, top_p 또는 도구를 변경하면 새 버전이 생성됩니다. 이 구조는 팀이 채팅 기록의 프롬프트를 버전 관리, 호출 및 측정 가능한 엔지니어링 자산으로 전환하는 데 적합합니다.
• 관찰 가능성 및 로그: ​​로그는 각 함수 파일 실행의 입력, 출력, 사용된 버전 및 메타데이터를 캡처합니다. 외부 생산 시스템은 모니터링 및 평가를 위해 로그를 Humanloop에 보고할 수도 있습니다.
• 데이터세트: 데이터세트는 입력, 메시지 및 대상을 포함할 수 있는 데이터포인트로 구성됩니다. 데이터 세트 버전은 변경할 수 없으며 평가는 특정 데이터 세트 버전에 바인딩되므로 특정 평가에 사용된 테스트 사례 세트를 쉽게 추적할 수 있습니다.
• 평가자 소스: 평가자는 코드, AI, 인간의 세 가지 유형의 판단 소스를 지원합니다. 코드는 비용 토큰, 대기 시간 및 정규 표현식과 같은 특정 규칙에 적합합니다. AI는 의미론적 품질 판단에 적합합니다. 휴먼은 고가치 또는 고위험 작업에 대한 최적의 피드백에 적합합니다.
• 에이전트 및 도구: 2025년 5월 변경 로그에 따르면 Humanloop는 중첩된 에이전트를 지원하고, 환경별로 파일을 에이전트에 연결하고, 더 복잡한 RAG 및 다단계 에이전트 워크플로를 구축하기 위해 프롬프트 템플릿에서 연결된 도구를 호출합니다.
• 모델 및 공급업체 통합: 2025년 5월 업데이트된 Claude 4 Sonnet/Opus는 Bedrock에서 AWS Bedrock 지역 간 추론 및 DeepSeek R1 지원을 지원합니다. 이는 플랫폼이 한때 다중 모델 및 다중 공급업체 액세스를 중요한 기능으로 가졌음을 나타냅니다.

모델 및 버전의 진화

휴먼루프의 메인라인 노드

플랫폼 일몰(2025-09-08): 공식 문서 홈페이지와 2025년 8월 변경 로그에는 휴먼루프 플랫폼이 2025-09-08에 일몰된다고 명시되어 있습니다. 이 노드 이후에는 플랫폼과 데이터에 영구적으로 접근할 수 없으므로 최신 상태는 '신규 기능 버전'이 아닌 '서비스 종료 및 마이그레이션 완료 노드'입니다.

휴먼루프가 앤트로픽에 합류합니다(2025-08-13): 휴먼루프 공식 홈페이지에서는 팀이 앤트로픽에 합류했음을 알리고 고객, 투자자, 지지자들에게 감사 인사를 전합니다. 또한 변경 로그에는 2025년 7월 30일부터 청구가 중단되었으며 연간 구독에 대한 비례 배분 환불은 고객에게 연락하는 팀에서 처리할 것이라고 명시되어 있습니다.

2025년 5월 제품 업데이트(2025-05): 5월 변경 로그는 RAG 링크된 템플릿 도구, Claude 4 지원, AWS Bedrock 지역 간 추론, 코드 프롬프트, 보다 직관적인 관찰 가능성, 검토 탭의 추적 로그, 중첩된 에이전트 및 Bedrock을 통한 DeepSeek R1을 포함하여 마지막으로 검증 가능한 집중 제품 기능 업데이트 세트 중 하나입니다.

Humanloop의 문서 버전

v5.0 기본 문서: 공식 llms.txt에는 Humanloop Docs에 v5.0과 v4.0의 두 가지 문서 버전이 있으며 v5.0이 기본 문서 버전임을 보여줍니다. v5 문서는 Prompt, Dataset, Evaluator, Log, Agent, Tool 및 기타 개체를 다루고 있으며 이는 일몰 전 Humanloop의 제품 추상화를 이해하는 데 적합합니다.

v4.0 기록 문서: v4.0 문서는 이전 버전의 개념과 API 경로를 유지하므로, 이전 고객을 마이그레이션할 때 이전 프로젝트 구조를 확인하는 데 적합합니다. 현재 플랫폼 상태는 종료되었기 때문에 버전 연구는 새로운 기능 통합보다는 마이그레이션과 호환성 판단에 중점을 두어야 합니다.

기술적인 장점

평가 개체 통합: Humanloop는 Prompt, Agent, Tool, Evaluator 및 Flow를 Function File 실행 시스템에 통합하고 Logs는 각 실행의 입력, 출력 및 버전을 캡처합니다. 이 메커니즘의 장점은 평가, 모니터링 및 재생이 모두 동일한 유형의 실행 증거를 중심으로 이루어진다는 것입니다. 적용 가능한 시나리오는 여러 프롬프트와 여러 에이전트가 있는 엔터프라이즈 AI 애플리케이션입니다.

온라인 모니터링과 오프라인 평가는 동일한 평가기를 공유합니다: 생산 로그의 온라인 모니터링에는 동일한 유형의 평가기를 사용할 수 있으며, 오프라인 평가를 위해 데이터세트와 함께 사용할 수도 있습니다. 기계적으로 팀은 출시 전 테스트와 출시 후 모니터링을 위해 완전히 다른 두 가지 판단 논리 세트를 유지할 필요가 없습니다. 그 결과 품질 표준을 지속적으로 재사용하기가 더 쉬워졌습니다.

프롬프트와 데이터세트 간의 버전 링크: 프롬프트 템플릿, 모델, 매개변수 및 도구가 변경되면 새 버전이 생성되며 데이터세트 버전은 데이터포인트의 콘텐츠에 따라 고유하게 결정됩니다. 기계적으로 각 평가는 특정 프롬프트 버전과 데이터 세트 버전으로 추적될 수 있습니다. 그 효과는 모델 교체 프롬프트 수정과 테스트 세트 조정 사이의 인과 관계가 더 명확해진다는 것입니다.

UI 우선과 코드 우선의 공존: 공식 문서에서는 Humanloop가 개발자와 주제 전문가 모두에게 서비스를 제공한다고 설명합니다. 기계적으로 엔지니어는 API/SDK/CLI 및 로컬 파일 워크플로를 통해 액세스할 수 있으며, 제품 관리자 또는 도메인 전문가는 UI에서 프롬프트를 생성하고, 검토를 실행하고, 피드백에 참여할 수 있습니다. AI 품질 수용에 참여하기 위해 비기술적 역할이 필요한 팀에 적합합니다.

사용방법

사용경로	공식입장/물건	일반적인 단계	현황
신속한 관리	프롬프트 파일 / 프롬프트 편집기 / /v5/prompts/call	프롬프트 생성 -> 템플릿, 모델 및 매개변수 구성 -> UI 또는 API를 통해 호출 -> 로그 기록 -> 로그를 기반으로 데이터 세트 구축	플랫폼이 종료되었으며 기록 참조용으로만 사용할 수 있습니다
평가 워크플로우	평가자 + 데이터 세트 + 평가 실행	데이터 세트 생성 -> 코드/AI/인간 평가자 정의 -> 다양한 프롬프트/에이전트 버전에 대한 평가 실행 -> 종합 판단	플랫폼이 종료되었으며 마이그레이션 및 비교 참조용으로만 사용할 수 있습니다
생산 관찰	로그 + 모니터링 평가자	외부에서 실행할 때 로그 보고 -> 모니터링 평가자 배포 -> 드리프트, 대기 시간, 비용 또는 품질 저하를 지속적으로 확인	플랫폼이 일몰되었습니다
마이그레이션 내보내기	마이그레이션 가이드	일몰 전에 데이터를 내보냅니다. 2025년 9월 8일 이후에는 플랫폼과 데이터에 액세스할 수 없습니다	현재 마이그레이션 기간이 지났습니다

구현 경계: Humanloop의 제품 방법을 연구하는 경우 최소한의 경로는 Prompt, Log, Dataset 및 Evaluator의 네 가지 개체에서 피드백 컨텍스트를 이해하는 것입니다. 과거 고객 마이그레이션인 경우 내보내기 파일 API 호환 프롬프트 템플릿 데이터 세트 테스트 사례 및 평가자 규칙이 핵심 자산이어야 합니다. 새로운 프로젝트를 선택하는 경우 아직 운영 중인 유사한 LLMOps/Evals 플랫폼을 선택해야 합니다.

제품 가격

비용 계층 구조	공개현황	설명
개인/소규모팀	미공개 신규 구매 가격	현재 페이지에는 신규 구매에 사용할 수 있는 공개 패키지가 없으며 플랫폼은 2025-09-08 일몰
개발자/API	현재 공개 페이지에는 과거 가격이 완전히 유지되지 않습니다	API/SDK 기능은 문서에서 확인할 수 있지만 2025-07-30 이후 청구가 중단되었습니다
기업/규정 준수	계약 및 환불은 공식 고객 커뮤니케이션에 따릅니다	종료일 이후 연간 구독을 보유한 고객에게는 Humanloop 팀에서 비례 배분 환불을 위해 연락합니다

가격 판단: 휴먼루프의 현재 사업현황은 '월정액형 SaaS'가 아닌 '앤트로픽 가입 후 기존 플랫폼 종료'입니다. 따라서 과거 가격 페이지를 구매 가능한 가격표로 사용해서는 안 됩니다. 새로운 프로젝트에서는 비용 분석을 대체 플랫폼 구독, 모델 호출 비용, 데이터 마이그레이션 비용, 평가자 재작성 프롬프트 버전 마이그레이션 및 재구성 비용 모니터링으로 전환해야 합니다.

애플리케이션 시나리오

• 신속한 버전 관리: 모델, 템플릿, 매개변수 및 도구의 다양한 조합을 비교해야 하는 팀에 적합합니다. Humanloop의 프롬프트 파일은 구성을 쿼리 시간 데이터와 분리하여 동일한 작업의 다른 버전이 평가 프로세스에 들어갈 수 있도록 합니다.
• LLM 품질 평가: 데이터세트를 AI 애플리케이션용 테스트 사례 라이브러리로 사용하는 팀에 적합합니다. 데이터 포인트의 입력, 메시지 및 대상은 회귀 테스트를 지원하기 위해 실제 실패 샘플, 경계 샘플 및 표준 답변을 수용할 수 있습니다.
• 생산 관찰 가능성 및 모니터링: 이미 AI 기능을 출시한 팀에 적합합니다. 로그, 모니터링 평가자 및 추적 구조는 팀이 품질 드리프트, 대기 시간, 비용, 도구 호출 및 출력 규정 준수를 지속적으로 관찰하는 데 도움이 됩니다.
• 역할 간 협업 개발: 제품 관리자, 엔지니어 및 도메인 전문가가 공동으로 품질 표준을 정의하는 팀에 적합합니다. 인간 평가자 및 UI 우선 워크플로를 통해 비기술 전문가도 평가에 참여할 수 있으며, 코드 우선 경로는 엔지니어링 자동화를 유지합니다.
• 에이전트/RAG 워크플로 실험: 연결된 템플릿 도구 및 중첩된 에이전트에 대한 2025년 5월 업데이트 지침입니다. Humanloop은 프롬프트, 도구, 에이전트의 결합된 오케스트레이션을 지원할 수 있으며, 이는 역사 연구에서 복잡한 에이전트 워크플로우의 제품 설계에 적합합니다.

해당자

• AI 제품팀: 신속한 반복, 평가, 온라인 모니터링이 동일한 피드백 체인에 배치되어야 합니다. 전제 조건은 실제 사용자 작업, 실패 샘플 및 정의 가능한 품질 표준이 있다는 것입니다.
• LLMOps/플랫폼 엔지니어링 팀: 여러 비즈니스 라인에 대한 로그, 데이터 세트, 평가자 및 API 액세스를 일관되게 관리해야 합니다. 이 그룹은 버전 추적, 일관성 모니터링 및 마이그레이션 비용에 더 관심이 있습니다.
• 도메인 전문가 및 제품 관리자: 신속한 품질 승인, 수동 평가 및 테스트 세트 유지 관리에 참여해야 하지만 코드를 직접 수정하고 싶지는 않습니다. Humanloop의 UI 우선 디자인은 이러한 유형의 협업 시나리오를 제공했습니다.
• 역사적 고객 및 마이그레이션 리더: 기존 자산을 아직 운영 중인 플랫폼이나 내부 시스템으로 마이그레이션하려면 Humanloop의 파일, 버전, 로그, 데이터 세트 및 평가자 추상화를 이해해야 합니다.

부적합한 경계: Humanloop는 현재 새로운 생산 프로젝트에 직접 채택하기에 적합하지 않습니다. 일회성 프롬프트 데모만 수행하고 테스트 세트도 없으며 온라인 모니터링 요구 사항도 없는 팀은 전체 방법론에서 충분한 이점을 얻기가 어려울 것입니다. 규정 준수, 감사 및 장기 데이터 보존과 관련된 조직은 여전히 ​​계약 SLA 및 지원을 제공하는 대안을 우선시해야 합니다.

요약 및 전망

Humanloop의 역사적 가치는 LLM 애플리케이션 개발을 "신속한 디버깅"에서 "평가 중심 개발 + 협업 개발 + 생산 관찰 가능성"으로 조기 발전시킨 데 있습니다. 개체 모델은 명확합니다. Prompt는 구성을 관리하고, Log는 실행 증거를 관리하고, Dataset은 테스트 케이스를 관리하고, Evaluator는 품질 판단을 관리하고, Evaluation/Monitoring은 릴리스 전후의 품질 관리를 관리합니다. 이 구조는 여전히 유사한 LLMOps 및 AI 거버넌스 플랫폼에서 배울 가치가 있습니다.

현재의 한계와 불확실성도 매우 분명합니다. 플랫폼은 2025년 9월 8일에 종료되고, 청구는 2025년 7월 30일 이후에 중단되며, 플랫폼과 데이터는 2025년 9월 8일 이후에 액세스할 수 없습니다. 공개 페이지에는 실행 가능한 신규 구매 가격이 없습니다. 과거 고객 데이터, 환불 및 마이그레이션 세부 정보는 공식 마이그레이션 기간 및 고객 커뮤니케이션에 따라 달라집니다. 팀이 Anthropic에 합류한 후 원래 Humanloop 제품 라인이 새로운 형태로 Anthropic에 들어갈지 여부 제품 시스템은 공개되지 않았습니다.

구현 제안은 Humanloop를 새로운 조달 개체가 아닌 방법론 및 마이그레이션 개체로 취급하는 것입니다. 과거 고객은 프롬프트 파일, 데이터 세트 버전, 평가자 규칙, 로그, 내보내기 API 호출 경로 및 권한 모델의 인벤토리를 작성해야 합니다. 새로운 선정 팀은 Humanloop의 폐쇄형 구조를 수용 프레임워크로 사용하여 후보 플랫폼이 버전이 지정된 프롬프트, 재현 가능한 평가, 온라인 모니터링, 수동 피드백 API/SDK 액세스 및 기업 보안 조건을 지원하는지 비교할 수 있습니다.

버전 정보

• 휴먼루프 플랫폼 일몰 ：공식 문서와 2025년 8월 변경 로그에는 팀이 Anthropic에 합류한 후 2025-09-08에 Humanloop 플랫폼이 종료되는 것으로 나와 있습니다. 이 날짜 이후에는 플랫폼과 데이터에 영구적으로 액세스할 수 없습니다. （2025-09-08）
• Humanloop, 인류적 전환에 합류 ：Humanloop의 공식 발표에서는 팀이 Anthropic에 합류했다고 발표했으며 플랫폼이 마이그레이션 및 일몰 단계에 진입했다고 밝혔습니다. 2025년 7월 30일부터 결제가 중단되었습니다. （2025-08-13）
• 2025년 5월 제품 업데이트 ：2025년 5월 변경 로그에서는 RAG 연결 템플릿 도구, Claude 4 지원, AWS Bedrock 지역 간 추론, 코드 프롬프트, 중첩 에이전트 및 관찰 가능성에 대한 업데이트를 발표합니다. （2025-05-22）
• 휴먼루프 v5 문서 ：공식 문서 색인에 따르면 v5.0이 기본 문서 버전이며 공식적인 정확한 출시 날짜가 없습니다. v5 문서는 평가, 프롬프트 관리, 관찰 가능성, 에이전트, 도구, 데이터 세트 및 API를 다룹니다. （~2025-08）