@codesoul-co/hypha-testing / evaluation

• 包索引: @codesoul-co/hypha-testing
• 源码: packages/testing/src/evaluation.ts
• 导出数: 15

模块用法

用于使用该功能边界的公共契约与操作。Evaluation 模块公开 3 类、1 函数、10 接口、1 类型。

从包入口导入

import {
  DeterministicEvaluator,
  OutputContractValidator,
  TraceCompletenessEvaluator,
  validateJsonSchemaValue,
} from '@codesoul-co/hypha-testing';

import type {
  DeterministicEvaluationInput,
  DeterministicEvaluatorOptions,
  EvaluationCheckResult,
  EvaluationEventContext,
  EvaluationResult,
  EvaluationSummary,
  JsonSchemaValidationIssue,
  OutputContractValidationInput,
} from '@codesoul-co/hypha-testing';

// 完整导出列表见下方。

使用要点

• 11 个类型/接口用于应用代码、Adapter 或测试中的静态契约；请使用 import type，运行时不应依赖它们。
• 3 个类提供可实例化的运行时实现；构造参数与公开方法在各自条目中完整列出。
• 1 个函数是该模块的直接操作入口；每个 overload 的必需/可选参数与返回类型均在下方列出。

公共导出

Symbol	种类	签名	说明
DeterministicEvaluator	类	new DeterministicEvaluator(options?: DeterministicEvaluatorOptions): DeterministicEvaluator	Deterministic Evaluator 类，共公开 3 个构造函数或成员；精确签名见本条目的声明与成员表。
OutputContractValidator	类	new OutputContractValidator(options?: { now?: () => string; }): OutputContractValidator	Output Contract Validator 类，共公开 2 个构造函数或成员；精确签名见本条目的声明与成员表。
TraceCompletenessEvaluator	类	new TraceCompletenessEvaluator(options?: TraceCompletenessEvaluatorOptions): TraceCompletenessEvaluator	Trace Completeness Evaluator 类，共公开 2 个构造函数或成员；精确签名见本条目的声明与成员表。
validateJsonSchemaValue	函数	validateJsonSchemaValue(value: unknown, schema: JsonSchema, path?: string): JsonSchemaValidationIssue[]	Validate JSON Schema Value 函数，提供 1 个公开调用签名；参数与返回类型见下表。
DeterministicEvaluationInput	接口	interface DeterministicEvaluationInput	Deterministic Evaluation Input 接口，共包含 7 个公开字段或方法。
DeterministicEvaluatorOptions	接口	interface DeterministicEvaluatorOptions	Deterministic Evaluator Options 接口，共包含 9 个公开字段或方法。
EvaluationCheckResult	接口	interface EvaluationCheckResult	Evaluation Check Result 接口，共包含 7 个公开字段或方法。
EvaluationEventContext	接口	interface EvaluationEventContext	Evaluation Event Context 接口，共包含 5 个公开字段或方法。
EvaluationResult	接口	interface EvaluationResult	Evaluation Result 接口，共包含 10 个公开字段或方法。
EvaluationSummary	接口	interface EvaluationSummary	Evaluation Summary 接口，共包含 7 个公开字段或方法。
JsonSchemaValidationIssue	接口	interface JsonSchemaValidationIssue	JSON Schema Validation Issue 接口，共包含 4 个公开字段或方法。
OutputContractValidationInput	接口	interface OutputContractValidationInput	Output Contract Validation Input 接口，共包含 5 个公开字段或方法。
TraceCompletenessEvaluatorOptions	接口	interface TraceCompletenessEvaluatorOptions	Trace Completeness Evaluator Options 接口，共包含 3 个公开字段或方法。
TraceCompletenessInput	接口	interface TraceCompletenessInput	Trace Completeness Input 接口，共包含 6 个公开字段或方法。
EvaluationStatus	类型	type EvaluationStatus = 'passed' | 'failed'	Evaluation Status 公共类型别名；完整类型表达式见声明。

DeterministicEvaluator

Deterministic Evaluator 类，共公开 3 个构造函数或成员；精确签名见本条目的声明与成员表。

• 种类: 类
• 导入: import { DeterministicEvaluator } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export declare class DeterministicEvaluator {
    constructor(options?: DeterministicEvaluatorOptions);
    evaluate(input: DeterministicEvaluationInput): EvaluationSummary;
    evaluateAndRecord(input: DeterministicEvaluationInput): Promise<EvaluationSummary>;
}

公开成员

成员	种类	签名	说明
constructor	构造函数	(options?: DeterministicEvaluatorOptions): DeterministicEvaluator	创建该类的实例。
evaluate	方法	evaluate(input: DeterministicEvaluationInput): EvaluationSummary	公开方法；参数与返回类型以签名列为准。
evaluateAndRecord	方法	evaluateAndRecord(input: DeterministicEvaluationInput): Promise<EvaluationSummary>	公开方法；参数与返回类型以签名列为准。

OutputContractValidator

Output Contract Validator 类，共公开 2 个构造函数或成员；精确签名见本条目的声明与成员表。

• 种类: 类
• 导入: import { OutputContractValidator } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export declare class OutputContractValidator {
    constructor(options?: {
            now?: () => string;
        });
    validate(input: OutputContractValidationInput): EvaluationResult;
}

公开成员

成员	种类	签名	说明
constructor	构造函数	(options?: { now?: () => string; }): OutputContractValidator	创建该类的实例。
validate	方法	validate(input: OutputContractValidationInput): EvaluationResult	公开方法；参数与返回类型以签名列为准。

TraceCompletenessEvaluator

Trace Completeness Evaluator 类，共公开 2 个构造函数或成员；精确签名见本条目的声明与成员表。

• 种类: 类
• 导入: import { TraceCompletenessEvaluator } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export declare class TraceCompletenessEvaluator {
    constructor(options?: TraceCompletenessEvaluatorOptions);
    evaluate(input: TraceCompletenessInput): EvaluationResult;
}

公开成员

成员	种类	签名	说明
constructor	构造函数	(options?: TraceCompletenessEvaluatorOptions): TraceCompletenessEvaluator	创建该类的实例。
evaluate	方法	evaluate(input: TraceCompletenessInput): EvaluationResult	公开方法；参数与返回类型以签名列为准。

validateJsonSchemaValue

Validate JSON Schema Value 函数，提供 1 个公开调用签名；参数与返回类型见下表。

• 种类: 函数
• 导入: import { validateJsonSchemaValue } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export declare function validateJsonSchemaValue(value: unknown, schema: JsonSchema, path?: string): JsonSchemaValidationIssue[];

调用签名

validateJsonSchemaValue(value: unknown, schema: JsonSchema, path?: string): JsonSchemaValidationIssue[]

参数

参数	类型	必需	说明
value	unknown	是	必需参数；接受的值由类型列定义。
schema	JsonSchema	是	必需参数；接受的值由类型列定义。
path	string	否	可选参数；接受的值由类型列定义。

返回值

• 类型: JsonSchemaValidationIssue[]
• 说明: 返回值契约由上述类型定义。

DeterministicEvaluationInput

Deterministic Evaluation Input 接口，共包含 7 个公开字段或方法。

• 种类: 接口
• 导入: import type { DeterministicEvaluationInput } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface DeterministicEvaluationInput {
    runId?: string;
    events?: FrameworkEvent[];
    output?: unknown;
    outputContracts?: OutputContractSpec[];
    traceSpecs?: TraceSpec[];
    evaluationSpecs?: EvaluationSpec[];
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
evaluationSpecs	属性	evaluationSpecs?: EvaluationSpec[]	公开属性；类型、只读和可选状态以签名列为准。
events	属性	events?: FrameworkEvent<unknown>[]	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
output	属性	output?: unknown	公开属性；类型、只读和可选状态以签名列为准。
outputContracts	属性	outputContracts?: OutputContractSpec[]	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId?: string	公开属性；类型、只读和可选状态以签名列为准。
traceSpecs	属性	traceSpecs?: TraceSpec[]	公开属性；类型、只读和可选状态以签名列为准。

DeterministicEvaluatorOptions

Deterministic Evaluator Options 接口，共包含 9 个公开字段或方法。

• 种类: 接口
• 导入: import type { DeterministicEvaluatorOptions } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface DeterministicEvaluatorOptions {
    now?: () => string;
    outputValidator?: OutputContractValidator;
    traceEvaluator?: TraceCompletenessEvaluator;
    trace?: TraceRecorder;
    eventRunId?: string;
    sessionId?: string;
    workspaceId?: string;
    agentId?: string;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
agentId	属性	agentId?: string	公开属性；类型、只读和可选状态以签名列为准。
eventRunId	属性	eventRunId?: string	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
now	方法	now?(): string	公开方法；参数与返回类型以签名列为准。
outputValidator	属性	outputValidator?: OutputContractValidator	公开属性；类型、只读和可选状态以签名列为准。
sessionId	属性	sessionId?: string	公开属性；类型、只读和可选状态以签名列为准。
trace	属性	trace?: TraceRecorder	公开属性；类型、只读和可选状态以签名列为准。
traceEvaluator	属性	traceEvaluator?: TraceCompletenessEvaluator	公开属性；类型、只读和可选状态以签名列为准。
workspaceId	属性	workspaceId?: string	公开属性；类型、只读和可选状态以签名列为准。

EvaluationCheckResult

Evaluation Check Result 接口，共包含 7 个公开字段或方法。

• 种类: 接口
• 导入: import type { EvaluationCheckResult } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface EvaluationCheckResult {
    id: string;
    status: EvaluationStatus;
    message: string;
    path?: string;
    expected?: unknown;
    actual?: unknown;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
actual	属性	actual?: unknown	公开属性；类型、只读和可选状态以签名列为准。
expected	属性	expected?: unknown	公开属性；类型、只读和可选状态以签名列为准。
id	属性	id: string	公开属性；类型、只读和可选状态以签名列为准。
message	属性	message: string	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
path	属性	path?: string	公开属性；类型、只读和可选状态以签名列为准。
status	属性	status: EvaluationStatus	公开属性；类型、只读和可选状态以签名列为准。

EvaluationEventContext

Evaluation Event Context 接口，共包含 5 个公开字段或方法。

• 种类: 接口
• 导入: import type { EvaluationEventContext } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface EvaluationEventContext {
    runId: string;
    sessionId?: string;
    workspaceId?: string;
    agentId?: string;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
agentId	属性	agentId?: string	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId: string	公开属性；类型、只读和可选状态以签名列为准。
sessionId	属性	sessionId?: string	公开属性；类型、只读和可选状态以签名列为准。
workspaceId	属性	workspaceId?: string	公开属性；类型、只读和可选状态以签名列为准。

EvaluationResult

Evaluation Result 接口，共包含 10 个公开字段或方法。

• 种类: 接口
• 导入: import type { EvaluationResult } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface EvaluationResult {
    id: string;
    evaluatorId: string;
    type: string;
    status: EvaluationStatus;
    score: number;
    checks: EvaluationCheckResult[];
    runId?: string;
    startedAt: string;
    completedAt: string;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
checks	属性	checks: EvaluationCheckResult[]	公开属性；类型、只读和可选状态以签名列为准。
completedAt	属性	completedAt: string	公开属性；类型、只读和可选状态以签名列为准。
evaluatorId	属性	evaluatorId: string	公开属性；类型、只读和可选状态以签名列为准。
id	属性	id: string	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId?: string	公开属性；类型、只读和可选状态以签名列为准。
score	属性	score: number	公开属性；类型、只读和可选状态以签名列为准。
startedAt	属性	startedAt: string	公开属性；类型、只读和可选状态以签名列为准。
status	属性	status: EvaluationStatus	公开属性；类型、只读和可选状态以签名列为准。
type	属性	type: string	公开属性；类型、只读和可选状态以签名列为准。

EvaluationSummary

Evaluation Summary 接口，共包含 7 个公开字段或方法。

• 种类: 接口
• 导入: import type { EvaluationSummary } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface EvaluationSummary {
    id: string;
    status: EvaluationStatus;
    score: number;
    results: EvaluationResult[];
    runId?: string;
    startedAt: string;
    completedAt: string;
}

契约成员

成员	种类	签名	说明
completedAt	属性	completedAt: string	公开属性；类型、只读和可选状态以签名列为准。
id	属性	id: string	公开属性；类型、只读和可选状态以签名列为准。
results	属性	results: EvaluationResult[]	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId?: string	公开属性；类型、只读和可选状态以签名列为准。
score	属性	score: number	公开属性；类型、只读和可选状态以签名列为准。
startedAt	属性	startedAt: string	公开属性；类型、只读和可选状态以签名列为准。
status	属性	status: EvaluationStatus	公开属性；类型、只读和可选状态以签名列为准。

JsonSchemaValidationIssue

JSON Schema Validation Issue 接口，共包含 4 个公开字段或方法。

• 种类: 接口
• 导入: import type { JsonSchemaValidationIssue } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface JsonSchemaValidationIssue {
    path: string;
    message: string;
    expected?: unknown;
    actual?: unknown;
}

契约成员

成员	种类	签名	说明
actual	属性	actual?: unknown	公开属性；类型、只读和可选状态以签名列为准。
expected	属性	expected?: unknown	公开属性；类型、只读和可选状态以签名列为准。
message	属性	message: string	公开属性；类型、只读和可选状态以签名列为准。
path	属性	path: string	公开属性；类型、只读和可选状态以签名列为准。

OutputContractValidationInput

Output Contract Validation Input 接口，共包含 5 个公开字段或方法。

• 种类: 接口
• 导入: import type { OutputContractValidationInput } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface OutputContractValidationInput {
    contract: OutputContractSpec;
    output: unknown;
    runId?: string;
    evaluationId?: string;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
contract	属性	contract: OutputContractSpec	公开属性；类型、只读和可选状态以签名列为准。
evaluationId	属性	evaluationId?: string	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
output	属性	output: unknown	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId?: string	公开属性；类型、只读和可选状态以签名列为准。

TraceCompletenessEvaluatorOptions

Trace Completeness Evaluator Options 接口，共包含 3 个公开字段或方法。

• 种类: 接口
• 导入: import type { TraceCompletenessEvaluatorOptions } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface TraceCompletenessEvaluatorOptions {
    now?: () => string;
    enforceLifecyclePairs?: boolean;
    requireTerminalRun?: boolean;
}

契约成员

成员	种类	签名	说明
enforceLifecyclePairs	属性	enforceLifecyclePairs?: boolean	公开属性；类型、只读和可选状态以签名列为准。
now	方法	now?(): string	公开方法；参数与返回类型以签名列为准。
requireTerminalRun	属性	requireTerminalRun?: boolean	公开属性；类型、只读和可选状态以签名列为准。

TraceCompletenessInput

Trace Completeness Input 接口，共包含 6 个公开字段或方法。

• 种类: 接口
• 导入: import type { TraceCompletenessInput } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export interface TraceCompletenessInput {
    events: FrameworkEvent[];
    traceSpec?: TraceSpec;
    runId?: string;
    requiredEventTypes?: string[];
    evaluationId?: string;
    metadata?: Record<string, unknown>;
}

契约成员

成员	种类	签名	说明
evaluationId	属性	evaluationId?: string	公开属性；类型、只读和可选状态以签名列为准。
events	属性	events: FrameworkEvent<unknown>[]	公开属性；类型、只读和可选状态以签名列为准。
metadata	属性	metadata?: Record<string, unknown>	公开属性；类型、只读和可选状态以签名列为准。
requiredEventTypes	属性	requiredEventTypes?: string[]	公开属性；类型、只读和可选状态以签名列为准。
runId	属性	runId?: string	公开属性；类型、只读和可选状态以签名列为准。
traceSpec	属性	traceSpec?: TraceSpec	公开属性；类型、只读和可选状态以签名列为准。

EvaluationStatus

Evaluation Status 公共类型别名；完整类型表达式见声明。

• 种类: 类型
• 导入: import type { EvaluationStatus } from '@codesoul-co/hypha-testing';
• 源码模块: evaluation

声明

export type EvaluationStatus = 'passed' | 'failed';