corpus / species top-1 validation

RCS top-1 候補と query の整合性を DeepSeek 3-pass(Flash×2 + Pro×1)で独立判定した結果です。 high/low confidence や correct/incorrect などの過去分類には依存しません。

概要

総件数
921
corpus 379 / species 542
aligned
475
51.6%
broader_parent
249
27.0%
wrong
118
12.8%
aligned broader_parent partial_or_narrower wrong source_or_ontology_issue ambiguous / no_consensus

ラベル分布

全体 (921)

label件数割合
aligned
同一構造・同義語
47551.6%
broader_parent
正しい上位構造
24927.0%
partial_or_narrower
一部分・狭すぎる
636.8%
wrong
異なる構造
11812.8%
ambiguous
判定困難
30.3%
source_or_ontology_issue
入力/オントロジー問題
10.1%
no_consensus
多数意見なし
121.3%

確実性

certainty件数割合
high78084.7%
medium12914.0%
low121.3%

投票パターン

pattern件数割合
3-080086.9%
2-110911.8%
1-1-1121.3%

corpus (379)

label件数割合
aligned19150.4%
broader_parent11931.4%
partial_or_narrower184.7%
wrong4511.9%
no_consensus61.6%

species (542)

label件数割合
aligned28452.4%
broader_parent13024.0%
partial_or_narrower458.3%
wrong7313.5%
ambiguous30.6%
source_or_ontology_issue10.2%
no_consensus61.1%

3-pass: pass1 Flash(厳格) / pass2 Flash(parent区別) / pass3 Pro(保守的)。 3-0 は全一致、2-1 は多数決、1-1-1no_consensus

全レコード

id dataset query → top-1 final certainty vote score