Forschungshinweis. Diese Studie evaluiert Retrieval-Modelle an öffentlichen Benchmarks. Sie beschreibt kein verfügbares Produkt und nicht dessen klinische Leistung.
Klinische Erwähnung
Eine kurze Anfrage auf EN, ES, CA, IT, PT oder FR
Stufe 1 · Bi-Encoder (mehrsprachig)
Kodiert die Anfrage und jede CIE-10-Beschreibung unabhängig und rankt sie nach Kosinus-Ähnlichkeit. Trainiert mit 19.502 kuratierten synthetischen Beispielen aus 17 ICD-10-Kapiteln.
Stufe 2 · Cross-Encoder-Reranker (Spanisch)
Liest jedes Anfrage-Code-Paar gemeinsam und ordnet die Auswahlliste neu. Trainiert mit 10.628 Listwise-Gruppen mit klinisch plausiblen Hard Negatives.
Gerankte CIE-10-ES-Codes
Seite, Schweregrad, Ätiologie und Episodentyp in der finalen Reihenfolge aufgelöst
01 - Die Frage
Können kompakte, aufgabenspezifische Retriever breite öffentliche Embeddings übertreffen?
Satz-Embeddings funktionieren gut für breite semantische Suche, aber ICD-Kodierung ist keine breite semantische Suche. Das Modell muss kurze klinische Erwähnungen einem kontrollierten Vokabular zuordnen, in dem sich benachbarte Codes oft nur durch einen Qualifikator unterscheiden: anatomische Lokalisation, Seite, Schweregrad, Kontaktart oder Ätiologie.
Die Arbeit fragt, ob hochwertige synthetische Supervision diese Lücke für die spanische klinische Kodierung schließen kann. Wir nutzen ein Frontier-LLM, um mehrsprachige Beispiele auf Basis der ICD-10-Hierarchie zu erzeugen, stimmen einen spanischen biomedizinischen Bi-Encoder fein ab und trainieren dann einen Cross-Encoder-Reranker auf Listwise-Gruppen mit klinisch plausiblen Hard Negatives.
Das zentrale Ergebnis: Für das spanische ICD-10/CIE-10-ES-Retrieval zählen aufgabengerechte Supervision und klinisch sinnvolle Negativbeispiele mehr als Embedding-Größe oder generisches englisches biomedizinisches Pretraining.
02 - Methode
Ein Bi-Encoder für den Recall, ein Cross-Encoder für die Präzision beim exakten Code.
Der Retriever nutzt eine standardmäßige, aber sorgfältig abgestimmte zweistufige Architektur. Stufe 1 kodiert jede Anfrage und jede CIE-10-Beschreibung unabhängig und rankt nach Kosinus-Ähnlichkeit. Stufe 2 liest jedes Anfrage-Code-Paar gemeinsam und ordnet die besten Kandidaten mit einem Listwise-Ziel neu.
Die Trainingsdaten wurden nicht als rohe synthetische Ausgabe behandelt. Wir haben die erzeugten Beispiele durch regelbasierte Validierung, semantische Deduplizierung, Sprachkonsistenzprüfungen und manuelle Stichproben kuratiert, bevor wir damit den Bi-Encoder und die Reranking-Klassifikatoren gebaut haben. Diese Kuratierung ist zentral für die Arbeit: Es geht nicht einfach darum, mehr Daten zu erzeugen, sondern Beispiele und Hard Negatives zu schaffen, die die in ICD-10/CIE-10 kodierten klinischen Unterscheidungen widerspiegeln.
- Synthetische Bi-Encoder-Beispiele aus 17 ICD-10-Kapiteln.
- 19.502
- Für die synthetische Supervision verwendete Sprachen: EN, ES, CA, IT, PT und FR.
- 6
- Spanische Listwise-Gruppen für den Cross-Encoder mit einem Positivbeispiel und Hard Negatives.
- 10.628
- Evaluierungsebenen: vollständiger Code, dreistellige Kategorie und Kapitel.
- 3
Verglichene Retrieval-Strategien
| Strategie | Rolle in der Studie |
|---|---|
| Tietai Cross-Encoder | Ordnet die Auswahlliste des Bi-Encoders neu und optimiert die Reihenfolge des exakten Codes. |
| Tietai Bi-Encoder | Spanisches biomedizinisches Dense-Retrieval-Rückgrat, feinabgestimmt mit synthetischer Supervision. |
| BM25 (Postgres FTS) | Lexikalische Volltext-Baseline über die CIE-10-ES-Beschreibungen. |
| ST MiniLM-L6-v2 | Öffentliche Allzweck-Sentence-Transformer-Baseline. |
| ST BioBERT | Englische biomedizinische Sentence-Transformer-Baseline. |
| ST MPNet-v2 | Größere allgemeine Sentence-Transformer-Baseline mit 768 Dimensionen. |
03 - Ergebnisse
F1 und MAP@10 rücken die Ranking-Qualität in den Fokus.
Auf CodiESP v4 erreicht der Tietai-Cross-Encoder F1 = 0,709 und MAP@10 = 0,747 auf Ebene des exakten Codes. Auf DISTEMIST erreicht er F1 = 0,776 und MAP@10 = 0,812. Die aktualisierte Fassung der Arbeit verwendet MAP@10 als Ranking-Metrik und F1 als Top-1-Entscheidungsmetrik.
- F1 für den exakten Code auf CodiESP für den Tietai Cross-Encoder.
- 0,709
- MAP@10 für den exakten Code auf CodiESP für den Tietai Cross-Encoder.
- 0,747
- F1 für den exakten Code auf DISTEMIST für den Tietai Cross-Encoder.
- 0,776
- MAP@10 für den exakten Code auf DISTEMIST für den Tietai Cross-Encoder.
- 0,812
F1 und MAP@10 auf CodiESP v4
| Modell | F1 exakt | F1 Kategorie | MAP@10 exakt | MAP@10 Kategorie |
|---|---|---|---|---|
| Tietai Cross-Encoder | 0,709 | 0,823 | 0,747 | 0,851 |
| Tietai Bi-Encoder | 0,359 | 0,617 | 0,461 | 0,694 |
| BM25 (Postgres FTS) | 0,239 | 0,376 | 0,322 | 0,471 |
| ST MiniLM-L6-v2 | 0,225 | 0,371 | 0,287 | 0,426 |
| ST BioBERT | 0,193 | 0,314 | 0,252 | 0,373 |
| ST MPNet-v2 | 0,161 | 0,317 | 0,226 | 0,376 |
Top-1-Precision, -Recall und -F1 für den exakten Code auf CodiESP
| Modell | Precision | Recall | F1 |
|---|---|---|---|
| Tietai Cross-Encoder | 0,709 | 0,709 | 0,709 |
| Tietai Bi-Encoder | 0,359 | 0,359 | 0,359 |
| BM25 (Postgres FTS) | 0,254 | 0,227 | 0,239 |
| ST MiniLM-L6-v2 | 0,225 | 0,225 | 0,225 |
| ST BioBERT | 0,193 | 0,193 | 0,193 |
| ST MPNet-v2 | 0,161 | 0,161 | 0,161 |
Top-1-Genauigkeit nach Hierarchie auf CodiESP
F1 und MAP@10 auf DISTEMIST
| Modell | F1 exakt | F1 Kategorie | MAP@10 exakt | MAP@10 Kategorie |
|---|---|---|---|---|
| Tietai Cross-Encoder | 0,776 | 0,818 | 0,812 | 0,846 |
| Tietai Bi-Encoder | 0,603 | 0,690 | 0,682 | 0,747 |
| BM25 (Postgres FTS) | 0,431 | 0,470 | 0,504 | 0,537 |
04 - Interpretation
Der Engpass ist die Aufgabenausrichtung, nicht die Embedding-Größe.
Die Reihenfolge der öffentlichen Baselines ist das wichtige Negativergebnis. BioBERT-ST hat biomedizinisches Pretraining, ist aber englischzentriert. MPNet-v2 hat größere Embeddings, liegt aber trotzdem hinter MiniLM-L6-v2. Weder Größe noch generisches Domänen-Pretraining lösen das Retrieval spanischer klinischer Codes allein.
ICD-Retrieval verlangt, dass Modelle Geschwisterkonzepte trennen, die semantisch nah, aber operativ verschieden sind. Der Bi-Encoder erfasst die thematische Information auf Kapitelebene gut, aber das Ranking des exakten Codes braucht einen Reranker, der mit Hard Negatives aus benachbarten CIE-10-Codes trainiert wurde.
- Aufgabenausrichtung zählt. Synthetische Beispiele müssen die ICD-Hierarchie widerspiegeln, nicht nur eine breite biomedizinische Verwandtschaft.
- Hard Negatives zählen. Benachbarte Codes bringen dem Modell bei, Ätiologie, Anatomie, Schweregrad und Episodentyp zu unterscheiden.
- Reranking zählt. Der Cross-Encoder fügt die Unterscheidung auf Qualifikatorebene hinzu, die die CIE-10-ES-Richtlinien verlangen.
- Wenig Daten können genügen. Ein kompakter synthetischer Korpus kann einen konkurrenzfähigen Retriever trainieren, wenn die Beispiele auf die Struktur des Zielvokabulars abgestimmt sind.
- Biomedizinisches Pretraining überträgt sich nicht automatisch. Englische biomedizinische Encoder haben weiterhin Mühe, wenn sowohl Anfrage als auch Zielvokabular spanisch sind.
Für die produktive Suche in der klinischen Kodierung lautet die praktische Lehre: für das Zielvokabular, die Zielsprache und das Ziel-Ranking-Problem trainieren. Die nützliche Einheit ist kein größeres Embedding-Modell, sondern ein Retriever, der auf die Unterscheidungen trainiert ist, die Kodierfachkräfte tatsächlich treffen müssen.
