측정 방법 의료 영상 모델
영상 모델은 과제마다 지표가 다릅니다 — 판독문 생성은 RadGraph F1·CheXbert F1·GREEN 같은 판독문 지표, 분류는 AUROC 등. 문항(영상)마다 0~1 점수를 받아 평균을 주 지표로 보이고, 95% 구간은 부트스트랩(2,000회)으로 구합니다. 주 지표 밖의 지표는 실행 상세에 적습니다.
채점은 측정한 쪽 파이프라인이 하고, 이 앱은 채점된 문항 점수 파일을 받습니다. 원내 영상은 밖으로 나가지 않습니다 — 공개판에는 점수만 올라갑니다.
벤치마크 누르면 그 벤치마크가 맨 위로 옵니다
응답 속도 불러오는 중…
불러오는 중…
모델 측정한 모델과 그 부르는 길
측정 방법 모든 실행에 같은 지시문·채점
지시문: 「다음은 (시험 이름) 문제다. 보기 중 정답 하나를 고르라. … 답의 알파벳(A~E) 하나만 마지막 줄에 정답: X 형식으로 쓰라.」(prompt mcq-ko-v1). 채점은 본문의 마지막 정답: X, 없으면 끝부분의 마지막 A~E.
같은 모델의 양자화판(FP8·FP4·Int4 등)은 데이터셋마다 원본과 정확도 차이가 2%p 안이고 두 비율 검정으로도 다르지 않으면(|z| < 1.96) 원본 줄 하나로 합쳐 보이고, 양자화판 정확도는 그 줄 밑에 적습니다. 위의 「양자화 · 따로」를 고르면 나눠 봅니다.
기본 설정: 추론(생각) 켬 · temperature 0.6 · top_p 0.95 · max_tokens 16,000. 모델은 LLM 게이트웨이(llm.snuh.org)·snuop 라우터(llm.snuop.net)·API 를 통해 이름으로 불렀고, 라우터가 다른 모델로 대체한 응답(X-Model-Routed … fallback)은 무효로 뺐습니다.
데이터셋은 글로만 된 문항(그림·표 없음)입니다. 한국 국가시험(KMLE·KorMedMCQA·KMMLU 보건)과 영어·중국어·일본어·프랑스어 공개 의료 벤치마크(MedQA·MedMCQA·PubMedQA·MMLU·MedXpertQA 등)이며, 출처·라이선스는 데이터셋마다 적었습니다. KMLE 2025·2026 은 원내에서 전사한 비공개 문항입니다. 2024년 의사 문항은 국시원 가답안과 150/150 일치를 확인했습니다.