같은 답변을 서로 다르게 평가할 때 맞출 기준

점수보다 먼저 맞출 평가 항목의 뜻

같은 항목 이름을 사용해도 평가자가 뜻을 다르게 받아들일 수 있습니다. ‘정확하다’를 어떤 사람은 진료 내용이 타당하다는 뜻으로, 다른 사람은 질문에 곧바로 답한다는 뜻으로 사용할 수 있습니다. 이때 점수만 조정하면 서로 다른 대상을 평가했다는 문제가 남습니다. 병원은 해당 항목이 내용의 사실성을 평가하는지, 설명의 전달을 평가하는지부터 정합니다.

항목의 뜻에는 평가 대상의 범위도 포함합니다. ‘설명이 쉽다’는 평가가 전문용어 풀이에만 해당하는지, 답변 전체의 조건 설명까지 포함하는지 명시합니다. 특정 문장에 대한 긍정적 평가가 답변 전체의 통과로 확대되지 않도록, 담당자는 항목 이름 옆에 대상 문장이나 문단을 함께 기재합니다.

공식 자료에서 참고할 평가의 관점

질병관리청의 국가건강정보포털 운영을 설명한 자료는 의학적 타당성과 과학적 근거, 정보의 최신성, 출처와 생성 시기의 제시를 평가 대상으로 설명합니다. 건강정보를 이해하기 쉽게 전달하기 위해 문해력 전문가의 교정도 진행했다고 밝힙니다. 병원은 이를 참고해 진료 내용의 판단과 설명을 읽기 쉽게 다듬는 작업에 서로 다른 질문을 적용할 수 있습니다.

구글은 콘텐츠 품질을 평가할 때 명확한 글쓰기와 같은 기술을 평가하는 한편, 정보가 사실에 부합하는지도 평가한다고 설명합니다. 삶과 건강에 큰 영향을 줄 수 있는 주제에는 높은 정확성과 전문가의 확립된 합의가 필요하다고 안내합니다. 병원 내부의 판정 명칭과 통과 조건은 이러한 관점을 참고해 병원이 정할 편집 기준이며, 구글의 공식 점수표로 표현하지 않습니다.

항목의 뜻에서 판정 조건까지의 순서

담당자는 평가 항목의 뜻을 정한 뒤 항목별 근거를 연결하고, 마지막에 판정 조건을 작성합니다. 처음부터 통과 여부만 정하려 하면 자료가 부족한 상태와 내용에 문제가 있는 상태를 같은 이유로 처리하기 쉽습니다. 준비할 자료는 평가 대상 답변, 원래 환자 질문, 답변에 사용한 근거 자료, 해당 진료 내용에 대한 원장의 판단 기록입니다.

1. 평가 항목의 뜻을 문장으로 작성합니다. ‘이해하기 쉽다’처럼 넓은 표현에는 환자가 무엇을 이해해야 하는지와 평가할 문장의 범위를 추가합니다.
2. 항목마다 사용할 근거를 연결합니다. 담당자는 설명 항목에 질문과 답변 문장을 연결하고, 작성 근거 항목에는 자료의 해당 부분을 연결합니다. 원장은 진료 내용의 정확성을 판단할 자료와 내용을 확인합니다.
3. 통과·보완·판단 유보의 조건을 정합니다. 담당자는 필요한 자료가 갖춰졌는지와 수정할 문제가 특정됐는지를 나누어 기재합니다. 원장의 판단이 필요한 내용은 편집 의견만으로 결론을 작성하지 않습니다.

자료를 준비할 때 출처 제목만 모으지 말고 답변의 어느 주장에 사용하는 자료인지 표시합니다. 원장의 기록도 ‘검토 완료’라는 표현만으로는 적용 범위가 불분명할 수 있습니다. 담당자는 판단한 내용과 남아 있는 질문을 연결해 항목별 판정에 사용할 수 있게 정리합니다.

통과·보완·판단 유보의 적용 조건

보완은 고칠 대상이 드러난 상태에 적용하고, 판단 유보는 결론에 필요한 정보가 부족한 상태에 적용합니다. 근거가 없는 주장을 그저 문장을 다듬으면 되는 문제로 처리하지 않습니다. 반대로 설명에서 빠진 용어 풀이를 특정할 수 있다면, 그 문제를 자료 부족과 같은 상태로 기록할 필요는 없습니다.

한 답변에도 항목별로 다른 판정이 가능하도록 작성합니다. 이해 가능성은 통과하고 작성 근거는 보완이 필요할 수 있으므로, 담당자는 전체 결과 하나로 항목별 상태를 덮지 않습니다. 통과 표시는 그 항목의 조건을 충족했다는 뜻으로 사용하며, 다른 항목의 판단까지 끝났다는 의미를 부여하지 않습니다.

읽기 쉬운 문장에 가려지는 미확인 내용

읽기 좋은 답변이라도 진료 내용에 대한 원장의 판단이 없다면 정확성은 판단 유보로 기록합니다. 담당자가 질문에 대한 답을 쉽게 찾고 용어를 이해할 수 있다고 평가한 것은 설명 항목의 결과입니다. 문장의 완성도가 높다는 이유로 진료 내용의 판정까지 통과로 변경하지 않습니다.

특히 단정적인 문장은 뜻이 선명해 읽기 쉽다는 평가를 받을 수 있습니다. 그러나 대상이나 예외 조건을 생략한 문장도 단순하게 읽힐 수 있으므로, 명료한 표현 자체를 정확성의 근거로 사용하지 않습니다. 담당자는 생략된 조건이 있는지 질문으로 남기고, 원장이 진료 의미를 판단할 수 있도록 해당 문장을 제시합니다.

의학적 표현의 뜻을 담당자가 이해하지 못한 경우에도 곧바로 설명 오류로 판정하지 않습니다. 원래 뜻을 유지하면서 풀어 쓸 수 있는지 판단할 정보가 부족하다면, 설명 항목에도 유보 사유를 남깁니다. 뜻을 임의로 추정해 쉬운 표현으로 고치면 진료 내용이 달라질 수 있으므로, 필요한 풀이를 원장에게 요청합니다.

그럴듯한 설명과 연결되는 근거의 차이

출처가 기재돼 있어도 답변의 주장과 연결되지 않으면 작성 근거 항목을 통과시키지 않습니다. 담당자는 자료가 같은 질환을 다룬다는 사실에 그치지 않고, 답변에 사용한 설명과 적용 대상이 자료의 어느 부분에 해당하는지 대조합니다. 제목이 비슷하거나 전문용어가 일치한다는 이유만으로 연결을 인정하지 않습니다.

자료가 일반적인 정보를 설명하는데 답변이 개인의 상태에 대한 결론까지 제시한다면, 그 결론을 뒷받침하는 근거는 따로 필요합니다. 이때 담당자는 원래 자료가 말하는 범위와 답변이 확장한 내용을 각각 기재합니다. 진료에 관한 결론의 타당성은 원장이 판단할 내용으로 남기고, 담당자가 출처의 권위를 이유로 승인하지 않습니다.

근거를 찾지 못했다는 기록과 근거가 틀렸다는 기록도 다르게 작성합니다. 자료에 접근하지 못했거나 해당 부분을 특정하지 못했다면 부족한 정보가 무엇인지 남깁니다. 자료와 답변의 주장이 어긋난 부분을 찾았다면 해당 내용을 보완 대상으로 제시하되, 의학적 결론은 담당자가 대신 확정하지 않습니다.

질문에서 요구하지 않은 정보의 평가

답변에 관련 정보가 적다는 이유만으로 설명 항목을 보완 판정하지 않습니다. 담당자는 먼저 환자의 질문이 요구하는 답과 그 답을 이해하는 데 필요한 조건을 정합니다. 질환 전반에 관한 설명이 없더라도 질문에 필요한 내용이 충족될 수 있습니다.

추가 정보가 필요하다고 평가할 때는 무엇을 넣을지보다 누락 때문에 어떤 이해가 어려운지를 기재합니다. 단순히 ‘내용이 부족하다’고 쓰면 평가자가 서로 다른 범위를 예상하게 됩니다. 환자가 대상 조건을 알 수 없는지, 안내받은 행동의 뜻을 이해하기 어려운지처럼 부족한 내용을 특정한 뒤 추가 여부를 판단합니다.

이어서 읽을 주제

GEO 대행 보고서는 업체가 제시한 평가 항목이 어떤 자료와 판단에 연결되는지 이해하기 위해 이어 읽을 주제입니다. AI 검색 성과 확인은 답변 자체에 대한 품질 평가와 검색에서 관측한 결과를 별도로 해석하기 위해 이어 읽을 주제입니다.