이 문서는 영어 원문을 자동 번역한 것으로, 내용이 원문과 다를 수 있습니다. 영어 원문 보기
정보 추출에서의 신뢰도는 추출된 정보의 신뢰성을 나타내는 지표예요.
신뢰도(confidence) 와 정확도(accuracy) 는 구분해서 이해하는 것이 중요해요.
신뢰도(Confidence) 는 모델의 주관적인 지표예요. 모델이 스스로 얼마나 확신하는지를 나타내요.
정확도(Accuracy) 는 객관적인 지표예요. 추출된 데이터가 실제 정답과 일치하는지를 측정해요.
일반적으로 신뢰도가 높으면 정확도도 높은 경향이 있어요. 그러나 "확신이 있지만" "잘못된" 결과가 나올 수 있는 경우도 있어요.
따라서 신뢰도는 정확성을 보장하는 지표가 아니라 신뢰성을 판단하기 위한 휴리스틱으로 사용해야 합니다.
신뢰도 점수는 추출된 모든 문서를 수작업으로 검토하는 대신 머신이 보조하는 Human-in-the-Loop (HITL) 워크플로우에 특히 유용해요.
높은 신뢰도 (> 임계값): 데이터를 자동으로 처리해요.
낮은 신뢰도 (< 임계값): 결과에 표시를 남기고 사람이 검토하도록 해요.
이 방식은 사람의 주의가 가장 필요한 부분에 집중할 수 있게 해줘서, 높은 데이터 품질을 유지하면서 수작업 부담을 크게 줄여 줘요.
신뢰도를 얻으려면 요청의 extra_body에 confidence를 true로 지정해주세요.
응답에는 함수 이름이 additional_values인 tool_calls가 포함돼요.
이 함수 호출의 인자에는 추출된 값과 함께 해당 값의 신뢰도 수준(high 또는 low)이 포함돼요.
요청
클라이언트 설정에 대한 자세한 내용은 simple extraction 을 참고해주세요.
Python LangChain cURL javascript
extraction_response = client.chat.completions.create(
model = "information-extract" ,
messages = [
{
"role" : "user" ,
"content" : [
{
"type" : "image_url" ,
"image_url" : { "url" : f "data:application/octet-stream;base64, { base64_data } " }
}
]
}
],
response_format = {
"type" : "json_schema" ,
"json_schema" : {
"name" : "document_schema" ,
"schema" : {
"type" : "object" ,
"properties" : {
"bank_name" : {
"type" : "string" ,
"description" : "The name of bank in bank statement"
}
}
}
}
},
extra_body = {
"confidence" : True
}
)
print (extraction_response)
응답
{
"id" : "iex-AQZoWf2p5j6TO-AE" ,
"choices" : [
{
"finish_reason" : "stop" ,
"index" : null ,
"logprobs" : null ,
"message" : {
"content" : "{ \" bank_name \" : \" Bank of Dream \" }" ,
"role" : "assistant" ,
"function_call" : null ,
"tool_calls" : [
{
"type" : "function" ,
"function" : {
"name" : "additional_values" ,
"arguments" : "{ \" bank_name \" : { \" _value \" : \" Bank of Dream \" , \" confidence \" : \" high \" }}"
}
}
]
}
}
],
"created" : 1742838017 ,
"model" : "information-extract-261113" ,
"object" : null ,
"system_fingerprint" : null ,
"usage" : {
"completion_tokens" : 9 ,
"prompt_tokens" : 951 ,
"total_tokens" : 960 ,
"completion_tokens_details" : null ,
"prompt_tokens_details" : null
}
}