워크플로우를 실행하고, 결과를 읽고, 틀린 값을 교정해 워크플로우를 점점 더 정확하게 만들어요. 순환은 단순해요. 워크플로우를 실행하고, 검토하면서 예외를 교정하고, 스키마 보정이나 채팅 탭으로 설정을 개선합니다. 정확도가 오를수록 손이 가는 일은 점점 줄어들어요.
실행하기
케이스를 선택하고 실행을 누르면 파이프라인이 순서대로 동작해요. 수정 내용은 이 브라우저에 초안(Draft)으로 자동 저장되고, 실행하는 순간 새 설정 버전으로 확정돼요. 실행하지 않고 버전만 만들려면 상단 설정 드롭다운의 초안 항목에서 저장을 누르세요. 채팅 탭으로 개선할 때는 v8로 저장처럼 표시되는 버튼으로 확정할 수도 있어요(채팅 탭으로 개선).
실행 한 번에 일어나는 일
- 설정을 수정한 상태라면, 초안이 새 설정 버전(설정 #N)으로 자동 확정돼요.
- 선택한 케이스들이 확정된 설정으로 처리돼요.
- 실행하거나 저장하기 전까지 수정 내용은 계속 초안(Draft) 상태로 남아 있어요. 자세한 버전 동작은 버전과 배포를 참고하세요.
실행 전 확인
케이스를 선택했는지
케이스 목록에서 처리할 케이스의 체크박스를 선택해 주세요. 선택된 케이스가 없으면 실행 버튼이 비활성화되고 "실행할 문서를 선택해 주세요"라는 안내가 표시돼요.
설정 오류가 없는지
필수 설정이 비어 있으면 "설정 오류 N개 — 클릭해서 수정하세요" 표시가 떠요. 클릭하면 문제가 있는 노드로 이동합니다. 예: Extract에 스키마가 없거나, Classify에 문서종이 없는 경우.
사용량이 남았는지
요금제에 포함된 스튜디오 사용량을 모두 쓰면 "Studio 사용량을 모두 썼어요." 안내와 함께 실행이 시작되지 않아요. 사용량 확인하기로 초기화 시점을 확인하세요. 요금제를 업그레이드하거나, Small 이상 요금제라면 크레딧 초과 사용 허용을 켜서 계속 실행할 수 있어요(사용량을 다 썼을 때 참고).
실행 중
- 실행 상태는 케이스 목록과 결과 패널에 실시간으로 표시돼요.
- 처리 시간은 보통 분 단위예요. 문서 길이와 파이프라인 복잡도에 따라 달라져요.
- 케이스를 하나하나 선택하지 않고 전부 처리하려면 실행 버튼 옆 화살표에서 전체 실행을 선택하세요. 목록의 모든 케이스를 처리해요.
대량 처리는 API로. 화면에서의 실행은 테스트·검토 용도에 최적화되어 있어요. 매일 수백 건씩 처리한다면 API로 자동화를 참고하세요.
"실행이 안 될 때는 버튼 위 안내 문구를 읽어라. 파일 선택, 설정 오류, 사용량 중 무엇이 문제인지 화면이 알려준다."
결과 화면 보는 법
실행이 끝나면 설정·결과 패널이 결과 화면으로 바뀌어요. 상단 노드 바에서 노드를 클릭해 각 단계의 결과를 차례로 확인하는 것이 기본 동선입니다.
노드별 결과
| 노드 | 확인할 내용 | 보기 형식 |
|---|---|---|
| Parse | 문서가 텍스트로 잘 인식되었는지, 표·제목 구조가 유지되는지 | 미리보기 / HTML / Text / JSON (Markdown은 출력 형식에서 켰을 때) |
| Classify | 문서가 의도한 문서종으로 분류되었는지, 분할이 올바른지 | 문서종별 그룹 목록 |
| Extract | 각 항목의 추출값이 정확한지, 신뢰도 경고가 있는지 | 항목 리스트 / JSON, 결과 다운로드 · Mask 타입은 마스킹 미리보기 / Masked PDF(Mask) |
| Instruct | 지시한 형식대로 응답이 생성되었는지, 결정값이 올바른지 | 텍스트 응답 (+ 결정값) |
| Validate | 규칙별 통과 여부와 케이스의 신호등 판정이 의도대로인지(Validate) | 판정 + 규칙별 결과 |
| Merge | 분할된 문서들의 결과가 하나로 병합되었는지(Merge) | 병합된 결과 |
| Match | 기준 값과 매칭 값이 의도대로 연결되었는지(Match) | 기준 값·매칭 값 대조표 |
| Export | 저장된 결과는 이 화면이 아니라 컬렉션에서 확인해요(컬렉션) | 컬렉션 테이블 |
각 노드의 결과는 결과 패널 상단의 버튼으로 복사하거나 파일로 다운로드할 수 있어요.
결과가 이상하면 앞 노드부터 확인하세요. 최종 결과가 비어 있거나 엉뚱하다면 대부분 앞 단계의 문제가 전파된 거예요. Parse → Classify → Extract → Instruct 순서로 어느 단계부터 어긋났는지 찾으면 원인이 빨리 보입니다.
보기(View) 전환
케이스 패널 상단에서 세 가지 보기를 전환할 수 있어요.
- 상세보기: 케이스 하나씩 원본과 결과를 대조하는 기본 작업 화면
- 모아보기: 여러 케이스의 결과를 표로 한눈에 (아래 참고)
- 모니터링: 이 워크플로우의 성능 지표 (모니터링)
모아보기: 여러 케이스를 한 번에 검토
모아보기는 여러 케이스의 추출 항목을 표로 나란히 보여줘요. 대량 검토에 최적화된 화면입니다.
- 특정 항목(예: 모든 청구서의 날짜)을 세로로 훑으며 빠르게 스캔해요. 그룹화로 보기 기준을 바꾸고, 필터 추가로 조건에 맞는 케이스만 추려 볼 수 있어요.
- 셀을 클릭하면 문서 뷰어가 열려 원본과 대조할 수 있어요.
- 표에서 값을 직접 수정할 수 있고, 수정한 값은 정답 데이터가 돼요(아래 참고).
- 체크박스로 케이스를 고른 뒤 상단 선택 실행으로 그 케이스들만 실행할 수 있어요. 실행한 적 없는 행에는 실행 버튼이 바로 붙어요.
- XLSX로 내려받을 때 항목별 confidence 컬럼(등급/점수)을 포함할 수 있어요.
"낱개 검토는 상세보기, 대량 검토는 모아보기. 셀을 클릭하면 언제든 원본이 열린다."
결과 검토와 정답 데이터
스튜디오의 정확도는 검토를 통해 자라요. 틀린 값을 고치고 문서를 검토 완료로 표시하면, 그 값이 정답(Ground truth)이 되어 이후 개선의 기준이 됩니다.
신뢰도 표시 읽는 법
| 표시 | 의미 | 대응 |
|---|---|---|
| 표시 없음 | 모델이 결과를 강하게 확신 | 빠르게 훑고 넘어가도 돼요 |
| ⚠ 경고 삼각형 | 신뢰도가 기준보다 낮음 (틀렸다는 뜻은 아님) | 원본과 대조해 확인해 주세요 |
신뢰도 기준은 보수적으로 설정되어 있어, 경고가 떠도 값이 맞는 경우가 많아요. 신뢰도는 0~1 사이의 점수로 계산되며,
API 응답에는 low / high 등급으로 반환되고 결과를 XLSX로 내려받을 때는 등급(high/low)과 점수(0~1) 중 형식을 고를 수
있어요. 경고 표시는 설정 → 내 계정 → 기능의 신뢰도 점수에서 켜고 끌 수 있어요.
검토 3동작
값 수정
틀린 값을 더블클릭해 직접 고쳐요(예: "FedEx" → "UPS"). 모아보기에서도 동일하게 수정할 수 있어요.
맞음 확정
경고가 떠 있지만 값이 맞다면 체크 표시를 클릭해 "이 값이 맞다"고 확정해 주세요.
검토 완료로 표시
문서의 모든 항목을 확인했다면 검토 완료로 표시를 클릭해요. 수정하지 않은 항목을 포함해 현재의 모든 값이 정답으로 확정됩니다. 확정 후에도 값은 수정할 수 있지만, 검토 완료 상태는 되돌릴 수 없어요.
정답 데이터가 해주는 일
설정 변경을 자동으로 채점해요. 스키마를 수정하고 검토 완료된 문서를 다시 실행하면, 새 결과가 정답과 자동으로 비교돼요. 맞은 항목은 초록색으로 표시되고 여전히 틀린 항목에는 표시가 붙으니, 매번 모든 항목을 다시 검토할 필요가 없어요.
실제 정확도를 추적해요. 정답 데이터가 쌓이면 신뢰도 점수보다 훨씬 믿을 수 있는 실제 정확도를 측정할 수 있어요. 검토한 문서가 많을수록 지표가 대표성을 갖습니다.
운영 검토 흐름 (Human-in-the-loop)
운영 환경에서 사람의 검토가 필요한 업무라면 다음 흐름을 권장해요.
- 문서가 API로 처리돼요. 처리된 작업은 모니터링의 Job(실행 1건의 처리 기록) 목록에서 워크플로우로 가져가기로 화면에 불러올 수 있어요.
- 검토자가 문서를 열어 값을 확인·교정하고 검토 완료로 표시를 클릭해요.
- 검토 완료된 결과만 별도 API로 조회해 운영 데이터베이스에 반영해요.
초기에는 모든 문서를 검토하다가, 정확도가 충분히 오른 문서종부터 검토를 줄여가는 방식으로 점진적 완전 자동화로 나아갈 수 있어요. 다만 고액 거래처럼 중요도가 높은 문서는 정확도와 무관하게 검토를 유지하는 것이 안전합니다.
"검토는 비용이 아니라 투자. 교정 한 번이 정답 데이터가 되어 자동 채점, 정확도 지표, 스키마 보정까지 세 번 일한다."
스키마 보정으로 자동 개선
스키마 보정(이전 이름: 퀵튠)은 검토자가 고친 정답을 바탕으로 각 항목의 설명을 다듬어 스키마 개선안을 만드는 기능이에요. 모델을 재학습하지 않고 추출 설명(프롬프트)만 바꾸므로, 적용하면 바로 새 설정에 반영돼요.
동작 방식
- 결과에서 틀린 값을 고쳐 정답으로 쌓아요(결과 검토와 정답 데이터).
- Extract 결과 패널의 스키마 보정을 눌러요. 백그라운드에서 진행되고, 최대 5분쯤 걸려요. Classify 결과 패널에도 같은 버튼이 있어 문서종 설명 개선안을 받을 수 있어요.
- 끝나면 스키마 보정 결과 알림이 와요: "수정 내용을 바탕으로 스키마 개선을 시도했어요. 결과를 확인해 보세요."
- 정확도가 오른 항목만 전후를 비교해 보고 선택한 키 적용하기(Classify는 선택 항목 적용)로 반영해요. 새 설정 버전으로 저장되고 모든 파일이 다시 실행돼요.
잘 쓰는 요령
- 고친 값이 있어야 시작돼요: 고친 값이 하나도 없으면 스키마 보정을 실행할 수 없어요. 여러 문서에서 고쳐 둘수록 개선안이 좋아져요.
- 개선안은 꼭 비교한 뒤 적용하세요: 설명이 과도하게 좁아져 기존 케이스를 망치지 않는지 확인해 주세요.
- 배포 전 테스트: 적용으로 생긴 새 설정 버전을 문서 세트에 돌려본 뒤 운영에 반영하세요.
"스키마 보정은 사람의 교정을 스키마 개선으로 바꾸는 번역기. 검토를 꾸준히 쌓고 버튼을 누르면 프롬프트 튜닝은 스튜디오가 제안한다."
채팅 탭으로 개선
워크플로우 화면 우측의 채팅 탭에서는 지금 보고 있는 워크플로우를 대화로 수정할 수 있어요. 설정 화면을 뒤지지 않아도 말로 요청하면 됩니다.
무엇을 시킬 수 있나요
| 요청 예시 | 어시스턴트의 동작 |
|---|---|
스키마에 '결제 수단' 항목 추가해줘 | 설정을 고쳐 초안으로 반영해요 |
분류가 자꾸 틀리는데 왜 그럴까? | 설정과 결과를 살펴보고 원인과 수정안을 제안해요 |
방금 올린 문서도 처리되게 해줘 | 워크플로우에 올라와 있는 케이스를 살펴보고 스키마·문서종 보완을 제안해요 |
수정한 설정으로 실행해봐 | 실행을 제안하고, 확인하면 워크플로우를 실행해요 |
채팅 탭에 첨부한 파일은 대화 참고용이에요. 입력창의 클립 버튼(채팅 참고 파일 첨부)으로 붙인 파일은 이 대화에서만 참고하고, 워크플로우 실행 파일에는 추가되지 않아요. 워크플로우가 처리할 문서는 워크플로우 화면에서 케이스로 업로드하고, 채팅 탭에서는 그 문서를 두고 대화하면 됩니다. 채팅에 파일을 붙여 새 워크플로우를 만들고 싶다면 홈 입력창을 쓰세요.
변경 적용 흐름
대화로 요청
채팅 탭에서 새 대화를 시작하고 수정하고 싶은 내용을 말해 주세요. 이 탭의 대화는 현재 워크플로우와 연결되어 저장됩니다.
바뀐 내용 확인
어시스턴트가 수정을 마치면 워크플로우 설정을 수정했어요 카드가 뜨고, 바뀐 설정이 편집기에 초안(Draft)으로 바로 반영돼요. 카드를 펼치면 적용된 설정 내용을 볼 수 있어요.
새 설정 버전으로 저장
초안이 마음에 들면 v8로 저장처럼 표시되는 버튼을 눌러 새 설정 버전으로 확정해요. 저장 전 설정은 버전 기록에 남아 언제든 되돌릴 수 있어요. 이전 메시지를 고쳐 다시 보낼 때 되돌리고 보내기를 고르면 설정도 그 시점으로 되돌아가요.
채팅 탭 vs 홈 입력창: 홈 입력창은 새 워크플로우를 만들 때, 채팅 탭은 기존 워크플로우를 개선할 때 사용해요. 같은 어시스턴트이므로 대화 방식은 동일합니다.
"워크플로우 설정이 복잡하다면 채팅으로 시켜라. 요청 → 확인 → 저장을 AI가 직접 하며, 실수해도 되돌릴 수 있다."