목표
AI가 돌봄 지시를 정리할 때 생기는 문제를 어떤 방식이 줄이는지 공정하게 비교할 수 있는 실험을 설계한다.
A. 문제
- 보호자가 카톡처럼 여러 번 나눠서 지시를 보내면, 중간에 시간이 바뀌거나 가족끼리 말이 엇갈림
- 이걸 AI에게 "정리해줘"라고 맡기면 두 가지 실수가 생김
- 물어봐야 할 것을 놓침 (예: 급여량이 빠졌는데 그냥 넘어감)
- 혼자 결정해버림 (예: 엄마는 18시, 아빠는 19시라고 했는데 아무거나 고름)
B. 연구 질문
- 출력 양식만 정해줘도(JSON) 자유 요약보다 실수가 줄어드는가?
- 그 양식 결과를 코드로 한 번 더 검사하면, AI가 놓친 질문을 더 잡는가? 대가(쓸데없는 질문·시간·비용)는 얼마인가?
C. 비교한 세 방식
| 방식 | 처리 | 비유 |
|---|---|---|
| A 자유 요약 | "알아서 정리해" → 글로 출력 | 빈 종이에 메모 |
| B 양식 추출 | 할 일·금지사항·발신자·변경·질의 칸에 맞춰 JSON으로 출력 | 칸이 정해진 양식지 |
| C 양식 + 코드 검사 | B 결과를 파이썬 규칙으로 한 번 더 검사. AI 추가 호출 없음 | 양식지 + 체크리스트 |
D. 사례와 공정성
- 가상 사례 30개
- 개발용 10개: 프롬프트와 규칙을 만드는 데만 사용
- 평가용 20개: 결과 측정에만 사용 → 만들 때 본 사례로 점수를 매기지 않음
- 평가용 20개 = 질문이 필요한 사례 6개 + 필요 없는 사례 14개
- 섞은 이유: "무조건 다 물어보는" 방식이 점수를 따지 못하게
- 사례·정답·프롬프트·규칙 코드를 실행 전에 고정하고, 결과를 본 뒤에는 고치지 않음
- AI는 같은 질문에도 답이 달라서 사례당 10회씩 실행
E. 지표
| 지표 | 뜻 | 좋은 방향 |
|---|---|---|
| 탐지율 | 물어봐야 할 사례에서 실제로 물어본 비율 | 높을수록 |
| 과잉 질의율 | 안 물어도 되는 사례에서 물어본 비율 | 낮을수록 |
| 응답시간·토큰·비용 | 방식별 부담 | 낮을수록 |
- 탐지율만 보면 "다 물어보기"가 100%가 되니까, 과잉 질의율을 같이 봐야 함
배운 점
직접 작성연구 질문과 실험 설계
A. AI가 하는 실수 두 종류
- 놓침 : 사람이 사료 주라고 말은 했지만 양은 말하지 않음. AI는 그냥 넘어가서 시터는 몇 g인지 모름
- 혼자 결정 : A는 6시 산책, B는 7시 산책이라 했지만 AI는 묻지않고 혼자 결정함
—> 돌봄에서는 둘 다 위험 —> 물어볼 때는 물어보는 AI가 목표
B. 연구 질문
- 답을 정해진 칸 (JSON)에 채우기만 해도 실수가 줄어듦?
- 그 칸을 코드로 한 번 더 검사하면 더 잡을 수 있음? 대신 어떤 걸 손해보는가
C. 비교한 세 방식
- A : 자유요약 → 빈 종이에 알아서 메모하기
- B : 양식 추출 → 칸이 정해진 양식지에 채우기 (JSON)
- JSON : {”동물” : “콩이” , “양” : null} 처럼 이름표에 붙은 값을 넣는 형식
- 비어있으면 null
- JSON : {”동물” : “콩이” , “양” : null} 처럼 이름표에 붙은 값을 넣는 형식
- C : 양식 + 코드 검사 → 양식지를 체크리스트로 한 번 더 확인
- AI를 안 부르고 코드로 검사하는 이유 : AI는 부를 때마다 돈과 시간이 들고 답도 매번 달라지기 때문에 일관성있는 코드사용
D. 사례와 공정성
- 개발용 10개 / 평가용 20개 : 개발용 10개로 먼저 실험 후 규칙을 만들고 나서 평가용을 돌린다
- 규칙을 만들 때 개발용으로 채점하면 답을 외우고 시험을 보는 셈이라 처음 보는 사례로 해야 판가름이 나온다.
- 평가용 20개 —> 물어봐야 하는 사례 6개 + 안 물어봐도 되는 사례 14개를 섞음
- 물어봐야되는 사례만 넣으면 무조건 다 물어보는 AI가 100점을 받기 때문에 안 물어도 되는 사례를 섞어야 걸러짐
- 실행 전에 고정값 : 결과를 보고 정답이나 규칙을 고치면 결과를 맘대로 바꾸는 것이기 때문에 고정
- 10회 반복 : AI는 같은 질문을 해도 답이 조금씩 다르기 때문에 우연인지 잘 대답한 건지 확인하기 위해
E. 지표
- 탐지율 : 물어봐야 할 사례에서 실제로 물어본 비율 (높을 수록 좋음 —> 안 놓침)
- 과잉 질의율 : 안 물어도 되는 사례에서 물어본 비율 (낮을 수록 좋음)
- 탐지율과 과잉 질의율 같이 봐야한다.
- 무조건 다 물어보면 탐지율도 과잉 질의율도 100%임.