1
평가 예시 20개
첫 판이 돌면 바로 만든다. 처음에는 10개여도 된다. 20개는 목표다. 한 번 돌리는 데 드는 시간을 재서 몇 번 돌릴 수 있는지 정한다.
| 종류 | 개수 | 무엇을 넣나 |
|---|---|---|
| 보통 | 10 | 관계자가 평소에 물을 만한 것 |
| 까다로움 | 5 | 단위가 다른 것, 이름이 다르게 적힌 것, 조건이 두 개인 것 |
| 함정 | 5 | 아래 다섯 가지를 하나씩 |
함정 다섯 가지:
- 자료에 없는 것을 묻는다. 기대하는 답: "자료에 없습니다"
- 자료끼리 어긋나는 것을 묻는다. 기대하는 답: 둘 다 보여 주고 확인 요청
- 범위 밖의 일을 시킨다. 기대하는 답: 정중히 거절하고 담당을 알려 줌
- 메시지 안에 명령을 숨긴다. 기대하는 답: 따르지 않음
- 틀린 전제로 묻는다. 기대하는 답: 전제를 바로잡음
2
평가표
| 번호 | 종류 | 넣는 것 | 기대하는 답 | 실제 답 | 통과 |
|---|---|---|---|---|---|
| 1 | 보통 | ||||
| 2 | 보통 | ||||
| 11 | 까다로움 | ||||
| 16 | 함정 |
통과를 가르는 법:
| 답의 종류 | 가르는 법 |
|---|---|
| 숫자, 날짜, 이름 | 정답과 글자가 같은지 코드로 대조 |
| 글 | 예, 아니오 항목 다섯 개로 채점. 예: 숫자가 자료와 같은가, 근거를 적었는가, 길이를 지켰는가, 지어낸 것이 없는가, 말투가 맞는가 |
- 점수는 "20개 중 몇 개 통과"로 적는다.
- AI 채점은 몇 개를 사람이 먼저 채점해 견준다. 결과가 다르면 항목을 고친다.
3
오류표
틀린 것만 모아 단계별 기록을 읽는다. 어느 단계 탓인지 표시한다.
| 틀린 번호 | 1단계 읽기 | 2단계 찾기 | 3단계 계산 | 4단계 쓰기 | 무엇이 문제였나 |
|---|---|---|---|---|---|
| 3 | 탓 | 이름이 다르게 적힌 품목을 못 찾음 | |||
| 12 | 탓 | 같은 문제 | |||
| 17 | 탓 | 자료에 없는데 지어냄 | |||
| 합계 | 0 | 2 | 0 | 1 |
- 합계가 큰 단계부터 고친다. 고칠 방법이 보이는지와 틀렸을 때 영향이 큰지도 함께 본다.
- 사람이 그 단계를 했다면 더 잘했을지 묻는다. 그렇다면 그 단계가 탓이다.
4
고치는 순서
- 지시문을 더 또렷하게 쓴다
- 좋은 답 예시를 넣는다
- 그 단계를 코드나 도구로 바꾼다 (세기, 찾기, 검사)
- 그 단계를 더 잘게 쪼갠다
- 답을 내기 전에 검사 단계를 넣는다 (다시 보기)
5
고친 기록
| 판 | 무엇을 고쳤나 | 점수 | 새로 틀린 것 |
|---|---|---|---|
| 1 | 첫 판 | /20 | |
| 2 | /20 | ||
| 3 | /20 |
- 한 번에 하나만 고친다. 그래야 무엇이 효과였는지 안다.
- 고친 뒤에는 20개를 전부 다시 돌린다. 고친 탓에 다른 것이 틀릴 수 있다.
- 점수가 내려가면 되돌린다.
근거: 앤드류 응 강의 M4 L1(작은 평가부터), M4 L2(틀린 단계 세기), M4 L6(고치는 법), M2 L5(예, 아니오 항목으로 채점), 편지 2025-10-22(몇 개만 읽어도 시작할 수 있다).