암기지향 교육평가) 신뢰도 타당도 객관도 등

타당도★★★

개념 : 검사대상의 충실성 정직성 = 재고자한걸 충실히재나

종류 (: ~~를 바탕으로 검사도구의 타당성을 평가함)

- 내용타당도 : 평가도구가 교육목표(내용)을 충실히재나 (향상방안 : 이원분류표 따라 제작됐는지 확인. 이러면 전체내용 표집도 잘됨 + 평가 분야의 전문가 통한 검증)

- 공인타당도 : 현시점관련 두검사 공인정도 측정. 새검사도구 대체시사용

- 예언타당도 : 미래행동특성 예언정확도. 상관계수<회귀분석(통계적으로 복잡하다)

- 구인타당도 : 조작적정의된 구인을 충실히재나 (독창성=5%이내의 생각이면.)

- 결과타당도 : 검사의 파급력 가치판단

 

신뢰도 : 오차없이 정확하냐 = 검사점수의 정확성 일관성 안정성★★★

신뢰도 추정방법

- 재검사 신뢰도 : 같은검사를 동집단에 두번실시

- 동형검사 신뢰도 : 동일한 능력 평가하는 동형검사를 동집단에 두번실시

- 반분 신뢰도 : 한개 검사를 두 부분으로(홀짝, 전후, 단순무작위, 문항특성=난이도&변별도) 나누고 이들간 상관계수화

- 문항내적 합치도 : 문항마다 검사단위 취급, 합치성 종합 상관계수화

★★★

신뢰도는 타당도의 필요조건. 충분조건x

타당도는 신뢰도의 충분조건

고타당도면 고신뢰도라는걸 추정가능(고신뢰도가 고타당도의 선행요건)

고신뢰도면 타당도불명

저신뢰도면 저타당도

 

객관도 : 채점자 신뢰도, 주관없이 공정(일관)하느냐. 내/간★★★

- 채점자 내 신뢰도 : 1명 일관도

- 채점자 간 신뢰도 : 여러명 유사도

(↑수행평가의 신뢰도 추정방법에 해당)

실용도 : 검사의 경제성★★★

실용도 너무 강조시 타당도 낮아질 수 있다.

실용도의 조건 : 검사실시-채점 쉽, 비용시간노력 절약, 해석-활용 용이성.

 

신뢰도★★★ 향상방안 : 다문항, 다선지수, 골고루출제(=표집타당도가 높아지면 내용타당도도 높아짐), 동질적문항, 문항난도적절(50%내외), 문항변별도 높

객관도★★★ 향상방안 : (큰 원인 2개 = 평가도구 흠결, 채점자 소양)

- 평가도구흠결 : 평가도구객관화(주관식은주관적), 명확평가기준(루브릭)

- 채점자소양 : 평가자훈련(평가대상-내용-도구 충분 정보제공), 공동채점후종합, 문항단위채점

 

서술형 문항 제작 원칙★

학생 수준에 맞는 내용과 어휘(반응 자유도 높음)

모호성 방지 = 질문 구조화+제한성

서술형 장점 극대화 = 단순 지식 확인 < 사고/추리/종합/응용/창의 등 고등정신능력 측정

 

문항분석

개념 : 개개 객관식문항 양호도검증

고전검사이론(학교현장)

- 문항난이도 : 정답자/전체, 난이도 크면 쉬움 (천장~바닥효과)

- 문항변별도 : 상위집단정답률-하위집단정답률 = -1~+1, 높을수록 고신뢰도, 음수~0은 비양호

- 문항반응분포 : 문항별 반응의 분포, 정답오답의 제 구실 측정, 정답지에 50% and 오답지들에 고른 분산이 이상적