00 — REPORT OVERVIEW
AI 활용 역량
레벨테스트 응답 분석
op.gg 임직원 39명 · 2026-04-27 응답 · 산출 2026-05-25
응답자
39명
객관식 평균
97.9점
만점자
28명
A 세그먼트
12명 (30.8%)
B 세그먼트
24명 (61.5%)
응답자
op.gg 임직원
객관식 평균
만점 100점
만점자
전체의 72%
B 세그먼트
전체의 61.5%
A 세그먼트
전체의 30.8%
02 — SEGMENT ANALYSIS
세그먼트 분석
객관식 점수 + 서술형 에이전트 점수 기준 4구간 분류 (B1: FT_agent ≥ 6, B2: 미만)
구성 — 인원 분포
| 세그먼트 | 구분 | 인원 | 비중 |
|---|---|---|---|
| A | 에이전트 활용 가능 | 12명 | 31% |
| B1 | 에이전트 보강 필요 | 15명 | 38% |
| B2 | 기초부터 강화 필요 | 9명 | 23% |
| CD | 기초 학습 필요 | 3명 | 8% |
역량 지표 — 점수 · 행동
| 세그먼트 | 객관식 평균 | FT agent | FT total | 응답 길이 | 도구 수 |
|---|---|---|---|---|---|
| A | 97.5 | 20 | 46.5 | 1014 | 3.9 |
| B1 | 99.7 | 10.1 | 31.5 | 304 | 1.5 |
| B2 | 99.4 | 1.3 | 12.7 | 166 | 0.7 |
| CD | 86.7 | 9.3 | 22.3 | 153 | 1.3 |
03 — ITEM & TOOL ANALYSIS
문항·도구 분석
레벨별 정답률, 20개 문항 분포, 객관식-서술형 상관, 도구 언급, 응답 시점, 어휘 격차, 도구 클러스터
03-A
레벨별 평균 정답률
03-B
문항별 정답률 (20문항)
03-C
객관식 vs 서술형 산점도
03-D
도구 언급 Top 12
03-E
응답 시점 패턴
응답 마지막 날(5/11)에 전체의 25.6%가 집중 — 마감 효과
8일 응답 기간 중 최종일(5/11) 단 하루에 10명 응답. 전날까지 29명(74.4%).
10/39 = 25.6% on last day (2026-05-11)
전원 업무 시간(10–18시)에 응답 — 야간·주말 제출 0건
39명 전원 10:00–19:00 사이 응답. 19시 1명(Seg A)이 가장 늦은 시간.
38/39 = 97.4% in 10–18h; off-hours = 1명
응답 순서(빠름 vs 늦음)와 에이전트 점수 무관 — 관심도·사전 준비 차이 없음
상위 1/3(rank 1–13) agent mean=9.5 vs 하위 1/3(rank 27–39) mean=10.5. t=-0.33, p=0.744.
t=-0.33, p=0.744 (ns)
03-F
A vs B 어휘 격차
A세그먼트는 '자동'·'api'·'google'·'sheets' 등 구체 흐름 어휘를 B보다 42–62%p 높게 사용
응답자 단위 presence rate: '자동' A 67% vs B 4%(+62%p), 'api' A 58% vs B 4%(+54%p), 'google/sheets' A 58–42% vs B 0%.
presence rate diff +42–62%p (n_A=12, n_B=24)
B세그먼트는 자동화 흐름어(트리거·워크플로우·파이프라인) 사용자 0명 — 도구 나열에만 그침
B 24명 중 트리거 응답자 2명(트리거는 단어 언급, 설계 맥락 없음), 워크플로우 0명, 파이프라인 1명. A는 워크플로우 17%, Gmail 33%, Make 33%.
B 워크플로우 0/24(0%), A 워크플로우 2/12(17%)
B 내부에서도 자동화 언급자(15명)는 미언급자(9명)보다 agent score 5.5배 높음
B 자동화 언급자 15명 agent mean=9.9, 미언급자 9명 mean=1.8. Mann-Whitney p=0.000.
9.9 vs 1.8, Mann-Whitney p=0.000
03-G
도구 클러스터 4분류
자동화+코드/API 병용
자동화 도구 활용
LLM만 사용
C/D 세그먼트
LLM-only 9명의 agent score 평균 1.3 — power_user(평균 17.7)의 1/14 수준
llm_only 1.3 vs power_user 17.7 (13배 차이)
04 — WRONG ANSWER PATTERNS
오답 패턴
정답률 100% 미만 문항 — 오답률 높은 순 정렬
| 문항 | 레벨 | 정답 | 최빈 오답 | 오답자 수 | 오답율 |
|---|---|---|---|---|---|
| Q1 | Lv1 | B | A | 4명 | 10% |
| Q3 | Lv1 | D | A | 2명 | 5% |
| Q10 | Lv3 | A | B | 2명 | 5% |
| Q20 | Lv4 | D | B | 2명 | 5% |
| Q2 | Lv1 | A | C | 1명 | 3% |
| Q4 | Lv2 | C | A | 1명 | 3% |
| Q7 | Lv2 | D | C | 1명 | 3% |
| Q14 | Lv1 | A | B | 1명 | 3% |
| Q16 | Lv2 | C | D | 1명 | 3% |
| Q19 | Lv4 | C | D | 1명 | 3% |