Data Analysis

• KPI를 디버깅하거나, 지표의 급등 또는 급락을 조사하거나, 수치가 변동한 이유를 설명해야 할 때.
• A/B 테스트, 코호트 분석, 또는 퍼널 검토를 진행 중이며 단순한 수치가 아닌 통계적으로 타당한 해석이 필요할 때.
• 임원 보고서나 이해관계자 브리핑을 준비 중이며, 데이터를 나열하는 것이 아니라 의사결정 중심으로 결과를 정리해야 할 때.
• SQL, Python 노트북, 스프레드시트, 또는 BI 툴 내보내기 파일을 다루고 있으며, 핵심 과제가 분석적 판단 — 무엇을 측정할지, 어떻게 비교할지, 그리고 그것이 실제로 무엇을 의미하는지 — 인 경우.

• 분석 계층 없이 기계적인 스프레드시트 서식 지정이나 원시 SQL 구문 도움만 필요한 경우 — sql 또는 csv 컴패니언 스킬로 충분할 수 있습니다.
• 라이브 대시보드나 보고 파이프라인을 구축하거나 구성해야 하는 경우 — 대신 dashboard 또는 business-intelligence 스킬을 고려하세요.
• 데이터 품질이 너무 낮거나 샘플 크기가 너무 작아 신뢰할 수 있는 추론을 지원할 수 없는 경우 — 이 스킬은 이를 표시하고 잘못된 확신을 생성하는 대신 뒷받침되지 않는 결론을 차단합니다.

데이터를 다루기 전에, Data Analysis 스킬은 모든 분석을 구체적인 결정에 먼저 연결합니다: 누가 그 결정을 소유하는지, 결과가 X일 때와 Y일 때 무엇이 달라지는지, 그리고 관련 시간 범위는 무엇인지를 파악합니다. 명확한 결정 없이 이루어진 분석은 불완전한 것으로 간주됩니다.

모든 계산은 명시적인 메트릭 계약에 고정됩니다: 엔티티, 집계 단위, 분자, 분모, 시간 범위, 시간대, 필터, 제외 항목 및 신뢰할 수 있는 데이터 출처. 결과가 제시되기 전에 모호한 사항이 표면화되어, 정의가 조용히 변질되는 현상을 방지합니다.

이 스킬은 표본 크기의 충분성, 공정한 비교 그룹, 다중 비교 위험, 실질적 유의성 대 통계적 유의성, 그리고 불확실성 정량화를 검증합니다. 결과는 거짓된 점 추정치가 아닌 범위(예: "12~18% 향상")로 제시됩니다.

이 스킬은 분석적 질문을 적절한 방법론에 매핑합니다: 비교를 위한 가설 검정, 예측을 위한 회귀 분석, 유지율을 위한 코호트 분석, 집단 차이를 위한 세분화, 그리고 이상 패턴을 위한 이상 탐지 — 각각 올바른 핵심 결과물과 함께 제공됩니다.

모든 결과는 답변, 근거, 신뢰 수준, 주의 사항, 권장 다음 조치 순으로 구성됩니다. 이해관계자를 위한 출력물은 방법론을 앞세우는 대신, 기술적 분석 결과를 비즈니스적 시사점으로 변환하여 전달합니다.

이 스킬은 정의 변경 후 재사용된 KPI 이름, 하나의 차트에서 집계 단위 혼용, 기반 수치 없이 백분율만 표시, 사후 서술 탐색 등 분석상의 함정을 능동적으로 표시하여 — 이러한 문제가 의사결정을 왜곡하기 전에 방지합니다.

제품 실험을 실행한 후, 이 스킬을 사용하여 샘플 크기를 검증하고, 참신성 효과를 확인하며, 신뢰 구간과 함께 효과 크기를 계산하고, 결과가 의사결정에 적합한지 또는 추가 테스트가 필요한지를 명시하는 이해관계자 보고서를 작성하세요. 이 모든 과정은 Data Analysis를 통해 수행됩니다.

핵심 지표가 예상치 못하게 변동할 때, Data Analysis 스킬은 지표 계약 검증, 세그먼트 분해, 시간 단위 일관성 확인, 그리고 혼란 변수 점검을 단계적으로 수행하여 해당 변동이 실제 신호인지, 아니면 정의상의 문제나 데이터 품질 이슈로 인한 아티팩트인지를 파악합니다.

원시 쿼리 결과 또는 노트북 출력물을 구조화된 의사결정 브리핑으로 변환합니다. 핵심 인사이트를 먼저 제시하고, 불확실성을 수치화하며, 데이터로 알 수 없는 사항을 명시하고, 다음 행동을 권고하는 방식으로 작성하여 리더십 또는 부서 간 이해관계자에게 적합한 형태로 제공합니다.

서로 다른 사용자 코호트가 시간에 따라 어떻게 행동하는지 분석하고, 획득 기간 또는 세그먼트별로 세분화된 유지율 곡선을 생성하며, 관찰된 차이가 통계적으로 유의미한지 아니면 노이즈 범위 내에 있는지를 해석합니다.