모르는 상태로 하는 RSS&분석&RAG 프로젝트(14) 데이터 분석(계획 및 공부)

사실 분석에 대해서 아는게 거의 없다고 봐야한다. 

 

그래서 AI의 도움을 많이 받아 진행할텐데 AI로만 진행하면 코드가 옳은것인지 어떤방식으로 어떻게 돌아가는지 

맞게 되고있는지 파악이 어렵기에 이론적인 공부를 선행학습으로 익힌 후 코드랑 함께 진행하면 좋을 것 같다. 

 

먼저 계획은 이렇다. 

 

1단계: 핵심 기능 (즉시 구현 권장)

1. 크로스 플랫폼 키워드 추출 및 빈도 분석

• 중요도: ⭐⭐⭐ | 난이도: ⭐ | 프로젝트 적합도: ⭐⭐⭐

• 뉴스와 SNS에서 동시에 등장하는 키워드 파악

1. 플랫폼별 키워드 빈도 비교
2. 시간차 분석 (뉴스 ↔ SNS 전파 패턴)

• 중요도: ⭐⭐⭐ | 난이도: ⭐⭐⭐ | 프로젝트 적합도: ⭐⭐⭐

• 뉴스가 먼저인지, SNS가 먼저인지 파악

1. 전파 방향 및 속도 분석
2.  
3. 트렌드 분석 (시간대별 변화, 플랫폼별)

• 중요도: ⭐⭐⭐ | 난이도: ⭐⭐⭐ | 프로젝트 적합도: ⭐⭐⭐

• 플랫폼별 급상승 키워드 탐지

• 뉴스와 SNS의 트렌드 동기화 분석

2단계: 보조 기능 (핵심 기능 완료 후)

1. 영향력 분석 (SNS 메트릭 기반)

• 중요도: ⭐⭐ | 난이도: ⭐⭐ | 프로젝트 적합도: ⭐⭐

1. SNS 화제도와 뉴스 기사 수의 상관관계
2. 토픽 모델링 (크로스 플랫폼)

• 중요도: ⭐⭐ | 난이도: ⭐⭐⭐ | 프로젝트 적합도: ⭐⭐

1. 뉴스와 SNS의 주제 일치도 분석
2.  
3. 엔티티 추출 및 공출현 분석

• 중요도: ⭐⭐ | 난이도: ⭐ | 프로젝트 적합도: ⭐⭐

• 뉴스와 SNS에서 공통 언급되는 엔티티 파악

3단계: 고급 기능 (선택적)

1. 유사도 분석 및 클러스터링
2. 감정 분석 (크로스 플랫폼)
3. 네트워크 분석
4. 요약 생성

 

이 순서로 이론적인 내용을 공부 한 뒤 코드랑 함께 진행할 예정이다.