분류 전체보기89 AI_RSS_분석_대용량트래픽 프로젝트 cpu2,8Gib 단일 인스턴스 성능 개선기 오늘로써 대충 프로젝트가 마무리가 됐다.사실 시간과 내 머리가 더 좋았다면 프론트랑 성능또한 더 확연하게 좋아졌겠지만 일단 이정도로 마무리 하기로 했다. https://aitrend.홈페이지.한국 트렌드 분석 대시보드 aitrend.xn--hu5b25b77nvwc.xn--3e0b707e 해당 주소가 단일 인스턴스로 RSS+스크래핑+분석+AI까지 진행한 프로젝트 결과물이다. 이 글에서는AWS의 프리티어 인스턴스 모델인 m7i-flex.large(vCPU2+8GB메모리)만 사용한 단일 인스턴스로 Locust+K6를 활용한 동시 1,000명 기준 부하 테스트를 13차례 반복진행하면서 평균 응답 시간을 54초에서 28ms까지 성능 향상을 도모한 과정을 기록한다.매 단계별로 최대한 성능 기록을 측정하려고 했기 .. 2026. 3. 31. AI_RSS_분석_대용량트래픽 프로젝트 배포 시간이 조금 많이 늦었지만,현재는 배포 완료 이후 트래픽 경험(부하/동시성 테스트)을 진행하고 있다.배포는 “Docker로 Docker Hub에 push → AWS에서 pull받아 EC2에서 컨테이너를 실행”하는 방식으로 구성했다. 애플리케이션은 EC2의 vCPU 2, 메모리 8GB(프리티어) 인스턴스에서 운영 중이며, PostgreSQL은 AWS RDS를 사용하고 있다.이번 프로젝트의 배포 환경은 `docker-compose.yml` 기준으로 다음 구성으로 동작한다.웹(`web`)은 Django + Gunicorn(gevent worker)로 실행되고, 컨테이너 시작 시 `python manage.py migrate`, `collectstatic`을 함께 수행한다. 또한 `/app/logs/access.. 2026. 3. 20. 모르는 상태로 하는 RSS&분석&RAG 프로젝트(19) 트렌드 분석 마지막으로 기능구현한 트렌드 상세 분석한 내용을 작성하면서 나도 이해해보려고 한다. 글이 많이 길 예정이니 주의.... 1. 급상승 키워드 탐지 detect_surge_keywords():시간대 별로 키워드 빈도를 비교하여 급격히 증가한 키워드 찾기1단계: 데이터 준비 및 키워드 추출 - 최근 N일간의 뉴스 기사와 SNS 게시물을 가져옵니다 - 각 게시물에서 형태소 분석을 통해 키워드를 추출합니다 - 키워드와 게시물의 발행 시간을 함께 저장합니다for article in news_queryset: text = extract_text_from_news_article(article) if text: keywords = analyzer.extract_keywords(text, min_l.. 2026. 1. 14. 모르는 상태로 하는 RSS&분석&RAG 프로젝트(18) 트러블슈팅2 analyze_time_lag 시간차 분석 성능 최적화 (Time Lag Analysis Performance Optimization)문제 상황`analyze_time_lag` 명령어 실행 시 예상보다 훨씬 오래 걸리는 문제가 발생했습니다. 데이터 규모 - 뉴스 기사: 4,357개 - SNS 게시물: 469개 - 공통 키워드: 50개 - 총 게시물: 4,826개 원래 예상 시간 - 예상 시간: 약 3시간 원래 방식def analyze_time_lag(keywords, days, ...): # 1. compare_platforms() 호출 → 모든 게시물 형태소 분석 (1회) comparison_result = compare_platforms(...) keywords = [item['keyword'] for item .. 2026. 1. 9. 모르는 상태로 하는 RSS&분석&RAG 프로젝트(17) 시간차 분석 (뉴스 ↔ SNS 전파 패턴) 이번 글에는 이전 글에서 작성했던"시간차 분석 (뉴스 ↔ SNS 전파 패턴)"에 대해서 완성하고 어떤식으로 돌아가는지 어떤 로직을 통해 동작하는지에 대해서 간단하게 정리하면서 나도 더 기억할 수 있게끔 작성해보도록 할 예정이다. 먼저 우리가 만든 프로젝트는 News의 RSS와 SNS(DCinside, Reddit)의 RSS,Scraping으로 수집된 article,post들을 분석 후 대시보드에 내보내서 결과적으로는 수집된 글과 함께 분석이 완료되어 News,SNS의 관계도 함께 볼 수 있는 웹 페이지를 만들고 있다. 이전 글에서는 키워드 추출과 플랫폼별 비교 분석을 완성했고, 이번에는 뉴스와 SNS 간의 키워드 전파 패턴을 분석하는 시간차 분석 기능을 구현했다. 시간차 분석이란 특정 키워드가 뉴스에서.. 2026. 1. 9. 모르는 상태로 하는 RSS&분석&RAG 프로젝트(16) 크로스 플랫폼 키워드 추출 및 빈도 분석 이번 글에는 이전 글에서 작성했던"크로스 플랫폼 키워드 추출"에 대해서 완성하고 어떤식으로 돌아가는지 어떤 로직을 통해 동작하는지에 대해서 간단하게 정리하면서 나도 더 기억할 수 있게끔 작성해보도록 할 예정이다. 먼저 우리가 만든 프로젝트는 News의 RSS와 SNS(DCinside, Reddit)의 RSS,Scraping으로 수집된 article,post들을 분석 후 대시보드에 내보내서 결과적으로는 수집된 글과 함께 분석이 완료되어 News,SNS의 관계도 함께 볼 수 있는 웹 페이지를 만들고 있다. 그래서 현재까지는 news랑 sns의 글들을 수집하고 있었고 키워드 추출과 플랫폼별 비교 분석을 간단하게 완성해서 어떤식으로 동작하는지 알아보기 위해 글을 작성한다. 전체적인 실행 흐름은 아래와 같다... 2026. 1. 2. 이전 1 2 3 4 ··· 15 다음