모르는 상태로 하는 RSS&분석&RAG 프로젝트(6) RSS & DB 선택

어제까지 celery+redis를 간단하게 원리나 방법을 알아보았다면 오늘은 RSS에 대해서 간단하게 알아보겠다.

 

먼저 RSS(Really Simple Syndication 또는 Rich Site Summary)는
독자가 웹사이트에 직접 방문하지 않고 업데이트되는 뉴스를 실시간으로 받아볼 수 있는 서비스입니다.

출처: 경항신문

 

쉽게 말하면 '구독'과 같은 개념이라고 할 수 있다.

 

하지만, RSS는 저작권이 민감한 문제라 쉽게 다가가선 안된다는걸 알고있다. 

 

그래서 우리는 직접링크(Deep Link)를 통해 수집한 뉴스나 SNS를 대시보드에 내보낼 생각이다. 직접 링크는 하위페이지나 특정 웹페이지, 특히 개별 뉴스나 사진을 직접 링크한 경우를 말하는데 현재까지는 직접링크도 저작권법상의 복제,전송에는 해당되지 않느것이 법원이 판단이지만, 직접링크를 업무적 또는 상업적으로 이용하여 경제적 이득을 취했을 경우에는 민법상 부당이득, 불법행위 등을 이유로 손해배상 책임을 질 수 있다. 출처: https://www.newstore.or.kr/store/copyRight/useRule.do

https://www.newstore.or.kr/store/copyRight/useRule.do

 

내가 개발할 프로젝트는 RSS를 수집하는게 목적이 아니라 수집한 뉴스나 SNS를 분석 하고 분석이 완료된 아이들만 대시보드에 내보낼 예정이기에 직접링크(기사 제목, 한두줄의 내용, 출처, 링크제공)을 통해 대용량 트래픽을 경험해 볼 생각이다. 

 

이제 법적문제까지 어느정도 봤으니 코드를 살펴보기 전에 SQL를 선택하고 연결해야할 것 같다. 

SQLite는 수집된 내용에 대해서 전부 저장이 어렵고 나중을 위해 먼저 DB를 연결하여 진행하는게 좋을 것 같다는 생각이였다.

 

DB는 다른 RDB들과 PostgreSQL 비교를 해본 결과

 

출처:https://velog.io/@shinsungyun/TIL-230729-%EB%8C%80%EC%9A%A9%EB%9F%89-%ED%8A%B8%EB%9E%98%ED%94%BD-%EC%B2%98%EB%A6%AC-DB-%EC%84%A0%EC%A0%95

• PostgreSQL: PostgreSQL은 오픈 소스 객체-관계형 데이터베이스 시스템으로, 확장성과 성능이 뛰어나며, 다양한 데이터 타입을 지원합니다. 또한, PostgreSQL은 복제와 샤딩을 통해 고용량 트래픽을 처리할 수 있습니다. 트랜잭션 처리 능력이 뛰어나고, 많은 참조 자료가 있어 실제 환경에서 많이 사용됩니다. 또한, 오픈 소스이기 때문에 비용 부담이 적습니다.
• MySQL: MySQL은 가장 널리 사용되는 오픈 소스 관계형 데이터베이스 중 하나로, 높은 성능, 확장성, 유연성을 제공합니다. MySQL은 복제와 파티셔닝 기능을 통해 고용량 트래픽을 처리할 수 있습니다. 또한, InnoDB 스토리지 엔진을 사용하면 높은 성능의 트랜잭션 처리가 가능합니다. 많은 참조 자료가 있어 실제 환경에서 많이 사용되며, 오픈 소스이기 때문에 비용 부담이 적습니다.

---

1. 트랜잭션 처리: PostgreSQL은 MVCC(Multi-Version Concurrency Control)를 사용하여 동시성을 제어합니다. 이는 여러 트랜잭션이 동시에 실행될 때 데이터 일관성을 유지하면서 성능을 향상시키는 데 도움이 됩니다. 반면에, MySQL은 행 수준의 잠금을 사용하여 동시성을 제어합니다. 이는 동시에 많은 트랜잭션이 발생할 때 성능에 영향을 줄 수 있습니다.
2. 기능: PostgreSQL은 JSON, XML 등의 비관계형 데이터를 지원하며, 사용자 정의 함수, 트리거, 저장 프로시저 등의 고급 기능을 제공합니다. 반면에 MySQL은 이러한 기능을 제한적으로만 지원합니다.
3. 확장성: PostgreSQL은 수직 및 수평 확장이 가능하며, 복제 및 파티셔닝 기능을 통해 대규모 트래픽을 처리하는 데 더 유리합니다. 반면에 MySQL은 주로 수직 확장에 초점을 맞추고 있습니다.
4. 성능: PostgreSQL은 복잡한 쿼리와 대규모 데이터베이스에 대해 더 높은 성능을 제공합니다. 반면에 MySQL은 간단한 쿼리에 대해 빠른 응답 시간을 제공하지만, 복잡한 쿼리에 대해서는 PostgreSQL보다 성능이 떨어질 수 있습니다

출처: https://velog.io/@shinsungyun/TIL-230729-%EB%8C%80%EC%9A%A9%EB%9F%89-%ED%8A%B8%EB%9E%98%ED%94%BD-%EC%B2%98%EB%A6%AC-DB-%EC%84%A0%EC%A0%95

 

를 살펴본 뒤 PostgreaSQL으로 진행하기로 했다. 

 

몸 상태가 안좋아서 오늘은 여기까지 하고.... 내일 다시 해야겠다