Gil1

• 

  [사이드 프로젝트] 크롤링 OOP 구조 변경, Asyncio 적용 이전 포스팅에서 역할에 맞는 클래스를 설계했습니다. [사이드 프로젝트] 크롤링 마이그레이션, Pandas CSV 용량 줄이기 - Parquet 으로 1/10 용량으로 압축하 최근에 사이드프로젝트 백엔드를 작업하다, 데이터 작업도 같이 맡게 되었습니다. 기존엔 프론트엔드 개발자인 형 혼자서 담당했는데, 개발 리소스를 분산하고자 배우고 있네요. ☺️ 데이터를 itchipmunk.tistory.com 그 중 아래 클래스를 만들었는데요~ ✅ Loader : 일감 가져오기 ✅ Scheduler : 일감 분배하기 ✅ Scrapper : 분배된 일감으로 수집하기 ❌ Storage : 데이터 저장하기 ❌ Uploader: 외부 스토리지로 업로드하기 어젯밤 만들지 못한 Storage, Uploader 클래스를 만들어봤습.. 프로젝트/장기 프로젝트 2024. 3. 28.