asyncio2 [사이드 프로젝트] 크롤링 OOP 구조 변경, Asyncio 적용 이전 포스팅에서 역할에 맞는 클래스를 설계했습니다. [사이드 프로젝트] 크롤링 마이그레이션, Pandas CSV 용량 줄이기 - Parquet 으로 1/10 용량으로 압축하 최근에 사이드프로젝트 백엔드를 작업하다, 데이터 작업도 같이 맡게 되었습니다. 기존엔 프론트엔드 개발자인 형 혼자서 담당했는데, 개발 리소스를 분산하고자 배우고 있네요. ☺️ 데이터를 itchipmunk.tistory.com 그 중 아래 클래스를 만들었는데요~ ✅ Loader : 일감 가져오기 ✅ Scheduler : 일감 분배하기 ✅ Scrapper : 분배된 일감으로 수집하기 ❌ Storage : 데이터 저장하기 ❌ Uploader: 외부 스토리지로 업로드하기 어젯밤 만들지 못한 Storage, Uploader 클래스를 만들어봤습.. 프로젝트/장기 프로젝트 2024. 3. 28. 파이썬 중급, 인프런 리프 #4. 파이썬 병행성, 비동기 AsyncIO 멀티 스크랩핑 실습 후기 안녕하세요. 인프런 리프 2기 다람쥐입니다. 네 번째 주차에는 파이썬 병행성과 비동기 AsyncIO 멀티 스크랩핑을 공부했어요. 파이썬 병행성 강의에선 많은 것을 배웠는데요, 먼저, 첫 강의에선 병행성(Concurrency) 이라는 개념과 더불어 이터레이터(Iterator)와 제너레이터(Generator)를 소개했어요. 이터레이터와 제너레이터를 실습해보고 어떤 차이점이 있는지 배웠어요~ 그 다음 강의에선 코루틴(Coroutine) 개념을 배웠어요. 병행성을 처음 접하는 분들에겐 생소한 개념이다 보니 많은 신경을 써서 천천히 알려주신 점이 인상 깊었네요! 코루틴과 서브루틴의 차이점과 쓰레드는 무엇인지, 코루틴이 쓰레드보다 어떤 점이 나은지, 왜 나은지를 알 수 있었어요! 그 다음 강의에선 concurren.. 자유/대외 활동 2021. 4. 1. 이전 1 다음
