목록크롤링 (2)

아리아 날다

[Python병렬처리] Windows 환경에 Ray설치하기!

기존의 코드 변경을 거의 하지 않고도 쉽게 분산/병렬화 할 수 있다는 장점이 있는 프레임워크 Ray를 프로젝트에서 사용해보고 싶어서 설치를 시도했다. 그런데..! ERROR: Could not find a version that satisfies the requirement ray (from versions: none) ERROR: No matching distribution found for ray 버전이 맞지 않아서 설치할 수 없다는 에러가 떴다. 기존에 사용하던 Python 버전은 3.11이었는데, 현재 Ray는 Python 3.6부터 3.9까지의 버전을 지원하고 3.11버전을 지원하는지에 대한 공식적인 발표는 나오지 않았다. 또한, Ray의 일부 기능은 Windows에서 지원되지 않는다😿 특히 G..
파이썬 2023. 4. 17. 17:46
[Python Crawling] 쇼핑몰 크롤링시 뭉쳐있는 이미지 OpenCV로 crop해서 저장하기

| 들어가며 | 안녕하세요, 인생의 고수가 되고 싶은 아리아입니다. 오늘은 지난 게시글에서 말씀 드렸던 이미지 데이터를 크롤링한 후 저장하는 기능을 구현하면서 만났던 문제상황과 해결과정에 대해서 작성해보려고 합니다. 데이터 수집이 끝나면 TensorFlow를 이용해 이미지를 카테고리별로 AI가 구분할 수 있도록 학습시키는 작업을 할 예정입니다. 효과적인 AI학습을 위해선 최대한 많은 양의 이미지 데이터를 다운로드 받아야 하고, 경우에 따라선 AI가 제대로 인식할 수 있도록 이미지를 가공하는 작업도 필요합니다. 그럼 이제부터 이미지를 다루는데 어떤 문제가 있었고, 어떻게 해결했는지에 대해서 알아보겠습니다. | 문제 상황 | ⚠️ 하나의 이미지에 여러장의 이미지가 들어있다. 더베를린과 포르테나 사이트의 경우..
파이썬 2023. 4. 4. 16:38
이전 Prev 1 Next 다음