아리아 날다

기존의 코드 변경을 거의 하지 않고도 쉽게 분산/병렬화 할 수 있다는 장점이 있는 프레임워크 Ray를 프로젝트에서 사용해보고 싶어서 설치를 시도했다. 그런데..! ERROR: Could not find a version that satisfies the requirement ray (from versions: none) ERROR: No matching distribution found for ray 버전이 맞지 않아서 설치할 수 없다는 에러가 떴다. 기존에 사용하던 Python 버전은 3.11이었는데, 현재 Ray는 Python 3.6부터 3.9까지의 버전을 지원하고 3.11버전을 지원하는지에 대한 공식적인 발표는 나오지 않았다. 또한, Ray의 일부 기능은 Windows에서 지원되지 않는다😿 특히 G..

| 들어가며 | 안녕하세요, 인생의 고수가 되고 싶은 아리아입니다. 오늘은 지난 게시글에서 말씀 드렸던 이미지 데이터를 크롤링한 후 저장하는 기능을 구현하면서 만났던 문제상황과 해결과정에 대해서 작성해보려고 합니다. 데이터 수집이 끝나면 TensorFlow를 이용해 이미지를 카테고리별로 AI가 구분할 수 있도록 학습시키는 작업을 할 예정입니다. 효과적인 AI학습을 위해선 최대한 많은 양의 이미지 데이터를 다운로드 받아야 하고, 경우에 따라선 AI가 제대로 인식할 수 있도록 이미지를 가공하는 작업도 필요합니다. 그럼 이제부터 이미지를 다루는데 어떤 문제가 있었고, 어떻게 해결했는지에 대해서 알아보겠습니다. | 문제 상황 | ⚠️ 하나의 이미지에 여러장의 이미지가 들어있다. 더베를린과 포르테나 사이트의 경우..

| 들어가며 | 안녕하세요. 인생의 고수가 되고 싶은 아리아입니다. 최근 프로젝트를 새로 시작하면서 사용하고 싶은 기술, 만들고 싶은 기능은 많은데 어느 것 하나 쉬운게 없다는 걸 몸소 깨달았습니다. 그래서 실패와 성공에 일희일비 하지 않고 고수처럼 초연하게 나만의 서비스를 만들고 싶다는 생각을 자주 했는데요. 이번 블로그를 시작으로 다양한 문제상황을 마주하며 그만큼 의미있는 경험들도 할 수 있었던 프로젝트인 JBLY를 진행하면서 겪은 문제 상황과 해결 방법에 대해서 세 차례에 걸쳐 다음 순서로 연재해보려고 합니다. 1️⃣ 셀레니움을 이용한 동적 크롤링, 잘 알고 쓰시나요? 2️⃣ 쇼핑몰 크롤링시 뭉쳐있는 이미지 OpenCV로 crop해서 저장하기 3️⃣ 20,000장의 사진을 몇 분 안에 크롤링하고 다..