pyspark 자주 접하는 오류들

Databricks로 pyspark 공부를 해 보고 있다.
Databricks가 워낙 잘 만든 튤이기도 하고
무엇보다 공짜라서.
근데 아무래도 공짜다 보니
자주 접하는 오류들 현상들이 많다.
무료 라이센스 제품을 쓰니
빠른 포기가 정신건강에 좋은데
찾아보다가 포기한 몇가지 내용들 공유해본다.

Cluster compute Terminated
특정시간 동안 안쓰면
Cluster Terminated가 되는데...
이거 살릴 방법이 없다. 그냥 clone 해서
새로 테이블 생성하는게 가장 빠른 답 같다.
혹시나 기존 죽어버린 terminated된 cluster 살릴 수 있는 방법 아시는분 댓글 달아주시면 무지 감사!

clone 해서 새로 만들면
이렇게 restart 부터 옵션들이 나오는데
기존 이미 terminated된건 그런 옵션이 안보인다.
clone, delete밖에 없다.
커뮤니티버전, 무료버전이라
어쩔 수 없다고 생각하고 포기함.
그래서 Databricks 공부할때는
어느정도 시간적 여유가 있을때 한다.

하다가 결국 중간에 안하면 서버 죽어버리면 새로 다 세팅해야하니깐.

그 다음 많이 접하는 Databricks Error
Failed to create cluster. Request rejected since the total number of nodes would exceed the limit of 1
이건 머 cluster 죽어서 새로 하나는 선택되어야 한다는 아주 쉬운 에러

오늘은 여기까지

pyspark 자주 접하는 오류들 이야기
끝-