본문 바로가기
데이터엔지니어링/Spark

spark-shell 실행시 에러 처리 - on window

by 버섯도리 2025. 6. 26.

----------------------------------------------------------------------------------------------------------------------

scala> :q
25/06/26 13:31:23 ERROR ShutdownHookManager: Exception while deleting Spark temp dir: C:\Users\Samsung\AppData\Local\Temp\spark-867da44d-544f-4c21-9d23-8d0fb935d2e5\repl-0addcc97-04ab-4b33-bec6-5aed5f7caa93
java.io.IOException: Failed to delete: C:\Users\Samsung\AppData\Local\Temp\spark-867da44d-544f-4c21-9d23-8d0fb935d2e5\repl-0addcc97-04ab-4b33-bec6-5aed5f7caa93\$line9\$read.class

----------------------------------------------------------------------------------------------------------------------

 

%SPARK_HOME%/conf/log4j2.properties 파일에 아래 내용 추가 (최초에는 template 파일 복사해서 사용)

----------------------------------------------------------------------------------------------------------------------

logger.shutdownhookmanager.name = org.apache.spark.util.ShutdownHookManager
logger.shutdownhookmanager.level = OFF
logger.sparkenv.name = org.apache.spark.SparkEnv
logger.sparkenv.level = ERROR

----------------------------------------------------------------------------------------------------------------------

 

'데이터엔지니어링 > Spark' 카테고리의 다른 글

master, worker 실행 on Window  (0) 2025.06.27
RStudio spark 개발 설정  (0) 2025.06.27