본문 바로가기

전체 글141

master, worker 실행 on Window spark-class org.apache.spark.deploy.master.Master spark-class org.apache.spark.deploy.worker.Worker spark://14.47.240.183:7077--> spark url은 마스터 로그 혹은 웹 화면에서 확인 2025. 6. 27.
RStudio spark 개발 설정 SPARK_HOME_DIR Sys.setenv(SPARK_HOME = SPARK_HOME_DIR) .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) library(SparkR) spark 2025. 6. 27.
spark-shell 실행시 에러 처리 - on window ----------------------------------------------------------------------------------------------------------------------scala> :q 25/06/26 13:31:23 ERROR ShutdownHookManager: Exception while deleting Spark temp dir: C:\Users\Samsung\AppData\Local\Temp\spark-867da44d-544f-4c21-9d23-8d0fb935d2e5\repl-0addcc97-04ab-4b33-bec6-5aed5f7caa93 java.io.IOException: Failed to delete: C:\Users\Samsung\AppData.. 2025. 6. 26.
CentOS 8 stream yum error (repository) cd /etc/yum.repos.d ** 아래 repo 파일에서 mirrorlist 주석 처리 vi CentOS-Stream-AppStream.repo ----------------------------------------------------------------------------------------------------------------- baseurl=http://vault.centos.org/$contentdir/$releasever/AppStream/$basearch/os/----------------------------------------------------------------------------------------------------------------- vi Cen.. 2025. 6. 23.
[R 통계분석] 상관과 회귀 Section 01. 상관계수 > # 서로 다른 상관계수와 그에 따른 산점도의 변화 > > set.seed(9) > rvnorm > r1 plot(r1, main="r=0.8") > abline(lm(r1[,2] ~ r1[,1]), col="red") > > r2 plot(r2, main="r=0") > abline(h=0, col="red") > > r3 plot(r3, main="r=-0.8") > abline(lm(r3[,2] ~ r3[,1]), col="red") > > ## 01) 아버지와 아들 키의 공분산과 상관계수 > > hf https://www.randomservices.org/random/data/Galton.txt", header=T, stringsAsFactors = FALSE, s.. 2022. 8. 27.
[R 통계분석] 범주형 자료분석 Section 01. 적합도 검정 > # 자유도가 3인 χ2-분포에서 기각역(α=0.05) > > x dc > alpha tol > par(mar=c(0,1,1,1)) > plot(x, dc, type="l", axes=F, ylim=c(-0.03, 0.25), xlab="", ylab="", col = "blue") > abline(h=0) > abline(h=0, col = "blue") > tol.g polygon(c(tol.g, x[x>tol.g], 15), c(0, dc[x>tol.g], 0), col="red") > text(0, -0.03, "0", cex=0.8) > text(tol, -0.03, expression(chi[0.05]^{2}==2.14), cex=0.8) > > # 적합도 .. 2022. 8. 19.