본문 바로가기

전체 글145

잠금 확인 selectr.trx_id as waiting_trx_id , r.trx_mysql_thread_id as waiting_thread , r.trx_query as waiting_query, b.trx_id as blocking_trx_id , b.trx_mysql_thread_id as blocking_thread , b.trx_query as blocking_queryfrom performance_schema.data_lock_waits winner join information_schema.innodb_trx bon b.trx_id = w.blocking_engine_transaction_idinner join information_schema.innodb_trx ron r.t.. 2025. 10. 18.
대용량 테이블 구조 변경 시나리오 샘플 -- // 데이터의 압축을 적용하기 위해 KEY_BLOCK_SIZE=4 옵션을 추가해 신규 테이블을 생성mysql> CREATE TABLE access_log_new ( id BIGINT NOT NULL AUTO_INCREMENT, client_ip INT UNSIGNED, access_dttm TIMESTAMP, ... PRIMARY KEY(id) ) KEY_BLOCK_SIZE = 4; -- // 4개이 스레드를 이용해 id 범위별로 레코드를 신규 테이블로 복사mysql_thread1> INSERT INTO access_log_new SELECT * FROM access_log WHERE id >= 0 AND id mysql_thread2> INSERT INTO acce.. 2025. 10. 11.
InnoDB 버퍼 확인 -- 테이블의 인덱스별로 데이터 페이지가 얼마나 InnoDB 버퍼 풀에 적재돼 있는지 확인selectit.name table_name, ii.name index_name, ici.n_cached_pagesfrom information_schema.innodb_tables itinner join information_schema.innodb_indexes ii ON ii.table_id = it.table_id inner join information_schema.innodb_cached_indexes ici ON ici.index_id = ii.index_idwhere it.name = concat('employees','/','employees');-- 테이블 전체(인덱스 포함) 페이지.. 2025. 10. 8.
spark submit bat on window ---------------------------------------------------------------------------------------------------------------------------------------------@echo off set class=%1 set spark_master=spark://210.179.181.233:7077 rem set spark_master=local[4] set scala_version=2.11 set app_jar=spark-for-beginners_%scala_version%-1.0.jar set path_to_app_jar=target/scala-%scala_version%/%app_jar% rem IF [ %2 == "1" ].. 2025. 7. 17.
master, worker 실행 on Window spark-class org.apache.spark.deploy.master.Master spark-class org.apache.spark.deploy.worker.Worker spark://14.47.240.183:7077--> spark url은 마스터 로그 혹은 웹 화면에서 확인 2025. 6. 27.
RStudio spark 개발 설정 SPARK_HOME_DIR Sys.setenv(SPARK_HOME = SPARK_HOME_DIR) .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) library(SparkR) spark 2025. 6. 27.