EUB's second brain

toolbox: 직접 만들어 쓰는 유틸 모음

Sun, 31 May 2026 10:00:00 +0900

toolbox는 Linux 데스크탑/노트북 환경을 보강하기 위해 직접 만들어 쓰는 잡다한 유틸 모음 저장소다. 각 도구는 독립된 디렉터리에 자체 README와 설치 스크립트를 갖춘 단위로 구성되어 있다.

현재 등록된 도구는 다음과 같다.

charger-watts

USB-C PD 충전기의 실제 협상 와트수를 CLI와 KDE Plasma 6 패널 위젯으로 표시한다. ThinkPad Embedded Controller의 HWAT 필드를 ec_sys 모듈로 직접 읽어 와트수를 가져오며, ThinkPad가 아닌 경우 UCSI sysfs로 fallback한다. Plasma 위젯은 폴링 없이 충전기 연결/해제 이벤트 발생 시에만 EC를 읽어 갱신하는 event-driven 방식이다.

cargo/rust 용 Proxy 저장소

Sat, 21 Jun 2025 15:13:00 +0900

Sonatype Nexus Community Edition 사용 예

3.77 이상 버전을 써야 CE 버전에서도 cargo repository를 사용할 수 있다. 단, 3.77 버전부터는 사용량 hard limit이 존재한다. 다음 명령으로 간단히 로컬에 구동:

docker run -d -p 8081:8081 --name nexus sonatype/nexus3

cargo-proxy로 repository를 만들었다고 가정, remote URL은 https://index.crates.io로 설정한다.

.cargo/config.toml에 다음과 같이 내용 추가:

❯ cat .cargo/config.toml
[registries.nexus]
index = "sparse+http://localhost:8081/repository/cargo-proxy/"
[registry]
default = "nexus"
[source.crates-io]
replace-with = "nexus"
[source.nexus]
registry = "sparse+http://localhost:8081/repository/cargo-proxy/"

https://index.crates.io/의 설명을 보면 sparse 프로토콜을 사용한다. 위 config.toml에서 sparse+를 빼먹으면 정상 동작하지 않는다.

Ranger에서 Hive로 권한 동기화 비활성화

Sat, 19 Oct 2024 16:26:00 +0900

Secure Hadoop 클러스터에서 Apache Ranger로 인가를 수행할 때, Hive 4.x.x 미만 버전은 기본적으로 모든 Ranger Hive 정책을 Hive용 RDBMS에 동기화한다. 이는 불필요하며 DB에 높은 부하를 유발할 수 있다. (https://issues.apache.org/jira/browse/HIVE-25391) HiveServer2에서 다음 설정으로 비활성화할 수 있다.

hive.privilege.synchronizer=false

"jute.maxbuffer" 관련 모니터링 지표

Sat, 25 May 2024 22:34:00 +0900

ZooKeeper 사용 시 “jute.maxbuffer"라는 설정이 있다. ZooKeeper 클라이언트 또는 서버 측에서 설정 가능하며, 클라이언트 측 설정값은 서버 측보다 낮아야 한다. 클라이언트가 이 설정값보다 큰 데이터를 받으면 오류가 발생한다.

MySQL 사용 시 Hive Metastore 체크리스트

Thu, 12 Oct 2023 08:34:00 +0900

MySQL Index

Hive Metastore가 RDBMS에 메타데이터를 저장/조회할 때 비용이 큰 작업이 있다.
다음은 관련 공식 Hive 패치의 인덱스 생성 SQL이다.

-- HIVE-21063
CREATE UNIQUE INDEX `NOTIFICATION_LOG_EVENT_ID` ON NOTIFICATION_LOG (`EVENT_ID`) USING BTREE;
-- HIVE-21487
CREATE INDEX COMPLETED_COMPACTIONS_RES ON COMPLETED_COMPACTIONS (CC_DATABASE,CC_TABLE,CC_PARTITION);
-- HIVE-27165
DROP INDEX TAB_COL_STATS_IDX ON TAB_COL_STATS;
CREATE INDEX TAB_COL_STATS_IDX ON TAB_COL_STATS (DB_NAME, TABLE_NAME, COLUMN_NAME, CAT_NAME) USING BTREE;
DROP INDEX PCS_STATS_IDX ON PART_COL_STATS;
CREATE INDEX PCS_STATS_IDX ON PART_COL_STATS (DB_NAME,TABLE_NAME,COLUMN_NAME,PARTITION_NAME,CAT_NAME) USING BTREE;

Hive 업그레이드 시 RDBMS 테이블에 변경사항이 있을 수 있다. 버전별 필요한 SQL은 https://github.com/apache/hive/tree/master/standalone-metastore/metastore-server/src/main/sql/mysql 에서 확인 가능하다.

krb5.conf의 "rdns = false"가 Hadoop 생태계에서 동작하지 않는 사례

Sun, 02 Jul 2023 18:48:00 +0900

https://web.mit.edu/kerberos/krb5-1.13/doc/admin/princ_dns.html

운영 체제 버그로 인해 rdns = false 설정이 reverse DNS lookup을 비활성화하지 못할 수 있다. 일부 GNU libc 버전의 getaddrinfo()는 필요하지 않은 경우에도 PTR 레코드를 조회하는 버그가 있다. MIT Kerberos 릴리스 krb5-1.10.2 이상 및 krb5-1.9.x 시리즈(krb5-1.9.4 이상)에는 이 문제에 대한 해결 방법이 포함되어 있다.

Hadoop 생태계에서 krb5.conf의 “rdns = false"가 적용되지 않는 경우가 있다. /etc/hosts를 수정하거나 PTR 레코드를 등록하여 해결할 수 있다.

1. HiveMetaStoreClient

https://github.com/apache/hive/blob/rel/release-3.1.3/standalone-metastore/src/main/java/org/apache/hadoop/hive/metastore/HiveMetaStoreClient.java#L246

if (uriResolverHook != null) {
 metastoreURIArray.addAll(uriResolverHook.resolveURI(tmpUri));
} else {
 metastoreURIArray.add(new URI(
 tmpUri.getScheme(),
 tmpUri.getUserInfo(),
 HadoopThriftAuthBridge.getBridge().getCanonicalHostName(tmpUri.getHost()),
 tmpUri.getPort(),
 tmpUri.getPath(),
 tmpUri.getQuery(),
 tmpUri.getFragment()
 ));
}

metastore.thrift.uris 또는 hive.metastore.uris에서 canonical hostname을 확인하는 로직이 있다. 해결된 hostname이 원하는 대로 나오지 않는다면 다음 가지 해결 방법이 있다.

Hadoop 명령어 모음

Sun, 05 Feb 2023 17:02:26 +0900

HDFS

재시작 없이 설정 변경 (reconfigure)

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html

재시작 없이 변경 가능한 key는 제한적임

$ hdfs dfsadmin -reconfig namenode nn1.example.com:8020 properties
Node [nn1.example.com:8020] Reconfigurable properties:
dfs.block.placement.ec.classname
dfs.block.replicator.classname
dfs.heartbeat.interval
dfs.image.parallel.load
dfs.namenode.avoid.read.slow.datanode
dfs.namenode.block-placement-policy.exclude-slow-nodes.enabled
dfs.namenode.heartbeat.recheck-interval
dfs.namenode.max.slowpeer.collect.nodes
dfs.namenode.replication.max-streams
dfs.namenode.replication.max-streams-hard-limit
dfs.namenode.replication.work.multiplier.per.iteration
dfs.storage.policy.satisfier.mode
fs.protected.directories
hadoop.caller.context.enabled
ipc.8020.backoff.enable

"HADOOP_CLASSPATH" 환경 변수에 대해

Sun, 05 Feb 2023 16:54:58 +0900

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/UnixShellGuide.html#HADOOP_CLASSPATH

Hadoop 생태계에서 HADOOP_CLASSPATH 환경 변수는 다양한 곳에서 사용된다. Hive도 이 변수를 사용한다. beeline 같은 스크립트에서 HADOOP_CLASSPATH 변수가 어떻게 사용되는지 궁금했다. Hive 소스 코드에서는 HADOOP_CLASSPATH 변수를 찾을 수 없었다. 알고 보니 beeline 실행 시 hadoop jar 명령을 사용한다. (https://github.com/apache/hive/blob/rel/release-3.1.3/bin/ext/beeline.sh#L35) 이때 RunJar.java가 사용되며, 여기서 HADOOP_CLASSPATH가 CLASSPATH 설정에 사용된다. (https://github.com/apache/hadoop/blob/rel/release-3.3.4/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/util/RunJar.java#L347-L351)

Hadoop 생태계에서 RunJar#main을 사용하는 경우, 대부분 HADOOP_CLASSPATH 환경 변수를 따르게 된다.

SPNEGO 활성화 Hadoop DataNode가 Kerberos "replay attack"을 오판하는 문제

Sun, 05 Feb 2023 16:01:17 +0900

참고
- https://docs.cloudera.com/cloudera-manager/7.5.5/security-troubleshooting/cm-security-troubleshooting.pdf
- https://search-guard.com/elasticsearch-kibana-kerberos/

Hadoop 데몬(NameNode, DataNode, JournalNode, ResourceManager, NodeManager 등)이 동일한 kerberos keytab(/etc/security/keytabs/spnego.service.keytab)과 principal(HTTP/_HOST@{REALM})을 공유하기 때문에 발생하는 문제로 추정된다. 특정 상황에서 DataNode가 이를 replay attack으로 오판한다.

다음 JVM 시스템 속성을 Hadoop 데몬에 추가하면 해결된다. Java 프로세스가 replay cache를 사용하지 않게 된다.

-Dsun.security.krb5.rcache=none

소개

Mon, 01 Jan 0001 00:00:00 +0000

제 이름은 이유비입니다.
데이터 엔지니어로 일하고 있습니다.

email: eubnara@gmail.com
github: https://github.com/eubnara
linkedin: https://kr.linkedin.com/in/yubi-lee-40a158130

오픈소스 기여

Hadoop

HDFS-17912: HttpFS: hadoop-httpfs.sh ignores HTTPFS_CONFIG when locating httpfs-env.sh
HDFS-17883: dfs.net.topology.impl should be respected when dfs.use.dfs.network.topology=true
HDFS-17877: DatanodeID.updateRegInfo() does not update hostNameBytes causing stale hostname on client
HDFS-17868: introduce BlockPlacementPolicyCrossDC for multi datacenter stretched hdfs cluster
HDFS-17655: Cannot run HDFS balancer with BlockPlacementPolicyWithNodeGroup
HADOOP-19319: configurationChangeMonitor is not properly set on HttpServer2
HADOOP-18806: Document missing property (ipc.server.read.threadpool.size) in core-default.xml
HADOOP-18666: A whitelist of endpoints to skip Kerberos authentication doesn’t work for ResourceManager and Job History Server
HDFS-16883: fix duplicate field name in hdfs-default.xml
HADOOP-18585: DataNode’s internal infoserver redirects with http scheme, not https when https enabled.
HADOOP-18398: Prevent AvroRecord*.class from being included non-test jar
HADOOP-18087: fix bugs when looking up record from upstream DNS servers.
- When query A record which is chained by CNAME, YARN Registry DNS Server does not properly respond. Some CNAME records are missing.
HADOOP-17861: improve YARN Registry DNS Server qps
HDFS-13259: fix file preview bug in NameNode UI
HDFS-13260: fix guide about HA with QJM

Apache HBase

HBASE-28911: Automatic SSL keystore reloading for HttpServer
HBASE-28816: The description of “hbase.superuser” is confusing
HBASE-28294: Support to skip Kerberos authentication for metric endpoints

Apache Phoenix

PHOENIX-7635: Update Connectors to use Spark 3.5.6

Apache Hive

HIVE-28739: support restricting users to create deferred view

Apache Bigtop

BIGTOP-3906: Wrapper script for hive sources wrong default file
BIGTOP-3850: fix conflict when installing ranger-hdfs-plugin and ranger-yarn-plugin on the same machine

Apache Ambari

AMBARI-26598: Don’t execute dangerous metatool command when starting hiveserver2
AMBARI-26555: Password leaked for configurations at stack root (e.g. cluster-env.xml)
AMBARI-26533: Ranger Admin Restart Deletes JDBC JAR When Installed on Same Host as Ambari Server
AMBARI-26312: Clean up RequestScheduleEntity and RequestScheduleBatchRequestEntity also
AMBARI-26311: postgresql-server should be installed even though ambari-server is configured with mysql
AMBARI-26075: Wrong datanode pid file when security enabled and unprivileged port is used
AMBARI-25891: Enhancements when regenerating keytabs and changing Kerberos configurations
AMBARI-25797: Fail to add a component on the same machine with ambari-server of a new service with no kerberos identity when kerberos enabled
AMBARI-25788: Ambari server keeps generating keytabs even with KerberosServerAction#OperationType.CREATE_MISSING option.
AMBARI-25624: optimize creating kerberos keytab
- branch-2.7: https://github.com/apache/ambari/pull/3353
- trunk: https://github.com/apache/ambari/pull/3588
AMBARI-25720: Support Apache Directory Server
AMBARI-25719: Fix bug when enabling kerberos in Ambari 2.7.6
- trunk: https://github.com/apache/ambari/pull/3589
AMBARI-25619: improve “Prepare delete identities” process when deleting component in host in kerberized cluster
AMBARI-25422: optimize loading the first page for Ambari UI
AMBARI-25491: newline characters are ignored on custom property in Ambari Web editor

Apache Ranger

RANGER-5110: Update the FQDN of users and groups whenever it changes
RANGER-4887: Change default configuration values for column masking and row-level filtering on hive policy
RANGER-4886: do not Html-escape for user, group and role name
RANGER-4418: Upgrade hadoop version and use shaded hadoop client artifacts
RANGER-4247: auditPolicyEvaluators should be set before logging it
RANGER-4236: enhance Ranger JSON audit to HDFS by compressing as gzip
RANGER-4068: fix error caused by missing dnsjava library
RANGER-3924: fix unnecessary sync caused by incremeting timestamp value typo
RANGER-3858: On dev-support, service creation and ranger-kafka-plugin setup are failed

Apache Spark

SPARK-44976: Utils.getCurrentUserName should return the full principal name
SPARK-40964: (TBD) Cannot run spark history server with shaded hadoop jar
SPARK-40072: fix build failure when using make-distributions.sh

Apache Impala

IMPALA-13413: num_cores flag does not work.
- https://gerrit.cloudera.org/#/c/23333/
IMPALA-13696: Exclude conflicting JAX-RS libraries
- https://gerrit.cloudera.org/#/c/22394/
IMPALA-9170: close idle connections without an associated session
IMPALA-13327: bin/bootstrap_toolchain.py always download hbase-2.6.0-hadoop3-bin.tar.gz when USE_APACHE_COMPONENTS=true
IMPALA-13311: Hive3 INSERT failed by ClassNotFoundException: org.apache.tez.runtime.api.Event
- https://gerrit.cloudera.org/#/c/21706/
IMPALA-13023: support webserver ldap filter when using spnego
- https://gerrit.cloudera.org/#/c/21339/
IMPALA-10408: Support Apache components to build Apache Impala to reduce dependencies of CDH or CDP
- https://gerrit.cloudera.org/#/c/18977/

Apache KUDU

https://issues.apache.org/jira/browse/KUDU-3549: String gauge exposed in prometheus format

Cloudera HUE

https://github.com/cloudera/hue/pull/1134 (not merged): fix bug in handling + character in filebrowser
https://github.com/cloudera/hue/pull/1135: fix bug in substituting liboozie.remote_deployement_dir variable

Apache Zeppelin

ZEPPELIN-6396: Separate restart all interpreters into a dedicated endpoint
ZEPPELIN-5594: HDFS file id should be read as “long”, not “int”.

Apache Avro

AVRO-3877: [doc] fix wrong configuration for avro-maven-plugin in java example

KRB5

https://github.com/krb5/krb5/pull/1467: fix to rename FILE credential cache on windows

ETC

ansible
- https://github.com/ansible/ansible/pull/86777: Fix –start-at-task silently skipping all tasks after the first
NewPipe
- https://github.com/TeamNewPipe/NewPipe/pull/13169: Fix audio ducking issue by using Android’s automatic audio focus management
Spring-shell
- https://github.com/spring-projects/spring-shell/pull/432#issuecomment-1144522860: add a feature to terminate spring-shell with CTRL+D
gotty-client
- https://github.com/moul/gotty-client/pull/99: fix disconnection caused by not handling syscall.EINTR
- fix basic auth. token base64 encoding
  - https://github.com/moul/gotty-client/pull/105
  - https://github.com/moul/gotty-client/pull/108
- https://github.com/moul/gotty-client/pull/110: get password without revealing it
react-native-cache
- https://github.com/timfpark/react-native-cache/pull/25: add a feature to support cache expiration
discovery-zookeeper
- https://github.com/naver/discovery-zookeeper
- elasticsearch plugin to discovery hosts in cluster based on information in znode of Zookeeper
winstonjs
- https://github.com/winstonjs/winston/pull/1559: fix confusing log message

오픈소스 커뮤니케이션

TeamNewPipe/NewPipe#9710: NewPipe Android audio ducking problem
apache/iceberg#10181: How to avoid partition key sorting when inserting data into a partitioned Iceberg table?

번역

The Kerberos Protocol And Its Implementations

발표

TossBank SLASH24: Building a Hadoop cluster with open source
- https://toss.im/slash-24/sessions/5
- https://www.youtube.com/watch?v=4BcSVF4bLtU
NAVER DEVIEW 2021: 초대용량 멀티테넌트 시큐어 하둡 클러스터 성장통 경험기
NAVER DEVIEW 2017: Advanced Experiences in Multi-tenant Hadoop Cluster Operation