전체 글 (294) 썸네일형 리스트형 MLflow의 Backend Store로 PostgreSQL 활용하기 / 2025.02.09 MLflow는 기본적으로 파일(/mlruns)에 실험 정보를 저장한다.이번에는, MLflow의 Backend Store로 PostgreSQL을 사용하여 실험 정보를 DB에 기록하고 이를 쿼리문으로 조회해보자.▶ PostgreSQL 데이터베이스 생성MLflow와 연동하기 위한 DB를 생성하자.#postgresql 접속sudo -u postgres psql# DB, USER 생성CREATE DATABASE mlflow;CREATE USER mlflow WITH ENCRYPTED PASSWORD 'mlflow';GRANT ALL PRIVILEGES ON DATABASE mlflow TO mlflow;▶ MLflow와 PostgreSQL 연동PostgreSQL에 실험 정보를 저장할 수 있게, MLflow와 연동.. MLflow와 MinIO를 활용한 GCN 모델 예제 / 25.02.08 1. MLflow를 활용한 GCN 모델 예제https://cow-kite24.tistory.com/344 MLflow를 활용한 GCN 모델 예제 / 25.02.04MLflow를 설치했으니 간단한 예제 코드로 사용법을 익혀보자.석사 기간 동안 GNN에 대해 많이 다루어봤기 때문에 사용할 모델은 GCN으로 선택했다. 먼저, 사용할 예제 코드이다.해당 코드는 Cora datacow-kite24.tistory.com 2. Minio Client 설치 및 데이터 업로드https://cow-kite24.tistory.com/345 MinIO Client 설치 및 데이터 업로드 / 25.02.05MinIO의 공식 CLI 툴인 MinIO Client (mc)를 설치해보자.설치 방법은 아래 페이지에서 확인할 수 있다. .. MinIO Client 설치 및 데이터 업로드 / 25.02.05 MinIO의 공식 CLI 툴인 MinIO Client (mc)를 설치해보자.설치 방법은 아래 페이지에서 확인할 수 있다. https://min.io/docs/minio/linux/reference/minio-mc.html MinIO Client — MinIO Object Storage for LinuxThe following commands add a temporary extension to your system PATH for running the mc utility. Defer to your operating system instructions for making permanent modifications to your system PATH. Alternatively, execute mc by nav.. MLflow를 활용한 GCN 모델 예제 / 25.02.04 MLflow를 설치했으니 간단한 예제 코드로 사용법을 익혀보자.석사 기간 동안 GNN에 대해 많이 다루어봤기 때문에 사용할 모델은 GCN으로 선택했다. 먼저, 사용할 예제 코드이다.해당 코드는 Cora dataset을 활용하여 GCN 모델을 학습한 후, node의 class를 분류하는 task를 수행한다. 데이터 정보는 아래 github에서 확인할 수 있다.https://github.com/Cow-Kite/GNN_Project/tree/main/Dataset GNN_Project/Dataset at main · Cow-Kite/GNN_ProjectContribute to Cow-Kite/GNN_Project development by creating an account on GitHub.github.co.. MinIO 설치하기 / 25.02.04 딥러닝 모델, 데이터셋 등을 저장하기 위해 MinIO를 사용하고자 한다. 리눅스에서 MinIO를 설치해보자. ▶ MinIO 설치하기MinIO 설치 방법은 아래 github에서 확인할 수 있다.https://github.com/minio/minio GitHub - minio/minio: MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPLv3 license.MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPLv3 license. - minio/miniogithub.com minio 설치# minio 다운로드wg.. MLflow, PostgreSQL, Airflow 설치하기 / 2025.02.03 현재 프로젝트는 MLOps 파이프라인 구축을 목표로 하고 있다.쿠버네티스 환경에서 프로젝트를 구상하기에 앞서, 먼저 로컬 환경에서 프로젝트를 구현해보고자 한다. 이번 프로젝트에서는 모델 실험 관리를 위해 MLflow를 사용할 것이고, 전체적인 워크플로우 관리를 위해 Airflow를 사용하며, DB로는 PostgreSQL를 사용할 것이다. 이제 리눅스에서 MLflow, PostgreSQL, Airflow를 설치해보자.▶ MLflow 설치하기설치 방법은 아래 페이지에서 확인할 수 있다.https://mlflow.org/docs/latest/getting-started/intro-quickstart/index.html MLflow Tracking QuickstartIn this next step, we’re .. 쿠버네티스 대시보드 배포하기 / 2025.01.24 쿠버네티스 환경 구축을 완료했으니 대시보드를 배포하고 접속해보자.대시보드 관련 정보는 아래 페이지에서 확인할 수 있다.https://kubernetes.io/ko/docs/tasks/access-application-cluster/web-ui-dashboard/ 쿠버네티스 대시보드를 배포하고 접속하기웹 UI(쿠버네티스 대시보드)를 배포하고 접속한다.kubernetes.io▶ 대시보드 배포먼저, kubectl 명령어를 사용해 dashboard pod를 배포한 후, pod가 제대로 생성되었는지 확인한다.# 대시보드 배포kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml#.. 쿠버네티스 환경 구축하기 / 2025.01.23 가상 머신 3대에 쿠버네티스 환경을 구축해보자.MN: 마스터 노드SN01, SN02: 워커 노드▶ 쿠버네티스 설치 준비쿠버네티스를 설치하기에 앞서 모든 노드(마스터&워커)에 아래의 사전 작업을 수행해야한다.swap 비활성화# swap 임시 비활성화sudo swapoff -a# swap 영구 비활성화sudo sed -i '/swap/s/^/#/' /etc/fstab# swap 비활성화 확인 (출력값 없음)sudo swapon -s 방화벽 비활성화# 방화벽 비활성화sudo ufw disable# 비활성화 확인 -> Status: inactive 출력sudo ufw status /etc/hosts 수정ifconfig로 노드 ip 확인 후 진행sudo vim /etc/hosts 필수 패키지 설치sudo apt .. 이전 1 2 3 4 ··· 37 다음
