취업/프로젝트 (8) 썸네일형 리스트형 MLflow의 Backend Store로 PostgreSQL 활용하기 / 2025.02.09 MLflow는 기본적으로 파일(/mlruns)에 실험 정보를 저장한다.이번에는, MLflow의 Backend Store로 PostgreSQL을 사용하여 실험 정보를 DB에 기록하고 이를 쿼리문으로 조회해보자.▶ PostgreSQL 데이터베이스 생성MLflow와 연동하기 위한 DB를 생성하자.#postgresql 접속sudo -u postgres psql# DB, USER 생성CREATE DATABASE mlflow;CREATE USER mlflow WITH ENCRYPTED PASSWORD 'mlflow';GRANT ALL PRIVILEGES ON DATABASE mlflow TO mlflow;▶ MLflow와 PostgreSQL 연동PostgreSQL에 실험 정보를 저장할 수 있게, MLflow와 연동.. MLflow와 MinIO를 활용한 GCN 모델 예제 / 25.02.08 1. MLflow를 활용한 GCN 모델 예제https://cow-kite24.tistory.com/344 MLflow를 활용한 GCN 모델 예제 / 25.02.04MLflow를 설치했으니 간단한 예제 코드로 사용법을 익혀보자.석사 기간 동안 GNN에 대해 많이 다루어봤기 때문에 사용할 모델은 GCN으로 선택했다. 먼저, 사용할 예제 코드이다.해당 코드는 Cora datacow-kite24.tistory.com 2. Minio Client 설치 및 데이터 업로드https://cow-kite24.tistory.com/345 MinIO Client 설치 및 데이터 업로드 / 25.02.05MinIO의 공식 CLI 툴인 MinIO Client (mc)를 설치해보자.설치 방법은 아래 페이지에서 확인할 수 있다. .. MinIO Client 설치 및 데이터 업로드 / 25.02.05 MinIO의 공식 CLI 툴인 MinIO Client (mc)를 설치해보자.설치 방법은 아래 페이지에서 확인할 수 있다. https://min.io/docs/minio/linux/reference/minio-mc.html MinIO Client — MinIO Object Storage for LinuxThe following commands add a temporary extension to your system PATH for running the mc utility. Defer to your operating system instructions for making permanent modifications to your system PATH. Alternatively, execute mc by nav.. MLflow를 활용한 GCN 모델 예제 / 25.02.04 MLflow를 설치했으니 간단한 예제 코드로 사용법을 익혀보자.석사 기간 동안 GNN에 대해 많이 다루어봤기 때문에 사용할 모델은 GCN으로 선택했다. 먼저, 사용할 예제 코드이다.해당 코드는 Cora dataset을 활용하여 GCN 모델을 학습한 후, node의 class를 분류하는 task를 수행한다. 데이터 정보는 아래 github에서 확인할 수 있다.https://github.com/Cow-Kite/GNN_Project/tree/main/Dataset GNN_Project/Dataset at main · Cow-Kite/GNN_ProjectContribute to Cow-Kite/GNN_Project development by creating an account on GitHub.github.co.. MinIO 설치하기 / 25.02.04 딥러닝 모델, 데이터셋 등을 저장하기 위해 MinIO를 사용하고자 한다. 리눅스에서 MinIO를 설치해보자. ▶ MinIO 설치하기MinIO 설치 방법은 아래 github에서 확인할 수 있다.https://github.com/minio/minio GitHub - minio/minio: MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPLv3 license.MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPLv3 license. - minio/miniogithub.com minio 설치# minio 다운로드wg.. MLflow, PostgreSQL, Airflow 설치하기 / 2025.02.03 현재 프로젝트는 MLOps 파이프라인 구축을 목표로 하고 있다.쿠버네티스 환경에서 프로젝트를 구상하기에 앞서, 먼저 로컬 환경에서 프로젝트를 구현해보고자 한다. 이번 프로젝트에서는 모델 실험 관리를 위해 MLflow를 사용할 것이고, 전체적인 워크플로우 관리를 위해 Airflow를 사용하며, DB로는 PostgreSQL를 사용할 것이다. 이제 리눅스에서 MLflow, PostgreSQL, Airflow를 설치해보자.▶ MLflow 설치하기설치 방법은 아래 페이지에서 확인할 수 있다.https://mlflow.org/docs/latest/getting-started/intro-quickstart/index.html MLflow Tracking QuickstartIn this next step, we’re .. SSH로 가상 머신(VM)에 원격 접속 하기 / 2025.01.21 프로젝트를 CLI 환경에서 진행하는 것이 더 편해서이전 글에서 생성한 가상 머신에 SSH로 원격 접속을 해보자. https://cow-kite24.tistory.com/338 VMWare로 가상 머신 환경 구축하기 / 2025.01.20기존에는 연구실 서버를 사용하여 프로젝트를 진행했었다.그러나, 곧 졸업을 앞두고 있어 사용중인 윈도우 PC에 가상 환경을 구축해 새롭게 구상중인 프로젝트를 진행해볼까 한다. 먼저, 윈도cow-kite24.tistory.com ▶ SSH 설치 및 실행# SSH 설치 (Ubuntu)sudo apt update && sudo apt install -y openssh-server# SSH 시작sudo systemctl enable sshsudo systemctl start ssh.. VMWare로 가상 머신 환경 구축하기 / 2025.01.20 기존에는 연구실 서버를 사용하여 프로젝트를 진행했었다.그러나, 곧 졸업을 앞두고 있어 사용중인 윈도우 PC에 가상 환경을 구축해 구상중인 프로젝트를 진행해볼까 한다. 먼저, 윈도우 PC 사양은 다음과 같으며 환경 구축에는 VMWare를 사용한다.CPU: AMD Ryzen 5 7500F RAM: 32GBSSD: 1TBGPU: NVIDIA GeForce RTX 4060 Ti ▶ VMWare란?간단히 말하면, 하나의 물리적 서버에서 여러 대의 가상 머신(VM)을 생성하고 관리할 수 있는 소프트웨어이다.가상 머신을 사용하면 윈도우 PC에서 리눅스 운영체제를 사용할 수 있다. VMWare Workstation은 Broadcom 홈페이지에서 다운로드 받을 수 있으며, 로그인이 필요하다.https://www.broa.. 이전 1 다음
