IT warehouse (138) 썸네일형 리스트형 [LLM Training] 거대 언어 모델 병렬 훈련 기법들/Large Language Models Parallel Training 서론 2023년도 초반인 현재 ChatGPT 는 장안의 화제이다. 언어의 대한 이해 뿐 아니라 개발자들의 코드를 수정해주는 등 엄청난 품질로 사람들을 놀래키고 있다. ChatGPT 는 GPT3 라는 딥러닝 모델 구조 기반이다. GPT3 는 175billion (약 1750억개) 의 parameter 를 가지고 있는 모델이다. 매우 거대한 모델이라고 할 수 있다. GPT 뿐 아니라 BERT, T5 등 다양한 거대 언어 모델 (Large Language Model) 들이 있다. 아래 그림을 보면 2021 년 이후로는 1 Trillion (1조개) 를 넘어가는 초초거대 모델이 등장할 정도로 모델의 사이즈는 점점 커지고 있는 추세다. 최근 language model 이 계속 커지는 이유는 [2]를 통해 추론해볼.. [Linux/adduser] sudo 권한 있는 계정 생성하기 서버에 접속해서, home directory 가 있고, sudo 권한이 있는 계정 생성하는 법 입니다. # user 생성 $ sudo adduser {username} # user password 등록 $ passwd {username} # sudo 권한 등록 $ sudo usermod -aG sudo {username} 저렇게 하면 해당 서버에 ssh 로 접속할 수 있습니다. [Linux] 서버 종료하기 / python 실행 중인 프로그램 종료하기 파이썬 프로그램이나, uwsgi, 서버 등 백그라운드로 프로그램을 실행시킨 경우 crtl+c 와 같은 키로 프로그램의 동작을 멈출 수가 없다. 따라서 이와 같은 경우 어떻게 프로그램의 동작을 멈출 수 있는지 알아보고자 한다. ps 명령어로 돌아가는 프로세스 확인하기 ps 명령어는 현재 돌아가고 있는 프로세스들의 목록과 상태를 보여주는 명령어다. 주로 다음과 같은 명령어를 통해 프로세스를 확인하곤 한다. $ ps -ef 위와 같은 명령어는 현재 실행중인 모든 프로세스를 출력하기 때문에 원하는 프로세스를 확인하기 어려울 수 있다. 그런 경우에 grep 명령어를 이용해서 원하는 프로세스 목록을 출력할 수 있다. 예로 원하는 프로세스가 python 을 이용한다면 다음과 같이 입력하면 된다. $ ps -ef | .. [AI Security] 인공지능 보안 이슈 : 인공지능 시대의 도래, 그로 인해 생겨난 보안 위협과 관련 이슈는 어떤 것이 있을까? (Privacy-preserving AI) 서론 인공지능과 IoT 시대의 도래로 우리는 소형부터 대형까지 다양한 기기들 속에서 살고 있다. 이 모든 기기들은 인터넷과 연결되어 네트워크 상으로 정보를 주고받는다. 이 말은 즉, 전 세계 아니, 전 우주(전파들)에 모든 데이터와 정보들이 돌아다니고 있다는 뜻이다. 결국, “이미 엎질러진 물은 주워 담을 수 없다” 라는 여느 속담처럼 우리가 메신저로 누군가에게 보낸 사진, 블로그에 올린 텍스트 등의 정보들은 아주 짧은 순간이라도 내가 가진 기기를 떠나 세계를 항해하게 된다. 결국, 현재 인간들이 제정한 보안 기법과 법을 통해 내 정보가 어느 정도 보호가 되긴 하지만, 사실 전자기기를 쓰는 모든 순간 순간 나의 데이터는 보안의 위협 속에 살아가고 있다고 볼 수 있다. 이런 상황에서, AI (인공지능) 기.. [Mac M1 Silicon(apple silicon)] MacOS Monterey tensorflow 2.6, numpy, pandas 설치 Apple M1 tensorflow 설정에서 tensorflow 2.x 버전은 Nvidia 뿐 아니라 다른 형상의 가속기들(ex. apple silicon)을 지원할 수 있는 device plug-in 을 지원합니다. 따라서 애플에서도 TF(tensorflow) 2.5 이상 버전을 설치하고 운용하는 방법에 대해 제시해주고 있습니다. 관련 내용은 아래 주소에서 확인 가능합니다. https://developer.apple.com/metal/tensorflow-plugin/ Metal - Apple Developer Find presentations, documentation, sample code, and resources for building macOS, iOS, and tvOS apps with the.. [influxDB/ubuntu] influxDB1.8 ubuntu 설치/삭제 및 storage path 변경 InfluxDB influxDB 란? 시계열로 데이터를 담는 저장소 시간 흐름에 따라 측정되는 시계열 데이터를 저장하는데 있어 특화되어 있는 데이터 베이스 influxdb1.8 install (ubuntu) # influxdb 설치 $ wget https://dl.influxdata.com/influxdb/releases/influxdb_1.8.9_amd64.deb $ sudo dpkg -i influxdb_1.8.9_amd64.deb $ sudo systemctl start influxdb influxdb storage path change influxDB 데이터가 저장되는 경로를 수정하고 싶은 경우 $ mkdir /new/path/to/influxdb $ cd /new/path/to/ $ sudo c.. [Python pip/PyPi] python package whl 파일 생성 및 PyPi 에 배포하기 sample github repository https://github.com/Mishuni/Pip_Package_Practice.git GitHub - Mishuni/Pip_Package_Practice: pip package deployment sample pip package deployment sample. Contribute to Mishuni/Pip_Package_Practice development by creating an account on GitHub. github.com 위 repository 구조를 참고하여 해당 포스팅을 진행하였습니다. 밑에 파일 구조가 정의된 폴더가 Pip_Package_Practice 입니다. PIP package 생성 과정 원래의 파일 구조 (base) ➜ P.. [Java] 2021 카카오 인턴십 코딩테스트 문제 : 거리두기 확인하기 (시뮬레이션/Simulation, 깊이우선탐색/완전탐색/DFS) --- 문제 --- 개발자를 희망하는 죠르디가 카카오에 면접을 보러 왔습니다. 코로나 바이러스 감염 예방을 위해 응시자들은 거리를 둬서 대기를 해야하는데 개발 직군 면접인 만큼 아래와 같은 규칙으로 대기실에 거리를 두고 앉도록 안내하고 있습니다. 대기실은 5개이며, 각 대기실은 5x5 크기입니다. 거리두기를 위하여 응시자들 끼리는 맨해튼 거리1가 2 이하로 앉지 말아 주세요. 단 응시자가 앉아있는 자리 사이가 파티션으로 막혀 있을 경우에는 허용합니다 5개의 대기실을 본 죠르디는 각 대기실에서 응시자들이 거리두기를 잘 기키고 있는지 알고 싶어졌습니다. 자리에 앉아있는 응시자들의 정보와 대기실 구조를 대기실별로 담은 2차원 문자열 배열 places가 매개변수로 주어집니다. 각 대기실별로 거리두기를 지키고 있.. 이전 1 2 3 4 5 ··· 18 다음
