본문 바로가기

컴퓨터이야기

(78)
DTM DTM은 "Document-Term Matrix"의 약자입니다. Document-Term Matrix는 문서와 단어 간의 관계를 나타내는 행렬입니다. 이 매트릭스는 행이 문서를 나타내고 열이 단어를 나타내며, 각 원소는 해당 단어의 문서 내 등장 빈도수를 나타냅니다. DTM은 자연어 처리와 텍스트 마이닝에서 텍스트 데이터를 수치적으로 표현하는 일반적인 방법 중 하나입니다.
메타학습 https://www.aitimes.com/news/articleView.html?idxno=136179
파이썬에서 정규식을 지원하는 라이브러리 re import re re.findall("[a-zA-Z0-9]", "How are you?") 이렇게 쓰는데는 줄임 표현인 \w 가 있다! re.findall("[\w]", "How are you?") \w에는 공백이 포함되지 않는다. 이를 이용하면 공백이나 쉼표 등으로 구분되는 단어들을 찾아낼 수 있다. "[\w]+" +가 1번 이상 반복을, {2,4}를 이용하면 횟수 지정 가능 [\w']+ 와 [\w]+ 차이 from nltk.tokenize import RegexpTokenizer tokenizer = RegexpTokenizer("[\w']+") #regular expression(정규식)을 이용한 tokenizer #단어단위로 tokenize \w:문자나 숫자를 의미 즉 문자나 숫자 혹은 '가 반..
pytorch 설치하기 역시나 하나를 얻으면 하나를 잃게 마련이다. torch 모듈이 제대로 동작하지 않는다. torch는 찾아보니 CUDA 12.2버전을 지원하는 라이브러리가 없다. 다시 다운그레이드 해야겠다. https://pytorch.org/get-started/locally/ Start Locally Start Locally pytorch.org 이걸 실행하기 위해 CUDA 버전을 12.1로 내려보자. nvcc --version nvidia-smi 두개의 정보가 달라졌지만 텐서플로우와 파이토치 잘 동작한다.
CUDA 설치하기 1. https://developer.nvidia.com/cuda-toolkit-archive CUDA Toolkit Archive Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production developer.nvidia.com NVIDIA 버전에서 확인했으니, 최신 버전으로 12.2로 업그레이드 해보자 Cha..
GPU 맞는 버전 설치하기 Tensorflow와 Pytorch가 버전에 따라 달리 작동하는가 보다. 열심히 환경 세팅해서 돌렸는데, GPU 모드에선 잘돌아가지 않는다. 새롭게 환경을 세팅해보자 >nvidia-smi GPT의 답변이다. nvidia-smi 명령어에서의 "smi"는 "System Management Interface"의 약자입니다. NVIDIA GPU 드라이버와 함께 제공되는 도구 중 하나로, NVIDIA GPU 시스템을 모니터링하고 관리하는 데 사용됩니다. 이 도구를 통해 GPU의 상태, 메모리 사용, 성능, 전력 소비 등에 대한 정보를 실시간으로 확인할 수 있습니다. nvidia-smi 명령어를 실행하면 현재 시스템에서 사용 가능한 NVIDIA GPU에 대한 정보가 표시됩니다. 이 정보에는 GPU의 이름, 드라이버..
[펌]메타러닝 1) 메트릭 기반 메타학습 메트릭 기반 메타학습은 데이터 간 유사도를 측정하는 '메트릭(metric)'을 학습해 퓨샷 문제를 해결한다. 퓨샷(few-shot)은 적은 데이터만으로 학습하는 것을 의미한다. 예를 들어, 두 이미지의 종류 일치 여부를 판단하는 모델을 여러 번 학습시키면 하나의 훈련 이미지와 여러 이미지 종류가 같은지에 대해 한 번만에 비교가 가능해지는 식(원샷 문제 해결). 두 개의 이미지가 같은지 판단하는 모델을 학습시켜 원샷 문제를 해결하는 모델 예시 (사진=IITP) 2) 그래디언트 기반 메타학습 학습 알고리즘을 학습하기 위해 그래디언트 알고리즘의 초깃값을 메타학습하는 방법이다. 보통 초깃값은 임의의 값으로, 이는 사전 지식 없는 학습(Learning from scratch)에 해당한다..
새로운 기술이 나오고 새로운 기술이 나오고 산업이 바뀌면서, 키보드였다가, 마우스, 터치였다가 최근에는 보이스로 UI/UX 가 변모하고 있다. 인공지능이 들어오게 되면 우리 인터넷 사용 습관은 어떻게 될까?