Scikit-learn의 Pipeline은 여러 데이터 처리 과정을 하나로 묶어 효율적으로 실행할 수 있게 해주는 Class.(일반적인) Pipeline 이란?Pipeline은 일반적으로 (데이터) 처리 과정 또는 기계학습 등에서 “여러 단계(step or component)를 순차적으로 연결한 시스템” 을 가리킴. 일반적인 (데이터) Pipeline:여러 데이터 처리 컴포넌트(=step)의 연속된 sequence로 구성됨.각 component는 대량의 데이터를 가져와 처리하고 결과를 다음 단계로 전달.Pipeline을 구성하는 components는 주로 비동기적으로 실행되며, 각 단계는 독립적으로 작동하는 게 일반적임.Scikit-Learn의 Pipeline:여러 데이터 전처리 단계(step, comp..

Scikit-learn에서는 다음의 class와 functions 를 통해, feature별로 다른 전처리를 쉽게 적용할 수 있음:ColumnTransformer,make_column_transformer(),make_column_selector() 사용법https://gist.github.com/dsaint31x/9c7984cd29b0fc3f7abcf7f82844cb73 ml_column_transformer.ipynbml_column_transformer.ipynb. GitHub Gist: instantly share code, notes, and snippets.gist.github.com 1. ColumnTransformerColumnTransformer 는여러 pre-processors를 col..

Minkowski 거리는L-p Norm의 한 형태두 개의 점 사이의 distance(거리)를 일반화한 metric.distance의 개념은 다음 접은 글을 참고:더보기https://dsaint31.me/mkdocs_site/DIP/cv2/etc/dip_metrics/#distance-function-or-metric BME228Metrics for Image Quality Image restoration의 경우, image degradation의 원인을 modeling하고 해당 model을 통해 ideal image에 가깝게 복원하는 것을 의미함. 주관적인 화질을 개선하는 image enhancement와 달리, image restodsaint31.meL-p Norm 정의:L-p Norm은 vector의..

scikit-learn에서 Custom Transformer 구현하기 scikit-learn에서는 데이터 전처리를 위한 다양한 transformer를 제공하지만,경우에 따라서는 특정 요구 사항에 맞는 custom transformer를 직접 구현해야 할 때가 있음.fit를 통해 학습데이터에서 특정 parameters의 값을 구해야할 필요가 없다면sklearn.preprocessing.FunctionTransformer 를 사용하는게 보다 나음. 이 경우,BaseEstimator와TransformerMixin을 상속받아 구현함.반드시 구현해야하는 methods 는__init__(self, ...) 생성자 ** : explicit parameters (=hyper-parameters)fit(self, X, ..

1. Moire 란?디지털 이미지나 영상에서 발생하는 시각적 왜곡 현상원래 패턴과 해상도 차이로 인해 생기는 잔물결 무늬 또는 줄무늬두 개의 유사한 패턴이 약간의 오프셋이나 회전으로 겹쳐질 때 발생하는 광학 현상을 가르키며원래 이미지나 패턴에 없던 간섭 패턴이 생기게 됨.두 개의 주파수가 유사한 signal이 중첩되어 서로 간섭할 때 나타나는 현상으로 두 signal의 평균주파수의 합성 signal을 만드는데 이 결과 signal이 두 주파수의 차이만큼의 주파수로 주기적으로 커지고 작아지는 패턴이 생성됨: Sound에서는 맥놀이(beat)현상 이라고 불림.2. 발생 원인Dense pattern: 격자무늬, 천의 섬유, 건물 외벽 등 규칙적 패턴Resolution mismatch: 카메라 센서와 촬영 대상..

0. Embedding의 수학적 정의2024.09.28 - [Programming/ML] - [ML] Embedding의 수학적 정의 및 Embedding Layer [ML] Embedding의 수학적 정의 및 Embedding Layer1. Embedding의 수학적 정의두 vector space(벡터 공간) $V$와 $E$가 있을 때,함수 $f: V \to E$가 다음 조건을 만족하면 embedding이라고 정의됨.$f$는 단사 함수(injective function).즉, 모든 $\textbf{v}_1, \textbf{v}_2 \indsaint31.tistory.com1. 임베딩(Embedding)의 정의 및 본질정의:고차원 이산 데이터(high-dimensional discrete data)를저차..