재수강은없다 (77) 썸네일형 리스트형 [spring, logback] 비동기식 로깅 - AsyncAppender - 1 Summary 비동기식 로깅에 대해 알아봅시다. spring boot에서 logback을 이용하여 비동기식 로깅하는 방법에 대해 알아봅시다. What is asynchronous logging synchronously file write 하면 file writing에 대한 딜레이가 발생하게 된다. file i/o는 인메모리 작업이 아니기 때문에 딜레이가 커진다. 비동기식 로깅은 '로그 발생'과 '로그 쓰기'를 분리시킨다. thread A는 로그가 발생하면 인메모리 큐에 집어넣기만 한다. thread B는 큐에서 데이터를 꺼내서 file write만 수행한다. logback에서 비동기식 로깅을 위한 방법을 지원해준다. What is logback looging의 기능을 제공하는 프로젝트 log4j에서 떨어.. [elasticsearch] doc2vec으로 korquad 데이터 유사도 분석하기 엘라스틱서치에서 cosine similarity를 이용하여 문장이 아닌 문단수준의 문서를 검색하는 것에 대해서 설명한다 서론 elasticsearch의 검색알고리즘은 기본적으로 BM25 알고리즘을 기본으로 지원한다. 이 알고리즘을 통해 스코어를 매기고 순서대로 적합한 데이터를 찾아준다. BM25 알아보기 7.3.0 버전부터는 cosine similarity 검색을 지원한다. 즉, 데이터로 고차원벡터를 집어넣고, 벡터형식의 데이터를 쿼리(검색어)로 하여 코사인 유사도를 측정하여 가장 유사한 데이터를 찾는다. 이러한 벡터 유사도 측정은 단순하게 검색어가 문서에 있나없나를 보는것이 아니라 검색어와 문서간의 유사성(의미, 맥락, 문맥, 시맨틱)을 중요하게 보는것이다. 구현 간략한 과정은 아래와 같다 정보사전으로.. [머신러닝] multinomial classification이란? - 1 multinomial classification 우리가 이전에 배운 logistic regression을 간단하게 도식화하면 표현하면 아래의 그림이 된다.x라는 데이터가 W의 weight를 가진 식에 입력되어 나온 결과 Z는 sigmoid 함수에 입력된다. 출력되는 값은 logistic regression으로 예상 결과 데이터가 나타나게 된다. Y : 실제 데이터, Y의 hat : 예측한 데이터 궁극적으로 logistic regression의 목적을 그림으로 표현하면 아래의 그림처럼□와 X를 구분하는 선을 생성하는 것이다. multinomial classification logistic regression 여러개를 합쳐서 multinomial classification 구현이 가능하다.아래는 A,B,C .. [머신러닝] Logistic Classification 텐서플로 구현 우리가 배운 Logistic regression의 hypothesis, cost function 그리고 gradient descent algorithm 소스코드1234567891011121314151617181920212223242526272829303132333435363738import tensorflow as tfimport numpy as np #데이터 read를 위한 모듈 xy = np.loadtxt('traindata.txt', unpack=True, dtype='float32')x_data = xy[0:-1] #모든 x 데이터y_data = xy[-1] #하나의 y 데이터 X = tf.placeholder(tf.float32)Y = tf.placeholder(tf.float32) # x의 개.. [머신러닝] Logistic classification와 cost minimize 함수 복습아래는 이전에 배운 Linear Regression의 hypothesis, cost function, gradient decent alogorithm이다.hypothesis :cost :gradient decent :그리고 cost function을 그래프로 표현하면 아래와 같다binary classification많은 상황중에 두가지중 하나가 선택되는 경우는 많다. 그러한 상황을 binary classification이라고 한다.예를 들면, 이메일이 스팸메일인지 아닌지를 확인, 페이스북에서 특정 글이 나의 피드에 보여질지 말지 등등실세계의 다양한 현상이 2가지로 결정되는 현상은 많다.우리는 이런 2가지 현상을 0,1로 encoding을 하겠다.스팸메일은 1, 정상 메일은 0 처럼 각 상황을 0 or.. [머신러닝] 텐서플로 사용하기 - 1 텐서플로를 실제 pycharm에서 사용 해보겠다. 텐서플로는구글의 오픈소스이며, numerical computation을 data flow graph를 통해 처리하는 프레임 워크이다.파이썬으로도 개발가능ㅎ.많은 데이터가 따로 또는 같이 연산이 되므로 머신러닝에 적합한 프레임워크라 할 수 있다. data flow graph의 구성 요소node : mathematical operationedge : multidimensional data array(tensor라고도 한다)tensor라고 하는 대량의 데이터가 노드를 거치면서 연산이 처리된다. 1. Hello World!123456789101112131415# tensorflow 모듈을 tf로 import한다.import tensorflow as tf # he.. [머신러닝] Linear Regression의 minimize cost 알고리즘 Linear Regression에서 cost를 가장 작게 만드는 것이 머신러닝(linear regression)의 목표라고 하는데, 그러면 가장 작은 cost를 어떻게 찾아야 하는가?이번 포스트에서는 최소의 cost를 가지는 값을 찾는 알고리즘을 설명하도록 하겠다. 잠깐의 복습우리가 만든 Hypothesis와 그것의 cost를 구하는 함수는 아래의 식과 같다. 여기서 우리는 cost를 가장 작게 하고 싶다. 최소의 cost를 가지는 것을 어떻게 찾는가?위 표의 데이터를 이용하여, 각 W를 가정하고 cost를 구해보자. W = 1, cost(W) = 0W = 0, cost(W) = 4.67W = 2, cost(W) = 4.67W가 1일때 cost가 0이다. W = 0 or 2 이면 cost는 0보다 큰 값.. [머신러닝] Linear Regression 실습 파이참에서 실행 할 소스코드(파이썬이 익숙치 않아서 자세한 프로그램언어적 차원의 풀이는 하지 않겠다.)1234567891011121314151617181920212223242526272829303132import tensorflow as tf # train data - 학습을 시켜줄 데이터다x_data = [1,2,3]y_data = [1,2,3] # cost function에 필요한 W,b를 여기서 지정해 줬다.# -1~1 사이에 임의의 값으로 지정한다.W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))b = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) # hypothesis H(x) = Wx + b. 우리의 가설을 만들었다.. 이전 1 ··· 5 6 7 8 9 10 다음
