[후기] Tech planet 2016


SK planet에서 주최하는 Tech planet 2016을 다녀왔다.

Commerce Everywhere

라는 주제로 다양한 프로그램이 발표되었다.

최근 핫한 기술들을 화두로 40분씩 발표가 꽉꽉 차있었다.

빅데이터머신러닝, 딥러닝 그리고 그를 이용한 추천에 대한 이야기가 행사를 가득 매꾸고 있었고,
SKP에서 뿐만 아니라 전 세계적으로도 트랜드인 챗봇에 대한 시간도 있었다.

주제만큼이나 다양한 글로벌 회사들의 후원도 있었는데,
오전 키노트에서는 알리바바IBM의 핵심 연구원들이 행사의 문을 열었으며 전 세계적으로 딥러닝과 챗봇 플랫폼의 선두로 나서고 있는 구글페이스북에서도 재밌는 경연의 시간을 가졌다.

아침 9시부터 저녁 6시까지 쉴 틈 없이 꽉 차있는 프로그램을 듣고 나니 녹초가 되었지만, 평소 키워드만 듣고 흘려보내던 최신 트렌드의 기술을 짧은 시간안에 전파 받은 것 같아 뜻깊은 시간을 보낸 것 같다.

특히, SKP 매니저분들의 발표는 대부분 사내, 특히 11번가에 적용된 실용적인 내용으로 내가 일하고 있는 분야에 대해서도 많은 영감을 주었다.

이외에도 다양한 전시 부스들.

아주 작은 아쉬운 점이 있다면은..

위의 아쉬운점은 어느 기술 컨퍼런스를 가나 있는거니 그냥 툴툴거리는 정도로 생각하면 될 것 같다.

그리고 이번 기념품은 VR Box와 텀블러! VR박스는 페이스북 페이지 에서 해시태그 #techplanet2016 #테크플래닛2016 이벤트를 통해 받았다.



강의 자료 : SK플래닛 기술 블로그

마지막으로 오늘 들은 내용들을 잊지 않기위해 러프한 노트이지만 공유하고자 한다.


내 스케쥴과 주제

topic 내용
[1] Large-scale Robust Online Matching with Its applications in Alibaba 알리바바의 응용 프로그램을 이용한 대규모 Robust 온라인 매칭
[2] Cognitive Computing with Multilingual Watson 다국어 왓슨시스템을 통한 인지컴퓨팅
[3] 파이썬 에코시스템 파이썬 커뮤니티와 파이썬 생태계에 대해서 설명하고 다양한 파이썬 활용 사례에 대해서 소개
[4] Visual search at SK Planet SK Planet에서 개발한 Visual search technology와 11번가 패션상품 검색 적용 사례 소개
[5] Apache Spark은 어떻게 가장 활발한 빅데이터 프로젝트가 되었나 Spark 핵심 개념과 인기의 비결, Spark 도입 전략 소개
[6] In-App Messaging and Chatbot In-App Messaging SDK 개발과 적용 사례소개, 2016년 화두인 대화형 커머스(Conversational Commerce)와 Chatbot
[7] Google Tensor Flow & Machine Learning in the Cloud 구글의 딥 러닝 클라우드 제품들과 텐서플로우 소개
[8] 빅데이터와 자연어처리 기술을 이용한 11번가 상품 추천 SK플래닛에서의 자연어처리와 텍스트 마이닝 기술 소개와 이를통한 상품 추천, 마케팅 및 컨시어지 서비스 기술 개발 등에 활용하는 현황을 소개
[9] Facebook Chatbot M messenger 인공지능과 봇의 역사를 간략하게 짚어보고 봇을 만들며 활용 할 수 있는 베스트프랙티스(best-practice)들을 논의

[1] Large-scale Robust Online Matching with Its applications in Alibaba

collaborative intelligence

[2] Cognitive Computing with Multilingual Watson

congnitive computing

diff w/ programmiatic computing

api

알고리즘 컨셉

Watson Conversation

data extraction

참고 : watson develop cloud

[3] 파이썬 에코시스템

파이썬이란

파이썬 어디에 좋은가

pip install {package_name}

docker도 처음에는 파이썬으로 짜여짐.

use cases

웹 프레임 워크

회사

빅 데이터 - PyData

과학

교육

CG

음악 분야

제조업

게임

스마트스터디 use case

ex) 게임 몬스터 슈퍼 리그

파이썬이 이리도 유명한 이유

처음 시작이라면

python 3 로 시작하세요

[4] Visual search at SK Planet

개발 배경

개발 목표

사전 지식

딥러닝

첫 접근 방법

카테고리

관심영역

개선

기존 시스템에 대한 평가

개선 방향

Detection

Feature extractor

Attribute

먼저 데이터 셋을 모으자 ( Fashion-attribute dataset)

하나씩 통과하면 대표되는 값들이 넘어가며 feature를 추출

검색 시스템

information을 뽑고 , 속성을 뽑아내고, 그 속성을 index로

분산 검색 시스템 적용

문제

참고 : Visual Fashion-Product Search at SK Planet 논문

[5] Apache Spark은 어떻게 가장 활발한 빅데이터 프로젝트가 되었나

Saprk

왜 인기가 잇을까

아차피 특징

인메모리

기존 데이터 분석

spark

fault tolerance

RDD

탐색적인 데이터 분석 » 인터렉티브 하게 코드 실행이 가능. 질의하고 확인하고 질의하고 확인하고

확장성이 좋음

이렇게 되기까지

예상되는 질답

spark이 하둡을 대체 할까요?

공부해야할까용?

— 네네 시작해보세요. 고성능, 편리한 인터페이스, 시간과 비용도 많이 아낄 수 있고 , 점점더 많이 쓰이고 있으므로 커리어 면에서 지금 시작하십쇼

첫 데이터 분석!?

— GA, firebase Analytics facebook anaylitics 등 무료 분석 툴 먼저 사용해 보고 그 다음 spark 를 써보세요

기존 하둡을 번속하고 있습니다. spark 으로 옮길까요?

쓰고있는 클러스터 메모리가 부족합니다.

다만 grouping ( shuffling이 많은) 연산의 경우 메모리가 넉넉해야하니 (작업이 정상 작동안되거나 안끝나는 경우가 있음) 주의 요망

스팍의 미래

MLlib vs tensor flow

[6] In-App Messaging and Chatbot

in-app messaging

메세지

conversational commerce

최근 주목받게된 배경

— 모바일 메세징 서비스가 스마트 폰의 gateway — 텔레폰 포비아 현상의 확대 — 대화창 내에서 모든 상거래 행위 완결 가능 — 최근 상거래 트렌드 : 최근 가장 친숙한 인터페이스

나중에는 AI chatbot 으로 발전 가능성이 잇지

Chatbot

커머스 입장에서 필요한 것들

다 모바일향으로 잘 조합해야함. 그냥 제공한다고 되는 것이 아님.

구현

— 셀러톡 — 지인톡 — 상담톡 — 문자쇼핑

자사 서비스, 11번가, 시럽 스타일 프로젝트 앤 등에 적용했음.

Client side

talk framework

고민들

Size Reduction

structured message type

Server side

talk server 구조

stack

웹훅

[7] Google Tensor Flow & Machine Learning in the Cloud

뉴럴 네트워크 & 딥러닝

머신러닝이 구글 어디서 쓰이는지

ex

머신러닝의 확장

Could Vision API

Cloud Speech API

텐서플로

portable and scalable

TensorFlow in the Wold (democratization of deep learning)

Challenges

Tensor Processing Unit

Cloud Machine learning (Cloud ML)

use cases

ex) AUCNET - 일본기업

[8] 빅데이터와 자연어처리 기술을 이용한 11번가 상품 추천

추천 시스템 배경과 목적

추천 알고리즘 고찰

협업 필터링 ( CF : collaborative filtering )

기존 CF의 장단점

더 완화한 모델

content-based filtering

추천 알고리즘의 장단점

두가지를 융합하여 + 딥러닝 추천알고리즘을 만듬

-상품과 사용자에 대해 연관성을 확인해 distributional semanric model

distributional semanric model

그럼 추천에는 어케 사용되엇는가

모델링은 어떻게 하는가

사용자 소비 관련 행동 분석과 그에 관련된 상품 정보 속성을 모델링 — 검색/클릭/구매/리뷰 같은 행동을 분석 -(사진) 키워드 검색, 감성 분석 등.

과거 상품에 대한 분석

시스템 구성

[9] Facebook Chatbot M messenger

cybelle

-

튜링

eliza

AI come back

  1. machine learning eventually work: make fomular and input to output
    • 예전과 다르게 머신 러닝이 잘 동작함
  2. Messaging platform are exploding —> offline > website » mobile app » messaing — 이제 메세징이 인터넷을 쓰는데 보편적인 방법이 되엇음.

Bot

use cases

Spring

KLM

봇 vs 앱

봇 장점

— 따로 깔 필요요가 없고

만들기

  1. write “job spec” 스펙 짜기
  2. start with a simple implementation
    • 질문이 들어오면 자연어 처리를 통해서 intent 와 recipe을 나눠서 Dialog manager에 넣어줘서 답을 찾고 자연어 처리를 통해 인간 언어로 바꿔주고
    • simplify the world
    • development workflow
    • wit.ai
    • natural
  3. Set expectation
  4. Ship early and ofter