LINE Engineering - https://engineering.linecorp.com/ko/blog/data-analytics-platform-lua-analytics/
박용재님 브런치 - https://brunch.co.kr/@mapmatters/54
해당 글은 박용재님의 브런치글을 읽고 정리하면서, 궁금했던 점이나 개인적인 후기를 담고 있습니다. 😁
LINE의 LUA Analytics 프로젝트 개요
박용재님은 PM으로 LINE User Activity Analytics라는 프로젝트를 참여했다고 합니다. LUA 프로젝트는 다양한 서비스의 User 행동에 대해 여러가지 지표로 분석할 수 있는 대시보드입니다. 유사한 제품으로는 App Annie Intelligence가 있습니다.
App Annie Intelligence는 어떤 서비스일까?
app annie intelligence 소개 - https://www.data.ai/kr/insights/customer-stories/app-annie-introduces-mobile-web-data/
App Annie Intelligence is a mobile app and data analysis decision-making platform for marketing and strategist teams to make smarter decisions and increase download, revenue from the mobile app. App Annie Intelligence helps teams to navigate the entire app life cycle.
- 출처: https://www.cuspera.com/products/app-annie-intelligence-x-1448
모바일 앱과 웹 성과 지표를 통합적으로 제공하는 데이터 분석 툴입니다. 해당 툴의 대상자는 데이터 분석에 필요한 기초적인 지식이 없지만, 데이터로부터 인사이트를 얻고자 하는 사람이기 때문에 분석 지표나 용어에 대한 지식 없이도 분석 인사이트를 얻을 수 있다는 장점이 있습니다.
LUA Analytics 프로젝트의 목적은 LINE이 채팅, SNS, 영상통화 등 서로 다른 성격을 띄는 서비스를 통합한 플랫폼이기 때문에 그에 따른 KPI를 추적하는 10여개가 넘는 대시보드를 통합하여 하나의 플랫폼으로 사용자 행동을 추적할 수 있도록 한 것입니다.
Google, Salesforce 같은 대기업들이 Looker나 Tableau와 같은 데이터 제품을 만드는 회사를 인수했는데 이러한 흐름이 LUA 프로젝트가 진행하게 된 영향을 미친 것으로 보입니다. 이러한 데이터 분석이 가능한 제품이 가지는 의의는 분석을 진행하여 단지 사람의 역량을 넘어서 많은 분석 요청에 대해 능숙하게 대응할 수 있도록 하는 것입니다.
Google Looker는 어떤 서비스일까?
Looker 설명 - https://cloud.google.com/looker
Looker 구경가기 - https://www.looker.com/
Tableau는 자주 들어봤지만 Looker는 Google에서 인수했지만.. 낯선 서비스여서 따로 찾아봤습니다.
Tableau와 비슷한 대시보드를 제공하는 BI 툴입니다. 엔터프라이즈 수준의 보안을 제공하기 때문에 데이터 액세스를 사용자 수준까지 쉽게 관리할 수 있다고 합니다. 데이터베이스와 연결도 지원하고, 복잡한 ETL 작업을 요구하지 않습니다. 그리고 신기했던 점은 LookML이라는 SQL 기반의 간단한 모델링 언어로 SQL 쿼리문을 생성해주기도 한다고 하네요..! 무엇보다 구글 클라우드 기반의 플랫폼이라는 점도 큰 장점으로 보입니다... Google 생태계...!
As-is
이 부분이 개인적으로 놀란 부분이기도 합니다. LINE은 국내용 기업이 아니라 글로벌 시장 수요를 잡은 기업이라는 생각 때문에 운영 측면에서 고도화?되어 있을 것이라고 생각했습니다. 기존의 LINE에서는 KPI 대시보드가 개별의 서비스들이 각가 KPI 대시보드를 통해 운영되었습니다. 다행이도 글에 왜?라는 질문의 답을 확인해볼 수 있었습니다.
오히려 LINE과 같은 글로벌 사용자가 많기 때문에 개별 대시보드를 통합하는 것이 쉽지 않았다는 것을 알았습니다. 개별의 대시보드들을 합하면 오는 장점은 각 대시보드들에서 제공하는 공통적인 지표들을 합칠 수 있다는 장점이 있습니다. 그러나 한계점들도 있습니다. 사용자가 많은 만큼 로그의 양이 매우 많아 데이터 처리가 오래 걸린다는 점, 데이터 출처가 다르다는 점, 로그 정의가 복잡한 점 등이 있습니다. 같은 지표니까 더 쉬운거 아니야? 라고 생각했는데 같은 지표로 두 가지 이상의 다른 서비스들을 비교하는 것이 많은 과정을 거쳐야한다는 점을 알 수 있었습니다.
LUA Analytics의 To-be
용재님께서는 2개월동안 파일럿 프로젝트를 진행해서 기획자, 디자이너, 마케터, 서비스 운영자로부터 피드백을 받았다고 합니다. 그래서 4가지의 문제점을 정의해서 해결하고자 노력했다고 합니다.
- 새로운 서비스나 피처를 대시보드에 추가하기 위해서는 데이터 전문 조직뿐만 아니라 서비스 담당자의 참여가 필요하다.
- 서비스별로 효율적인 분석을 위해 원천 데이터를 1차 가공한 데이터 테이블을 변경할 때, 데이터 분석 조직에서 이러한 변경사항을 모두 추적하기 어렵기 때문에 서비스 데이터 담당자가 필요하다.
- 여러 서비스에서 예상되는 공통적인 분석 요청에 대해서는 선제적으로 대응할 수 있어야한다.
- 지표 갱신 일정을 일정하도록 데이터 처리 과정을 지속적으로 개선해야만 수백억건의 로그 처리하는 과정에서 대시보드를 안정적으로 운영할 수 있다.
=> 결론적으로, 새로 추가되는 서비스와 지표에 유연하고 & 전체 구조를 확장 가능하게 & 각 서비스의 데이터 공급 부담을 최소화하는 것을 가장 최우선 목표로 두었다고 합니다! 핵심 문제를 글에서 짚어주셔서 여러 개의 서비스를 제공하는 회사에서 통합된 대시보드 플랫폼을 만들고자 할 때 어떤 점들을 우선순위로 둬야하는지 파악할 수 있어 좋았습니다. 아쉬운 점은 LINE 사람이 아닌 저로서는 .. 서비스 데이터 담당자가 어떤 Role을 수행하는 직무인지 궁금했습니다. 1번과 2번에서 주요 사용자 행동을 정의내리는 것, 데이터의 중간 테이블 변경사항을 추적하기 위해 서비스 데이터 담당자의 참여도 필요하다고 언급하신 것을 봤을때.. 데이터 엔지니어가 아닐까?! 생각해봤습니다.
... 여기까지! 이후에는 작동원리와 활용에 대해서 살펴보겠습니다! 다른 사람의 글을 읽고 리뷰 남기기도. .쉽지 않네요..!