누군가를 위한 연구소
짧은 2022년 회고 본문
격동의 2022년이었다. 작년에 2021년 회고하면서 폭풍 같은 해였다고 회상했는데 2022년도 그에 못지않았던 것 같다. 회사에서 대고객 서비스를 운영/개발할 기회가 있었으며 테크블로그 운영을 겸임하게 되었다. 요가 자격증도 따고 새로운 운동을 3개 도전했다. 작년처럼 일하는 나와 존재하는 나로 구분하여 짧게 회고해보려고 한다.
목차는 다음과 같다.
1. 일하는 나
1.1 가격시스템/ 면책 시스템
1.2 오픈소스들 : Airflow, GitGuardian, Datahub
1.3 테크 블로그
2. 존재하는 나
2.1 아쉬탕가
2.2 뽀모도로
3. 목표 점검과 수립
3.1 2022년의 목표
3.2 2023년의 목표
4. 마무리
1. 일하는 나
1.1 가격시스템 / 면책 시스템
쏘카에서 데이터 플랫폼 엔지니어로 일하면서 대고객 MSA 인 가격시스템과 면책시스템을 인수인계받아 운영하고 개발하였다.
쏘카의 가격은 정말 다이나믹하게 움직이고 그 내부 로직이 매우 복잡하다. (가격 모델이 복잡하고 분석가 분들과 긴밀한 협업을 하기 때문에 현재 개발 본부가 아닌 데이터 본부에서 관리하고 있다.) 그만큼 이슈가 발생했을 때 백트래킹 난이도가 꽤 있다. 생각지도 못한 운영 오류들을 만나면서 “이걸 어떻게 투명하게 파악할 수 있을까?” “어떻게 재발을 방지할 수 있을까?” “어떤 잠재적인 오류가 발생할 수 있고 어떤 검증 로직을 추가할 수 있을까?”라는 고민을 계속한 것 같다. 그리고 휴먼 에러는 사람의 잘못이라기보다는 시스템이 막을 수 있게 짜여야 한다는 것도 깨달았다. (그런 시스템을 구축하지 못한 것도 사람이니 결국 사람의 잘못이라고 할 수도 있지만..)
확실히 살아 움직이는 데이터를 만진다는 느낌이 있어서 스트레스받기도 하지만 그만큼 익사이팅 했다.(한국인 특: 도파민 중독) 데이터 분석 결과가 라이브로 서빙되고 매출에 직접적인 영향을 미치는 서비스를 언제 또 이렇게 자유롭게 다뤄볼 일이 있을까 싶다. 또 쏘카의 코어한 MSA 중 하나다 보니 기획자, 분석가, DBA, DevOps, 인프라, 정보보호, 서버 개발자 등 다양한 직무의 분들과 협업하면서 비즈니스와 전반적인 개발에 대해서도 많이 배웠다.
운영 업무 외에도 새로운 정책을 위해 데이터 모델링을 고민하고 기능을 추가하거나, ms 단위의 성능을 개선하기 위해 코드를 뜯어고치고 각종 변수를 통제하면서 하염없이 locust 를 돌렸던 적도 있었다. 사실 초반에 혼자 할때는 진짜 막막했는데 중간에 팀에 새로운 분들이 합류하시고 같이 고민하면서 문제 해결을 하다보니 훨씬 의지가 되었다.
면책료 시스템은 상대적으로 단순하고 가벼운데 그만큼 기여할수 있는 부분이 많았다. 이미 탄탄하게 짜여 로직에 거의 변화가 없는 대여가격 시스템과 달리 종종 신규 레버를 개발할 일도 있었고, 적은 공수의 개발로 큰 임팩트를 낼 수 있는 부분도 분명히 있었다. 예를 들면 내부 산출 정책에 변화를 줄 때 운영 배포 전 이해관계자가 정책 적용 전-후를 가격을 비교하고 싶은 니즈가 있었는데 이 과정을 자동화하는 테스트 코드를 작성했다. (물론 대시보드를 만들면 더 좋았겠지만, 최소한의 리소스로 최대 효용을 얻는 방향으로.. ^^ )
어쩌다 1년차에 팔자에도 없는 대고객 MSA를 맡게 되었으나 그 과정에서 다음을 배운 것 같다.
- 운영은 보수적으로.
- 커뮤니케이션은 명확하게.
- 테스트는 필수이고 기록을 다 남겨놓자. (나중에 헛것을 본 건지 의심할 수 있다.)
- 휴먼 에러는 사람의 잘못이 아니다. 시스템이 막을 수 있어야 한다.
- 협업은 중요하다. (여러 사람의 시각 이해하기.)
- 중요한 일이 뭔지 파악해야 한다. (시스템에 과몰입 하다보면 가끔 우선순위가 헷갈릴 수 있다.)
1.2 각종 오픈소스들 : Airflow , GitGuardian, Datahub
1.2.1 Airflow
Airflow 관련해서 이것저것 만져볼 기회들이 있었다. 엔지니어 입장에서 커스텀한 데이터 파이프라인 구축을 위한 DAG 도 많이 작성했고 플랫폼팀 입장에서 Airflow를 이용하는 분석가/엔지니어 분들의 트러블슈팅도 많이 도와주었다. 이 과정에서 대부분 겪는 문제가 비슷하다는 걸 깨닫고 공통 트러블슈팅 가이드를 작성할 필요를 느껴 Airflow FAQ를 작성했다.
슬랙 커멘드로 바로가기를 걸어놨으나 이걸 정말 사용자가 적극적으로 사용하게 하려면 끊임없는 navigation 의 과정이 필요하다고 생각한다. 하반기로 갈수록 데이터 플랫폼을 제공하는 엔지니어의 입장에서 편한 사용자 경험은 무엇이고 어떻게 전달할 수 있을까? 하는 생각을 자주한 것 같다.
1.2.2 GitGuardian + Secret Store
팀에서 관리하는 코드 상의 보안정보 (ex. DB Host, password, API key, ...)들은 GCP Secret Manager를 통해 일괄적으로 관리하기로 했다. 이 과정에서 GitGuardian을 도입하고 github action과 연동해서 코드 변경 사항을 통제했다. (pre-push, post-pr 등 여러 트리거에서 보안 정보를 감지하게 설정할 수 있다.) 사용법도 직관적이고 매우 잘 만든 오픈소스라고 생각한다. 프리 티어로 한 달에 1000회까지 API call을 쓸 수 있다.
이와 더불어 GCP Secret Manager 를 랩핑 한 Secret Store를 만들고 있다. 목적은 slack app과 google sheet를 기반으로 사내에서 사용되는 secret 들을 간편하게 생성/수정/삭제하고 사용자에게 노티 하는 것이다. (물론 GCP console에서도 조작이 가능하지만 경우에 따라 값 인코딩을 직접 해줘야 하는 등 매우매우 귀찮고 팀 Manifesto에 3번 이상 반복되는 일은 자동화한다, 라는 원칙이 있기 때문에...) 작고 귀여운 애플리케이션이지만 만드는 과정에서 다양한 유즈케이스를 고민해 볼 수 있어 재밌었다. 이 과정에서 페어워크를 최대한 하려고 노력했는데 역시 같이 고민하는 게 훨씬 재미있다.(?)
1.2.3 Datahub
작년에 PoC 했던 Datahub 를 베타 오픈했다. schema description을 모으는 과정에서 DBA 분이 엄청난 도움을 주셨고 덕분에 중요한 db의 metadata는 어느 정도 모은 상태로 베타 오픈 할 수 있었다. 하지만 사람들이 기존 방식대로 데이터를 찾으려고 하는 관성을 이기기 위해서는 schema description 뿐만 아니라 query, metric, lineage 등의 전반적인 메타데이터가 일괄적으로 수집되어 플랫폼에 올라가야 한다고 생각한다. 하지만 이 일은 정말 공수가 크고 누군가 총대를 매기 쉽지 않다. 그래도 일단 베타 오픈이 되었으니 만족하는 중이다. (TMI: 데이터허브에서 커뮤니티 컨트리뷰터로 인터뷰를 진행하고 기념품을 받았다. 기념품 컬렉터가 되고 싶어지는 순간이었다.)
1.3 테크 블로그 운영
연초에 테크 블로그에 글을 2개 더 썼고, 5월 쯤부터 카일의 제안으로 블로그를 직접 운영하게 되었다. 현재는 테크브랜딩 팀을 겸직하면서 한 달에 적어도 하나의 글을 퍼블리싱하고 있다.
코드 리뷰도 민감할 수 있는데 개인의 생각과 경험이 깊게 담긴 글은 당연히 조심해서 피드백 해야 한다고 생각한다. 개인적으로는 최대한 긍정적인 피드백을 하고, 개인의 의견이 아니라 블로그 라이팅의 컨센선스를 바탕으로 피드백을 하는 인상을 주는 게 중요하다고 느꼈다. (실제로 그렇기도 하고.) 그래서 테크 블로그의 톤 앤 매너, 컨벤션을 담은 글쓰기 가이드를 만들었고 리뷰 때마다 적극 활용 중이다.
테크 블로그 투고 경험도 점진적으로 개선하려고 노력하고 있다. 글 퍼블리싱 후 작가가 전반적인 글쓰기 경험에 대해 평가할 수 있는 설문지를 만들었다. 피드백 중에 작가가 자신을 PR 할수 있는 방법이 더 있으면 좋겠다는 의견이 있었는데, 이걸 반영하여 귀여운 작가 카드를 만들었다. 간단한 자기소개와 블로그/링크드인 링크 등을 첨부할 수 있다. (참고 링크)
배포 시간 줄이기나 contentful 같이 글 작성 UI 를 개선할 수 있는 툴을 도입하는 등의 소소한 목표가 있었는데 리소스상 시작하지 못해서 아쉽다.
2. 존재하는 나
2.1 아쉬탕가
작년 11월 쯤 요가를 시작했는데 결국에는 상반기에 요가 자격증을 땄고 그중에서도 아쉬탕가에 매료되어 지금은 주 6회 새벽 마이솔 수련을 하고 있다. (이 글을 쓰는 시점에서는 쿠르마사나와 드롭백을 접근하고 있다.) 아마 아쉬탕가는 내 몸이 허락하는 하에 평생 할 운동이지 않을까 싶다. 무슨 폭풍이 있었든 간에 결국에는 매일 새벽 같은 매트 위 자리로 돌아오는 그 회복탄력성이 나를 꽤 안정적으로 만들었다.
새벽수련을 계속 하니 육체적/정신적으로 강해지는 게 느껴졌다. 일단 완전히 새벽형 인간이 되어서 4시에 일어나는 것도 아무렇지 않다.(이 글도 4시에 쓰고 있다) 그리고 대부분의 고민이 새벽 요가와 같이 리셋되므로 고민들이 하루 이상 가지 않는다.
연초만 해도 주 3회 새벽 수련만 해도 피곤해서 죽으려고 했는데 이제는 주6회 마이솔 해도 일상생활에 크게 영향을 미치지 않는다. 올해 이것저것 새로운 운동(마라톤, 스노보드, 서핑)을 도전했는데 전보다 확실히 기초체력과 근력이 생겨서 수월하게 느껴졌다.
2.2 뽀모도로
작년 회고 글에 미루는 습관과 루틴의 중요성에 대해서 쓴 적이 있는데, 이번 년도에 뽀모도로 타이머를 쓰면서 미루는 습관이 개선되고 업무 효율성도 5배쯤 올라갔다. 여러 앱을 시도해봤으나 Focus-to-do라는 앱이 현재까지 최고라고 생각한다.
- 대부분의 기기 / OS를 지원하고 호환된다.
- 뽀모도로와 to do list 를 결합하여 일감 관리가 매우 쉽다.
- 예쁜 대시보드와 분석 결과를 보여준다 .
- Lifetime Purchase 가 있다. (물론 무료 버전도 쓰는데 전혀 무리가 없다.)
특히 겨울이 되면서 재택이 늘어났는데 이 앱이 정말 많은 도움이 되었다. 꼭 업무 뿐만이 아니라 일상에서 해야 되는 여러가지 일과 루틴 관리에도 매우 유용하다. 내년에도 이걸 적극적으로 활용하는 것이 목표이다.
3. 목표 점검과 수립
3.1 2022년의 목표
2022년의 목표는 다음과 같았다.
- 행복하고 실력 있는 개발자가 되자
- 루틴을 정하고 생활하자
- 요가를 꾸준히 하자
짧은 2021년 회고
그야말로 폭풍같은 2021년이었다. 졸업을 했고, 회사에 취직했으며, 여차저차한 사정으로 6개월 동안 이사를 3번이나 했다. 한발 늦은 회고지만 짧게 정리해보려고 한다. 1. 일하는 나 직장인이 되
diana-lab.tistory.com
첫 번째 목표는 다가가고 있는 중인 것 같고... 두 번째와 세 번째는 초과달성했다고 본다. 뽀모도로와 To-do list를 일상에서 적극적으로 사용하면서 루틴에 기반한 생활이 좀 더 쉬워졌고, 연말까지 요가하고 있는 게 목표였는데 실제로 너무 좋은 선생님을 만나서 (사랑의 힘으로) 새벽 수련을 거의 한 번도 안 빠졌다.
3.2 2023년의 목표
2022년의 목표가 회사에서 개발자로 생존하면서 회사 밖의 내 삶의 루틴을 잡는 것이었다면, 2023년의 목표는 기술적 성장을 이루는 것이다. 작년에는 3개월 단위로 스스로 분기 회고를 했는데, 이번 연도에는 월별로 계획/회고를 하면서 나의 성장을 좀 더 타이트하게 추적해보려고 한다.
그와 동시에 이제는 나에게 정신적/육체적으로 도움 되는 루틴들을 알았으니, 그것들을 일 년 동안 지켜나가고 싶다. (뭐든지 계획하는 것보다 꾸준히 지켜나가는 게 10배는 어렵다는 걸 새벽요가를 통해 깨달았다.) 아래 리스트에서 반 정도만 이뤄도 성공했다고 본다.
- 뽀모도로 타이머 적극 사용하기
- 마이솔 수련 꾸준히 다니기
- 저널링 하기 + 스크린 타임 줄이기
- 기술적으로 성장하기
- 서핑 1번, 스노우보딩 1번 타기. 새로운 운동 하나 더 도전하기.
좀 더 궁극적인 목표는 Work Hard, Be Kind 하는 것이다. 냉소주의는 아무것도 이뤄내지 못하며 결국 세상을 바꾸는 것은 다정한 힘이라고 생각한다. 내가 일을 하는 목적도 누군가에게 그런 긍정적인 영향을 줄 수 있는 사람이 되고 싶어서이다. 2023년에는 어떻게 내가 하는 일과 이런 목적을 잘 연관시킬 수 있을지 고민하고 실현할 수 있으면 좋겠다.
4. 마무리
그 해에 처음 듣는 노래가 그 해의 운명을 결정한다는 meme을 진심으로 믿는 편이라, 이번에도 새해 첫곡을 매우 심사숙고해서 골랐다.
작년에는 Jason Mraz의 The Remedy였는데, 올해는 그냥 대책 없이 긍정적으로 살고 싶어서 다음 곡으로 시작했다. 사실 하나만 못 골라서 아예 플레이리스트를 만들었다. 강력한 후보들은 Lady Gaga의 Stupid Love, Kool & The Gang의 Celebration , Son Lux의 This Is A Life 등이었다.)