- Published on
Việc tối ưu bộ nhớ cho Database rất quan trọng đối với 1 Data Engineer, sau đây mình sẽ chia sẻ những cách mà Fossil đã sử dụng để tối ưu bộ nhớ cho ElasticSearch
Engineering
- Published on
Các bạn có thắc mắc sau khi submit 1 job cho Spark Cluster thì Spark sẽ làm những gì không? Cùng tìm hiểu với mình nhé.- Published on
Apache Spark được chọn làm công nghệ cho Batch layer bởi khả năng xử lý một lượng lớn data cùng một lúc. Ở thiết kế ban đầu, team data chọn sử dụng Apache Spark trên AWS EMR do có sẵn và triển khai nhanh chóng. Dần dần, AWS EMR bộc lộ một số điểm hạn chế trên môi trường Production. Trong bài viết này, mình sẽ nói về tại sao và làm thế nào team Data chuyển từ Spark trên AWS EMR sang Kubernetes.- Published on
Việc giảm dung lượng Docker image tuân theo nguyên tắc cơ bản nhất chính là loại bỏ các thành phần không cần thiết trong Docker image- Published on
In order to find all the commits relating to a specific JIRA issue as well as find the issue relating to a specific commit quickly, my team applies a common pattern for all commit message in our projects: `[ISSUE] MESSAGE`