Docker

In 2020, Docker announced support for multi-architecture images, and later, Docker BuildKit officially supported multi-architecture images. This article introduces how to use Drone CI/CD with Docker BuildKit to compile multi-architecture images, and this feature is free and does not require a paid Docker Hub account. However, the Drone Docker Plugin provided by Drone CI/CD does not currently support multi-architecture images, so you need to write your own Drone Pipeline to achieve our goal. The official website has also proposed this proposal: ‘Support cross-arch Docker builds within Docker using QEMU’ to achieve this goal, using QEMU. The key point is to use Docker BuildKit to complete it under the environment where the Host supports Qemu.

在 2020 年就有 Docker 宣布支援多架構映像檔，後來才有正式的 Docker BuildKit 支援多架構映像檔，這篇文章來介紹如何使用 Drone CI/CD 搭配 Docker BuildKit 編譯多架構映像檔，而且這個功能是免費的，不需要付費的 Docker Hub 帳號。但是在 Drone CI/CD 官方提供的 Drone Docker Plugin 目前是不支援多架構映像檔，所以需要自己撰寫 Drone Pipeline，來達到我們的目的，官方也有人提出了這樣的 Proposal: 『Support cross-arch Docker builds within Docker using QEMU』，使用 QEMU 來達成目的，底下來介紹如何使用，關鍵點就是在 Host 支援 Qemu 的環境下，使用 Docker BuildKit 完成。

Nowadays, most of us have containerized our services, and effectively managing and upgrading containers without affecting existing services is a critical issue. Two steps are required in the CI/CD process: first, packaging the environment as a Docker image and uploading it to the company’s private Docker registry; and second, after the upload is complete, possibly connecting to the machine via SSH, pulling the new image, and restarting the running service via the Graceful Shutdown mechanism. You can learn more about Graceful Shutdown in this article. I am going to introduces Watchtower, a brand new tool that automatically upgrades and updates running containers, allowing for further CD process streamlining. Developers only need to upload the Docker image, and the remote servers can update the running container automatically.

現在大家在部署服務肯定都已經容器化，而如何有效管理及升級容器不影響現有的服務，這就是一個重要的議題，然而在 CI/CD 的流程內，肯定有兩個步驟是必須的，第一就是將環境打包成 Docker Image 並上傳到公司內私有的 Docker Registry，以及上傳完畢後，也許透過 SSH 方式連上機器，並且拉取新的映像檔，再透過 Graceful Shutdown 機制重新啟動正在執行的服務。可以參考這篇了解什麼是 Graceful Shutdown。本篇就是要帶給大家一個全新的工具 Watchtower 用來自動升級更新執行中的容器，讓 CD 流程可以再簡化一步，開發者只要上傳完 Docker Image，遠方的伺服器就可以自動更新。

現在已經是容器 (container) 的時代，團隊之間合作肯定要打包統一的 Docker Image 來解決環境不一致的問題，但是容器的大小決定了部署微服務的時間，本篇來介紹如何打造最小的 Python 容器。如果你需要跨部門合作，Docker 絕對是最棒的工具，讓大家不用為了環境煩惱。底下透過 Flask Application 來介紹如何撰寫 Dockerfile。

大家應該遇過如果服務還有工作還沒處理完，服務要進行更新，需要等到全部工作處理完成才可以將服務的停止，而當服務收到關閉通知信號時，第一要先停止接受 Job 任務，接著等待 Worker 將手上 Job 處理完畢後，才停止服務，接著更新再上線。而這狀況怎麼透過 docker-compose 來處理停止服務，這就是本篇的重點。文章內會用 Go 語言當教學範例，如何接受 Docker 傳來的 Signal 訊號，接受訊號後該如何處理，及如何設定 docker-compose 的 YAML 檔案確保所有的工作都可以正常執行完畢。

之前已經有寫過幾篇關於 Graceful Shutdown 教學文章，大家有興趣可以先閱讀底下教學連結資訊，而本篇最主要是紀錄在如何用 docker 指令優雅關閉容器服務，尤其是關閉服務前，可以讓原本服務內的工作可以正常做完，才正式關閉。在本文開始前，先將 docker 及 docker-compose 版本資訊貼出來，避免有資訊的落差，畢竟 docker-compose 在不同版本之間有不同的設定方式。

• [Go 教學] graceful shutdown 搭配 docker-compose 實現 rolling update
• [Go 教學] graceful shutdown with multiple workers

由於備份 PostgreSQL 的指令 pg_dump 需要限定特定版本才可以備份，故自己製作用 Docker 容器方式來備份，此工具支援 MySQL, PostgreSQL 跟 MongoDB，只要一個 docker-compose yaml 檔案就可以進行線上的備份，並且上傳到 AWS S3，另外也可以設定每天晚上固定時間點進行時間備份，也就是平常所設定的 cron job。沒使用 AWS RDS，或自行管理機房的朋友們，就可以透過這小工具，進行每天半夜線上備份，避免資料被誤砍。底下教學程式碼都可以在這邊找到。

以現在開發網站流程，前後端分離已經不稀奇了。前端使用 React.js 或 Vue.js，後端使用 Golang，是我現在擅長的合作模式。其實後端在開發上面不太需要將前端的開發流程放在自己的電腦上，也就是後端只需要專注開發後端，跟前端的溝通都會是透過 GraphQL 的 Schema 當作討論。目前團隊各自維護專案的部署流程會是最好的方式，前端有兩種方式部署，一種是透過打包靜態檔案方式丟到遠端伺服器，另一種就是打包成 Docker Image，再連線到遠端伺服器更新，兩者都有人使用，本篇會教大家如何將前端網站打包成 Docker Image，用 Image 來部署會是最方便的。

程式碼範例請看這邊

之前就有看到 Docker 推出 BuildKit 功能，這次跟大家介紹什麼是 BuildKit。現在部署編譯流程肯定都會用到 Docker，不管測試及部署都盡量在 Docker 內實現，來做到環境隔離，但是要怎麼縮短 Docker 在編譯 Image 時間，這又是另外的議題，本篇跟大家介紹一個實驗性的功能就是 BuildKit，原始碼可以參考這邊，希望未來這實驗性的功能可以正式納入 Docker 官方，網路上其實可以找到很多方式來做 Docker Layer 的 Cache，我個人最常用的就是 --cache-from 機制，可以適用在任何 CI/CD 流程，詳細說明可以參考這篇『在 docker-in-docker 環境中使用 cache-from 提升編譯速度』，下面使用到的程式碼都可以直接參考此 Repository，我還是使用 Go 語言當作參考範例。

最近正打算使用 GitHub Actions 來串接 AWS 服務 (ECR + ECS)，上網找了一堆 ECR 套件，發現就連 AWS 官方都只有實作 Login 進 ECR，後面編譯跟上傳動作就需要自己寫，可以看看底下是 AWS 官方套件的範例: