AWS on 小惡魔 - AppleBOY

AI 團隊整合導入 AWS SageMaker 流程

appleboy.tw@gmail.com (Appleboy) — Sun, 27 Jun 2021 11:35:53 +0800

團隊困境

如果團隊未來想把機器學習推廣成一個服務，可以讓開發者帶入不同的參數進行客製化的學習，最終拿到學習過的 Model。或是團隊資源不夠，想要使用大量的 GPU 資源來加速 AI Model Training，這時就是要朝向使用第三方資源像是 AWS SageMaker 來進行整合。而在團隊內會分成機器學習團隊，及後端團隊，前者是專門進行資料分析及 AI Model 演算法及程式碼開發，後者則是專攻全部工作流程，從產生測試資料，前置準備，到 Training Model，及將產生的結果發送給開法者，這整段流程會由後端團隊進行串接。所以當我們要用第三方服務時 AWS SageMaker，對於機器學習團隊來說，要將整個環境打包成容器模式，並且符合 SageMaker 所規定的格式，過程相當複雜，而為了讓開發環境統一，我們使用了容器技術 (Docker Container) 來進行 SageMaker 串接，本篇會教大家如何整合 SageMaker 流程，讓機器學習團隊可以專注於 Model 流程開發，而不需要花時間在整合容器技術並符合 SageMaker 格式。

用 GitHub Actions 上傳 Docker Image 到 AWS ECR

appleboy.tw@gmail.com (Appleboy) — Mon, 06 Apr 2020 05:39:21 +0000

最近正打算使用 GitHub Actions 來串接 AWS 服務 (ECR + ECS)，上網找了一堆 ECR 套件，發現就連 AWS 官方都只有實作 Login 進 ECR，後面編譯跟上傳動作就需要自己寫，可以看看底下是 AWS 官方套件的範例:

高雄 Mopcon 濁水溪以南最大研討會 – Drone CI/CD 介紹

appleboy.tw@gmail.com (Appleboy) — Tue, 06 Nov 2018 05:28:08 +0000

今年又以講者身份參加 Mopcon 南區最大研討會，此次回高雄最主要推廣 Drone 這套 CI/CD 平台。大家可以從過去的 Blog 或影片可以知道我在北部推廣了很多次 Drone 開源軟體，唯獨南台灣還沒講過，所以透過 Mopcon 研討會終於有機會可以來推廣了。本次把 Drone 的架構圖畫出來，如何架設在 Kubernetes 上以及該如何擴展 drone agent，有興趣的可以參考底下投影片:

用 10 分鐘部署專案到 AWS Lambda

appleboy.tw@gmail.com (Appleboy) — Thu, 25 Oct 2018 03:10:18 +0000

看到這標題也許非常聳動，也可能覺得不可思議，今天來探討如何將專案直接部署到 AWS Lambda 並且自動化將 API Gateway 設定完成。當然要做到完全自動化，必須要使用一些工具才能完成，本篇將介紹由 TJ 所開發的 apex/up 工具，如果您不熟悉 EC2 也不太懂 Command line 操作，本文非常適合您，不需要管理任何 EC2 機器，也不需要在熟悉任何 Linux Command 就可以完成簡單的專案部署。首先為什麼我選擇 apex/up 而不是選擇 apex/apex，原因是使用 up 工具，您的專案是不用更動任何程式碼，就可以將專案直接執行在 AWS Lambda，那 API Gateway 部分也會一並設定完成，將所有 Request 直接 Proxy 到該 Lambda function。如果您希望對於 AWS Lambda 有更多進階操作，我會建議您用 apex/apex 或 Serverless。您可以想像使用 up 就可以將 AWS Lambda 當作小型的 EC2 服務，但是不用自己管理 EC2，現在 up 支援 Golang, Node.js, Python 或 Java 程式語言，用一行 command 就可以將專案部署到雲端了。

在 AWS Lambda 上寫 Go 語言搭配 API Gateway

appleboy.tw@gmail.com (Appleboy) — Wed, 24 Jan 2018 02:43:43 +0000

這應該不是什麼新消息了，就是 AWS Lambda 正式支援 Go 語言，也就是可以將 Go 語言編譯出來的二進制檔案直接放進去 Lambda Function 內，前面可以搭配 API Gateway，後面可以搭配 CloudWatch 或 S3，本文章會教大家如何將 Gin 打包編譯進 Lambda，官網其實也有提供 Library 或範例方便大家實作，大家可以參考看看。

申請 Let’s Encrypt 免費憑證讓網站支援 HTTP2

appleboy.tw@gmail.com (Appleboy) — Sun, 09 Oct 2016 08:23:00 +0000

寫這篇最主要推廣讓網站都支援 HTTPS 加密連線及 HTTP2 協定，對於網站為什麼要支援 HTTP2，可以直接參考 ihower 寫的說明文章，最近在玩 Facebook, Line, Telegram Bot 時，填寫 Webhook URL，都強制要填寫 https:// 開頭，所以更不能忽略 HTTPS 了。，去年底寫了一篇 Let’s Encrypt 開放申請免費 SSL 憑證推廣 Let’s Encrypt 的貢獻，讓買不起憑證，又想玩看看 HTTP2 的開發者可以用很簡單的方式來安裝及自動更新憑證，而 gslin 大為了推廣 HTTPS 也做了一個網站教學，文章寫得相當清楚，支援 Apache 及 Nginx 設定。

SSH agent forwarding 教學

appleboy.tw@gmail.com (Appleboy) — Wed, 05 Oct 2016 02:09:41 +0000

2016.11.13 Update: SSH Agent Forwarding 有安全性問題，請用 ProxyCommand 取代，請參考 SSH Agent Forwarding considered harmful

SSH agent forwarding 可以讓開發者將 Local 端的 SSH Key Pair 帶到另外一台機器進行傳送，也就是說你不用將 SSH Key 複製到遠端 Server 再進行跳板動作，原本在 AWS 維護多台 EC2 主機，都會固定有一台跳板機，大家都把自己需要登入遠端機器的 SSH Key 複製到跳板機，這做法其實沒有很安全，又需要多下一個指令進行跳板。

個人電腦 -—> EC2 跳板機 -—> EC2 Server

大家都會把 Key Pair 存放到跳板機，安全性堪憂，只要這台主機被 Hack，或者是內部員工登入，拿別人的 Key Pair 登入其它主機，不就可以搞破壞？所以此篇教學主要教大家如何設定 SSH agent forwarding，讓憑證只存放在自己電腦，而不需上傳到 EC2 跳板機。這樣跳板機就真的只是跳板機，不需要存放任何憑證資料，每小時設定清空 Ubuntu User 家目錄，避免內部員工放個人資料或憑證，提升主機安全性。

在 Fedora 或 Amazon Linux AMI 架設 Nginx + PHP FastCGI

appleboy.tw@gmail.com (Appleboy) — Mon, 28 May 2012 11:34:32 +0000

上一篇介紹

如何在 Ubuntu 底下安裝 Nginx + PHP FastCGI，這次來紀錄如何安裝在 Fedora 系統，目前環境是使用 Amazon Linux AMI，如果有在玩 AWS EC2 或是 Fedora Linux 的話，對這 OS 就不會很陌生了。

AWS 機器上 duplicated RPM 問題

appleboy.tw@gmail.com (Appleboy) — Fri, 07 Oct 2011 05:28:45 +0000

昨天幫忙升級全部

AWS RPM 套件，升級過程本來很順利，不過不知道哪一個 RPM 造成 SSH 全面斷線，接著我直接到 AWS Management Console 把機器 restart，登入系統之後下 yum update，直接給我噴出底下錯誤訊息

---> Package zlib.i686 0:1.2.3-24.7.amzn1 will be updated
---> Package zlib.i686 0:1.2.3-25.8.amzn1 will be an update
--> Finished Dependency Resolution
 You could try using --skip-broken to work around the problem
** Found 155 pre-existing rpmdb problem(s), 'yum check' output follows:
audit-libs-2.1-5.15.amzn1.x86_64 is a duplicate with audit-libs-2.0.4-1.14.amzn1.x86_64
authconfig-6.1.12-5.14.amzn1.x86_64 is a duplicate with authconfig-6.1.4-6.13.amzn1.x86_64
basesystem-10.0-4.9.amzn1.noarch is a duplicate with basesystem-10.0-4.8.amzn1.noarch
bash-4.1.2-8.14.amzn1.x86_64 is a duplicate with bash-4.1.2-3.13.amzn1.x86_64
binutils-2.20.51.0.2-5.20.17.amzn1.x86_64 is a duplicate with binutils-2.20.51.0.2-5.12.15.amzn1.x86_64
cloud-init-0.5.15-16.amzn1.noarch is a duplicate with cloud-init-0.5.15-8.amzn1.noarch
coreutils-8.4-13.13.amzn1.x86_64 is a duplicate with coreutils-8.4-9.12.amzn1.x86_64
coreutils-libs-8.4-13.13.amzn1.x86_64 is a duplicate with coreutils-libs-8.4-9.12.amzn1.x86_64
cpp-4.4.5-6.35.amzn1.x86_64 is a duplicate with cpp-4.4.4-13.33.amzn1.x86_64