Sql

最近剛好在實作 Prometheus + Grafana 的時候，對 MongoDB 做了容器 CPU 使用率 (container_cpu_usage_seconds_total) 的監控，Metrics 寫法如下:

1
2
3

sum(
    rate(container_cpu_usage_seconds_total{name!~"(^$|^0_.*)"}[1m]))
by (name)

從上面的 Metrics 可以拉長時間來看，會發現專案的 MongoDB 非常不穩定，起起伏伏，這時候就需要來看看資料庫到底哪邊慢，以及看看哪個語法造成 CPU 飆高？

接著為了看 MongoDB 的 Log 紀錄，把 Grafana 推出的 Loki，也導入專案系統，將容器所有的 Log 都導向 Loki，底下可以看看 docker-compose 將 Log 輸出到 loki

1
2
3
4
5
6
7

    logging:
      driver: loki
      options:
        loki-url: "http://xxxxxxx/loki/api/v1/push"
        loki-retries: "5"
        loki-batch-size: "400"
        loki-external-labels: "environment=production,project=mongo"

先看看結論，做法其實很簡單，找出相對應 Slow Query，把相關的欄位加上 Index，就可以解決了

時常用到 Postgres 轉換資料的功能，來即時協助 PM 了解目前使用者實際狀況，底下紀錄常用的指令。首先安裝 Postgres 環境，這邊其實就是用 Docker 方式來啟動一個全新的 Postgres DB。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

  db:
    image: postgres:12
    restart: always
    volumes:
      - pg-data:/var/lib/postgresql/data
    logging:
      options:
        max-size: "100k"
        max-file: "3"
    environment:
      POSTGRES_USER: db
      POSTGRES_DB: db
      POSTGRES_PASSWORD: db

上面的 environment 參數可以自由調整，接著透過 docker-compose up -d 來啟動資料庫進行 App 串接。

最近專案需求需要實現單筆資料的版本控制，所以會有一張表 (foo) 專門儲存 key 資料，而有另外一張表 (bar) 專門存 Data 資料，那在 bar 這張表怎麼拿到全部 key 的最新版本資料？底下先看看 schema 範例

通常在使用資料表時，都會在每一筆紀錄上面寫入當下時間，而這個時間會根據目前系統所在的時區而有所不同，當然我們都會使用 UTC+0 作為標準時區，而欄位我們則會是使用 timestamp 或者是 unix time 格式，兩者最大的差異就是在前者 (timestamp) 會根據目前系統的時區來記錄，而後者 (unix time) 則是紀錄秒數差異 (Jan 01 1970) 而不會隨著系統時區改變而變化。如果是發展開源專案，則會使用後者居多，這樣不會因為使用者時區變化，而產生不同的差異，在 Gitea 開源專案保留了兩者，但是只要計算時間則是用 (unix time) 作轉換。

先來說明為什麼有時候需要用到轉換 varchar 到 int 型態，就是因為 order by 的問題，幫學校修改 Mysql 錯誤排序，前人設計全部都用 varchar 型態去存資料，當然包含了學生入學年度，以前不會遇到這問題，但是到了民國100年，就會發生排序錯誤，底下來講個例子，這樣大家就可以瞭解了。 建立 test 資料表，並且先增兩個欄位分別是 a(varchar) 跟 b(int)，個別輸入 100, 90 兩列資料

mysql> select * from test;
+------+------+
| a    | b    |
+------+------+
| 100  |  100 |
| 90   |   90 |
+------+------+

mysql> select * from test order by a desc;
+------+------+
| a    | b    |
+------+------+
| 90   |   90 |
| 100  |  100 |
+------+------+

mysql> select * from test order by b desc;
+------+------+
| a    | b    |
+------+------+
| 100  |  100 |
| 90   |   90 |
+------+------+

在 OurMySQL Blog 看到這篇：『PHP+MySQL环境下SQL Injection攻防总结』寫的相當不錯，裡面有一些觀念，可以讓初學 PHP & MySQL 的使用者知道如何防護 SQL Injection (資料隱碼)，內容提到 magic_quotes_gpc 在 on 跟 off 的狀況如何防護，但是可以清楚看到 PHP 官方文件提到在 PHP 5.3.0 magic_quotes_gpc 預設已經是關閉，在 PHP 6.0 之後正式移除，所以內容寫的 magic_quotes_gpc 狀況，可以大致上瞭解就好，真正防護 SQL Injection 是需要寫程式或者是考慮很多方式去防護。 一般在做文章查詢，都會使用 /articles.php?id=123 網址傳送方式，以 $_GET[‘id’] 送到 PHP 頁面去做處理，如果駭客想要測試是否可以利用 SQL Injection 做攻擊，可以在網址列加上 /articles.php?id=123’，請注意網址後面多出 ’，如果沒有把 $_GET[‘id’] 做處理的話，就會出現底下錯誤訊息：

supplied argument is not a valid MySQL result resource in 這是因為平常在寫 SQL 語法，會是底下這種寫法：

$sql = "SELECT id, title, content FROM articles WHERE id = '".$_GET['id']."'";
$result = mysq_query($sql);

/articles.php?id=0 union select 1,2,load_file(char(47,101,116,99,47,112,97,115,115,119,100)) 其中的數字就是/etc/passwd 字符串的ASCII，除此之外，還可以使用字串 16 進位方式：

/articles.php?id=0 union select 1,2,load_file(0×2f6574632f706173737764) 可以參考一下 MySQL LOAD_FILE(file_name)，底下文章提到了很多方式解決。

最近要寫 ASP.Net 專案，弄 MSSQL Server 2008 當作 Database，利用 SQL 2008 SQL Server Management Studio 管理資料庫，有點類似 MySQL Navicat Lite 軟體，或者是 Web 介面的 phpMyAdmin，在資料表填入欄位新增第一次之後，接下來要去修改資料表，發現會出現錯誤訊息：『防止儲存需要資料表重建的變更』 解決方法其實很簡單：工具->選項->左邊選單 Designers，裡面把**防止儲存需要資料表重建的變更**，取消掉，就可以了 參考資料：[SQL]使用SQL 2008 SQL Server Management Studio 更改資料表結構 出現錯誤訊息不允許儲存變更

在台大 PTT Database 版看到有人問一個問題，我覺得還不錯，問題如下：網頁版

小弟在練習做一個系統遇到以下問題 志願 | 系所 | 功能 1 | a | 退選 2 | b | 退選 3 | c | 退選 4 | d | 退選 5 | e | 退選 網頁介面如上(用for迴圈+mysql_fetch_object抓出資料) 報名序號 | 姓名 | 志願1 | 志願2 | 志願3 | 志願4 | 志願5 1001 小王 a b c d e 資料庫欄位內容如上 想請問若使用者想退選志願3~~照理說用update把志願3欄位清掉 網頁再一次抓資料會變成志願3的系所變空的(如下表) 志願 | 系所 | 功能 1 | a | 退選 2 | b | 退選 3 | | 退選 4 | d | 退選 5 | e | 退選 有沒有辦法在select的時候排除空的那欄 也就是說抓資料的時候，以上述為例，只抓出4筆，變成下表 志願 | 系所 | 功能 1 | a | 退選 2 | b | 退選 3 | d | 退選 4 | e | 退選