cofacts

Month: 2024-05

2024-05-01

2024-05-02

Yvonne JIN 03:53:29
@yvonne27hku has joined the channel
mrorz 12:54:48
我想抓時間在晚上開會前,把 staging 的資料庫洗成 production 的資料庫唷
主要是想測 transcript contribution 的 migration script https://github.com/cofacts/collab-server/pull/7
如果有 concern 的話請提出
dev.cofacts.tw 現在已經是最新的 snapshot (上週日凌晨) 的內容囉

晚上先測 API
測完可以在 staging 跑跑看 migration
mrorz 12:54:48
我想抓時間在晚上開會前,把 staging 的資料庫洗成 production 的資料庫唷
主要是想測 transcript contribution 的 migration script https://github.com/cofacts/collab-server/pull/7
如果有 concern 的話請提出

#7 Feature/contributor

*Changes* • Implement contributors function which compare and update article.contributors since last snapshot • Upgrade hocuspocus/server to 2.7.1 • ref: <https://github.com/cofacts/collab-server/pull/6|#6> *Migrate* 1. Make sure reindexed the articles using `npm run reload -- articles` in <https://github.com/cofacts/rumors-db/pull/67|rumors-db> 2. Pre-fill `usersMap` with data: const usersMap = new Map(<https://g0v.hackmd.io/@ZENl3iLKTLaoUuoGPATdbg/HkxTGBgJC|data>) 3. (optional) Start ssh port forwarding `ssh -L 62222:<http://staging.server.path.to:62222|staging.server.path.to:62222> <mailto:root@staging.server.path.to|root@staging.server.path.to>` 4. Run `npx ts-node --esm ./migration/addContributors.ts` • use nodejs 16 or older version of nodejs18 It should output with 9 error articleId including • 4 are empty transcripts • 5 are transcripts that have some unknown user, articleIds are `svXFoosBAjOeMOklEKR3`, `YGoVfIgBvEj1WkaUtc9M`, `CvSJAIsBAjOeMOklKu45`, `Dvfubo0BAjOeMOklG9PK`, `c_YhOowBAjOeMOklCFve` *Verify result* Elasticsearch query ``` # Can change `must` to `must_not` to check articles that have no contributors. GET /articles/doc/_search { "size":20, "sort" : [ { "updatedAt" : "desc" } ], "query": { "bool": { "must": [ { "nested": { "path": "contributors", "query": { "exists": { "field": "contributors.appId" } } } } ] } } } ``` Or use <https://github.com/cofacts/rumors-api/pull/335|graphql api> to get articles contributed by specific user.

dev.cofacts.tw 現在已經是最新的 snapshot (上週日凌晨) 的內容囉

晚上先測 API
測完可以在 staging 跑跑看 migration
1

2024-05-03

Sam Tsai 08:21:21
@oeo7777 has joined the channel

2024-05-04

cantpr09ram 16:16:27
@bochainwu has joined the channel
julialiu 19:43:14
@julialiu2223 has joined the channel
@null 23:52:36

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-04 15:52:27 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
看起來是個 hiccup
@null 23:52:43

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-04 15:52:30 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 23:53:06

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-04 15:52:50 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred

2024-05-05

Andy Yeh 13:23:06
@andyyeh0406 has joined the channel

2024-05-06

mrorz 14:48:18
看起來是個 hiccup
mrorz 14:48:21
今日議程
https://g0v.hackmd.io/@cofacts/meetings/%2FIwVQ_DydQr2ryy9nCCSlHw
瀏覽權限未開
我自己也看不到
修好了
感謝提醒
mrorz 14:48:21
今日議程
https://g0v.hackmd.io/@cofacts/meetings/%2FIwVQ_DydQr2ryy9nCCSlHw

HackMD

Cofacts 會議記錄 - HackMD

# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -

瀏覽權限未開
我自己也看不到
修好了
感謝提醒
Eli Tyre 19:47:21
@elityre has joined the channel
E 23:06:15
二次詐騙的帳號洗版中
處理完畢,感謝回報與提醒
E 23:06:15
二次詐騙的帳號洗版中
處理完畢,感謝回報與提醒

2024-05-07

bil 00:27:46
感謝E回報,已檢舉
bil 00:27:46
感謝E回報,已檢舉
mrorz 12:35:00
處理完畢,感謝回報與提醒

2024-05-08

@null 19:34:53

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-08 11:34:31 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
我測是好的
mrorz 19:57:27
我測是好的

2024-05-09

@null 14:33:51

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-09 06:33:39 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 502

2024-05-11

@null 18:27:13

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-11 10:26:58 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 502
看起來沒事
mrorz 19:58:03
看起來沒事

2024-05-12

@null 18:13:07

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-12 10:12:54 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 18:13:23

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-12 10:13:14 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 18:13:43

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-12 10:13:36 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:32:35

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-12 10:32:26 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:32:50

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-12 10:32:42 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520

2024-05-13

Jacob Lagerros 11:37:45
@jacobklagerros has joined the channel
mrorz 16:04:46
今日議程
https://g0v.hackmd.io/@cofacts/meetings/%2FfSJ-OU9cRKSLxENOi9Z4VQ

HackMD

Cofacts 會議記錄 - HackMD

# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -

mrorz 16:05:08
最近是不是滿常 timeout
但實際連進去都是活的
🤔 1
mrorz 16:05:08
最近是不是滿常 timeout
但實際連進去都是活的

2024-05-14

@null 17:08:47

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-14 09:08:41 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:09:35

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-14 09:09:19 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:13:40

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-14 09:13:31 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 503
@null 17:13:46

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-14 09:13:35 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 17:14:05

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-14 09:13:49 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
mrorz 17:14:17
這次是真的倒站了
重開網站後恢復
但 site 的 CPU 還是很高
有被打嗎
17:08~17:20 有一波 DDoS 攻擊,有被擋下來
攻擊目標是 https://cofacts.tw/article/2v60p2lt2jmdx 是一個二次詐騙內容
這次被攻擊的網頁,前幾天我們有收到來信檢舉二次詐騙
剛才一查 email 發現,根本就是詐騙集團寄來的信。
結果我幾天前有回那個 zhenghe18168 Cofacts 這裡的處理方式
等於是把 honeypot 跟他們說了 ._.
有點看不懂詐騙集團這什麼操作
不想要他們二次詐騙的訊息被輕易的在 cofacts 上被查證嗎?
話說最近來訊要求下架文章的好像很多都疑似詐騙集團,他們也會資訊共享@@?
我現在想像的是,有 A, B 兩個詐團
B 做二次詐騙,所以發表「OO投資是詐騙、諮詢 B 的 LINE ID」這個東西
但OO投資其實是 A 詐團的,A 可能還沒打算收網,所以檢舉 B 說這是二次詐騙
這符合上面檢舉者 zhenghe18168 的行為:自己開 medium 聲稱 OO 詐騙是正規投資公司、不是詐騙
然後來檢舉、甚至 DDoS 那些說 OO 投資是詐騙的二次詐騙
與其說是在資訊共享,不如說是一個詐騙 conversion funnel 的上下游互打 XD
也是一個可能,因為不夠了解他們的生態系,我都先假設一次詐騙跟二次詐騙是同一集團
原來詐騙業的競爭也很激烈嗎😂
大概跟黑道會互相械鬥一樣那麼競爭ㄅ
跟黑道火拼比起來
ddos 他們看不順眼的網頁已經算小 case ㄌ
mrorz 17:14:17
這次是真的倒站了
重開網站後恢復
但 site 的 CPU 還是很高
有被打嗎
17:08~17:20 有一波 DDoS 攻擊,有被擋下來
攻擊目標是 https://cofacts.tw/article/2v60p2lt2jmdx 是一個二次詐騙內容
這次被攻擊的網頁,前幾天我們有收到來信檢舉二次詐騙
剛才一查 email 發現,根本就是詐騙集團寄來的信。
結果我幾天前有回那個 zhenghe18168 Cofacts 這裡的處理方式
等於是把 honeypot 跟他們說了 ._.
有點看不懂詐騙集團這什麼操作
不想要他們二次詐騙的訊息被輕易的在 cofacts 上被查證嗎?
話說最近來訊要求下架文章的好像很多都疑似詐騙集團,他們也會資訊共享@@?
我現在想像的是,有 A, B 兩個詐團
B 做二次詐騙,所以發表「OO投資是詐騙、諮詢 B 的 LINE ID」這個東西
但OO投資其實是 A 詐團的,A 可能還沒打算收網,所以檢舉 B 說這是二次詐騙
這符合上面檢舉者 zhenghe18168 的行為:自己開 medium 聲稱 OO 詐騙是正規投資公司、不是詐騙
然後來檢舉、甚至 DDoS 那些說 OO 投資是詐騙的二次詐騙
與其說是在資訊共享,不如說是一個詐騙 conversion funnel 的上下游互打 XD
也是一個可能,因為不夠了解他們的生態系,我都先假設一次詐騙跟二次詐騙是同一集團
原來詐騙業的競爭也很激烈嗎😂
大概跟黑道會互相械鬥一樣那麼競爭ㄅ
跟黑道火拼比起來
ddos 他們看不順眼的網頁已經算小 case ㄌ
@null 17:15:35

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-14 09:15:25 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520

2024-05-16

2024-05-18

tiwb 00:09:09
@tiwb has joined the channel
@null 17:30:26

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:30:16 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 17:31:10

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 09:30:56 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 17:31:30

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 09:31:19 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
倒站,我看看
但我手邊沒電腦,只能檢查 cloudflare
網站又活了
一場誤會,仍然是死的
看起來好了
他發動第二波,又倒站了
已經針對該網頁設定 WAF 做 managed challenges
現在攻擊停了,網站復活
mrorz 17:32:28
倒站,我看看
mrorz 17:32:44
但我手邊沒電腦,只能檢查 cloudflare
@null 17:35:35

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 09:35:27 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
mrorz 17:36:43
網站又活了
@null 17:37:39

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 09:37:27 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 502
@null 17:38:00

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 09:37:52 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:38:55

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:38:44 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:39:00

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:38:51 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:39:55

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:39:47 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 17:41:00

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 09:40:49 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
mrorz 17:41:42
一場誤會,仍然是死的
@null 17:43:00

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:42:52 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
mrorz 17:45:52
看起來好了
@null 17:47:10

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:47:02 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
@null 17:47:15

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 09:47:06 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 502
@null 17:47:20

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 09:47:09 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
mrorz 17:47:55
他發動第二波,又倒站了
Screenshot_20240518-174737.png
@null 17:50:40

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 09:50:29 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
mrorz 17:54:53
已經針對該網頁設定 WAF 做 managed challenges
現在攻擊停了,網站復活
Screenshot_20240518-175401.png
@null 18:24:45

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 10:24:40 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:24:50

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 10:24:43 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:25:10

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 10:25:03 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:32:55

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 10:32:45 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:32:55

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 10:32:46 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:33:10

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-18 10:33:05 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:39:00

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-18 10:38:51 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
mrorz 19:09:45
持續被攻擊中
Screenshot_20240518-190800.png
我打開 I am under attack mode
API 存取可能會有影響
攻擊好像停了,但系統可能卡在 Swap 用光的狀態,我手邊沒電腦處理 orz
服務自己復活了
I am under attack 關掉
🦒 1 🐳 1 🌸 1
mrorz 19:16:58
我打開 I am under attack mode
API 存取可能會有影響
mrorz 20:07:13
服務自己復活了
I am under attack 關掉

2024-05-19

@null 05:54:00

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-18 21:53:56 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
活得
Amos 09:07:41
看到最近一直被攻擊,好奇這樣不知道這樣會不會增加(肝以外的)實質營運成本?
(打完問題之後覺得這個問題不知道算不算秘密,不便回答請直接忽略我)
短期:就是操作 Cloudflare 這樣
長期:可能會需要開發更有韌性的系統,讓 DDoS 不要那麼容易把系統弄到整個壞到
大概會有這兩個 effort
Amos 09:07:41
看到最近一直被攻擊,不知道這樣會不會增加(肝以外的)實質營運成本?
(打完問題之後覺得這個問題不知道算秘密,不便回答請直接忽略我)
短期:就是操作 Cloudflare 這樣
長期:可能會需要開發更有韌性的系統,讓 DDoS 不要那麼容易把系統弄到整個壞到
大概會有這兩個 effort
Amos 09:10:57
想到:如果把被攻擊的狀況揭露出來的話,會不會有利於假訊息對抗?
邏輯:因為某些人不想這則回應被看到,所以攻擊伺服器→→故要讓被攻擊的目標有更多揭露,讓更多人看到這一則回應→→被攻擊的人發現導致反效果,所以______
可以,不過這幾篇都是二次詐騙,感覺是黑吃黑(前後脈絡: https://g0v-tw.slack.com/archives/C2PPMRQGP/p1715679873584869?thread_ts=1715678057.700459&cid=C2PPMRQGP

所以我覺得效益不太大 XD
Amos 09:10:57
想到:如果把被攻擊的狀況揭露出來的話,會不會有利於假訊息對抗?
邏輯:因為某些人不想這則回應被看到,所以攻擊伺服器→→故要讓被攻擊的目標有更多揭露,讓更多人看到這一則回應→→被攻擊的人發現導致反效果,所以______
可以,不過這幾篇都是二次詐騙,感覺是黑吃黑(前後脈絡: https://g0v-tw.slack.com/archives/C2PPMRQGP/p1715679873584869?thread_ts=1715678057.700459&cid=C2PPMRQGP

所以我覺得效益不太大 XD
Amos 09:40:35
FYI (覺得不太需要處理,但看到了還是提醒一下)
注意到有人好像想協助查核,但可能不會操作,所以丟訊息在「網友回報補充」。不過回應內容相當個人意見,且使用簡體字。不知是長輩還是對岸來的,或者是對岸來的長輩(?)

https://cofacts.tw/article/7vl2s4cBn6k8q-JUF_7d
這則訊息也有「網友回報補充」。但這則的品質不錯,覺得已經可以成為查核內容了。如果引導一下,或許可成為查核助力。

https://cofacts.tw/article/SaST6ocBpPlTXSoGbIek
第一個只是網友隨口評論,我覺得還好 XDD

第二個滿讚的,可以給他一個讚,這樣沒有登入的人也會看到
雖然 LINE bot 上視為未回應、系統也視為未回應,但 google 的人可以讀

當然 Amos 在下面把回報補充精煉成回應是最好的,感謝 @amosli.tw ++
Amos 09:40:35
FYI (覺得不太需要處理,但看到了還是提醒一下)
注意到有人好像想協助查核,但可能不會操作,所以丟訊息在「網友回報補充」。不過回應內容相當個人意見;且使用簡體字,不知是長輩還是對岸來的,或者是對岸來的長輩(?)

https://cofacts.tw/article/7vl2s4cBn6k8q-JUF_7d
這則訊息也有「網友回報補充」。但這則的品質不錯,覺得已經可以成為查核內容了。如果引導一下,或許可成為查核助力。

https://cofacts.tw/article/SaST6ocBpPlTXSoGbIek
第一個只是網友隨口評論,我覺得還好 XDD

第二個滿讚的,可以給他一個讚,這樣沒有登入的人也會看到
雖然 LINE bot 上視為未回應、系統也視為未回應,但 google 的人可以讀

當然 Amos 在下面把回報補充精煉成回應是最好的,感謝 @amosli.tw ++
mrorz 11:42:48
活得
mrorz 12:51:44
最近很多人在把 AI 生成的花朵跳舞影片說成是巴黎奧運宣傳片在傳呢
https://cofacts.tw/article/1e0juci79snuh
(見搭配訊息、相似可疑訊息)

現在發早安圖已經不說早安,改說巴黎奧運了嗎
剛才用 Google 以圖找圖找不到原始創作者
但是社群平台 IG、Tiktok 非常多
不過因為 Cofacts 原圖沒有上 Tiktok 浮水印,來源應是其他平台
我爸跟我媽各自傳了一個…
mrorz 12:51:44
最近很多人在把 AI 生成的花朵跳舞影片說成是巴黎奧運宣傳片在傳呢
https://cofacts.tw/article/1e0juci79snuh
(見搭配訊息、相似可疑訊息)

現在發早安圖已經不說早安,改說巴黎奧運了嗎
剛才用 Google 以圖找圖找不到原始創作者
但是社群平台 IG、Tiktok 非常多
不過因為 Cofacts 原圖沒有上 Tiktok 浮水印,來源應是其他平台
我爸跟我媽各自傳了一個…
👍 1

2024-05-20

mrorz 14:59:51
今日議程
https://g0v.hackmd.io/@cofacts/meetings/%2FEjQAz1rERUKWfTy1M-cynA

HackMD

Cofacts 會議記錄 - HackMD

# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -

2024-05-22

superbil 02:47:20
@superbil has joined the channel
karasu 14:38:30
@gtr12534 has joined the channel
peii 20:22:18
@peii has joined the channel

2024-05-24

左手寫字 01:24:12
@08370013 has joined the channel

2024-05-27

mrorz 13:23:03
今日議程 https://g0v.hackmd.io/@cofacts/meetings/%2F3Q68lDqNQ7SWxiKO7NKPYA
只有線上唷

HackMD

Cofacts 會議記錄 - HackMD

# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -

ronnywang 13:28:00
看到討論內容有「[Op] 垃圾訊息反制」

不知道一個十幾年前就很成熟的技術有沒有機會用在這裡,就是 Apache SpamAssassin 裡面的 sm-learn ,透過使用者 report spam ,來學習是不是 spam 的樣態,進而加強準確度。
不過不確定他裡面的功能好不好獨立拉出來使用
他背後是用 https://zh.wikipedia.org/wiki/%E8%B2%9D%E8%91%89%E6%96%AF%E5%9E%83%E5%9C%BE%E9%83%B5%E4%BB%B6%E9%81%8E%E6%BF%BE Bayes spam filtering 技術,所以找找看有沒有開源的類似的 Bayes spam filtering 專案也可
喔喔 naive bayes 嗎
那就是要斷詞 XD
目前我們的方向是先自動化,然後偵測的部分可以接不同模組(第二階段)
我可以貢獻 ckip api XD 我家裡買了一台 4090 server ,我可以來生一個斷詞 API 給 cofacts 用 XD
~最近在玩九日回報 bug 所以都沒開發~
我也可以貢獻一些 whisper 的算力 XD 花了 20 萬元買一台 4090 的 server ,希望他可以物盡其用 XD
其實 whisper 滿多有趣的 variant 耶
官方的有 API,但有些服務會加上 voice activity detection 減少 hallucination
https://github.com/m-bain/whisperX
這種因為用的人比較少,就很少會有 API 24 小時待命,一直開著也好貴
(之前的研究與效果: https://g0v.hackmd.io/wkx286lmTDaFUpgRhnUawQ#WhisperX-on-replicate
如果能 host whisperx 的話就幫大忙了 m(_ _)m
我就覺得一直開很貴,然後今年又想好好把立法院的 ivod 都處理一下,所以就決定買一台 4090 了

之前也是用 whisperx 處理上次院會的討論
那我生一個 API 給你們
用法可能是這樣
1. https://whisperx-api/queue?url={mp4_or_wav_url}&callback={done_url}&key={key_for_cofacts}
2. 然後 whisperx 處理完後,就會去呼叫 done_url 把結果送過去
這樣對你們來說是方便的嗎?
聽起來很不錯,不過不急
好奇通常會花多久時間呀
因為這種 query 比較難秒殺,影片越長可能要算越久,所以想把 API 設計成這種非同步的
這裡有一些我們測試的例子,跟 whisperx 在 replicate 上的執行時間

https://docs.google.com/spreadsheets/d/10xfkOZpGJ-9vIvoYziEkD1lZETWMbBLDT-NABdQ8H_g/edit#gid=678820735
其實用 4090 滿快的,上次處理 5/21 的院會記錄,他分成兩段,分別是 10h24m57s 和 4h51m22s
分別跑完whisperx + diarize 花了 20m0.139s 和 9m19s
diarize 花比較多時間
會分 speaker 真的滿厲害的
幸好逐字稿這裡不用
話說我們可能會需要 prompt 的參數
好,那我 API 可能可以再多加一個 init_prompt 的參數
關於 API 是同步好還是非同步好
我們目前實作都是接同步的 API
非同步的話我這裡應該會用寫 redis + 監聽 redis 來與現有同步 API
好奇 cofacts 有沒有申請過國網中心的資源,也許有機會用 v100 的算力
https://youtu.be/kAyYWZ4PNXw
沒申請過耶,畢竟我們也沒有 data scientist / MLOps 處理這塊,我只會 call API XD
ronnywang 13:28:00
看到討論內容有「[Op] 垃圾訊息反制」

不知道一個十幾年前就很成熟的技術有沒有機會用在這裡,就是 Apache SpamAssassin 裡面的 sm-learn ,透過使用者 report spam ,來學習是不是 spam 的樣態,進而加強準確度。
不過不確定他裡面的功能好不好獨立拉出來使用
他背後是用 https://zh.wikipedia.org/wiki/%E8%B2%9D%E8%91%89%E6%96%AF%E5%9E%83%E5%9C%BE%E9%83%B5%E4%BB%B6%E9%81%8E%E6%BF%BE Bayes spam filtering 技術,所以找找看有沒有開源的類似的 Bayes spam filtering 專案也可
喔喔 naive bayes 嗎
那就是要斷詞 XD
目前我們的方向是先自動化,然後偵測的部分可以接不同模組(第二階段)
我可以貢獻 ckip api XD 我家裡買了一台 4090 server ,我可以來生一個斷詞 API 給 cofacts 用 XD
~最近在玩九日回報 bug 所以都沒開發~
我也可以貢獻一些 whisper 的算力 XD 花了 20 萬元買一台 4090 的 server ,希望他可以物盡其用 XD
其實 whisper 滿多有趣的 variant 耶
官方的有 API,但有些服務會加上 voice activity detection 減少 hallucination
https://github.com/m-bain/whisperX
這種因為用的人比較少,就很少會有 API 24 小時待命,一直開著也好貴
(之前的研究與效果: https://g0v.hackmd.io/wkx286lmTDaFUpgRhnUawQ#WhisperX-on-replicate
如果能 host whisperx 的話就幫大忙了 m(_ _)m
我就覺得一直開很貴,然後今年又想好好把立法院的 ivod 都處理一下,所以就決定買一台 4090 了

之前也是用 whisperx 處理上次院會的討論
那我生一個 API 給你們
用法可能是這樣
1. https://whisperx-api/queue?url={mp4_or_wav_url}&callback={done_url}&key={key_for_cofacts}
2. 然後 whisperx 處理完後,就會去呼叫 done_url 把結果送過去
這樣對你們來說是方便的嗎?
聽起來很不錯,不過不急
好奇通常會花多久時間呀
因為這種 query 比較難秒殺,影片越長可能要算越久,所以想把 API 設計成這種非同步的
這裡有一些我們測試的例子,跟 whisperx 在 replicate 上的執行時間

https://docs.google.com/spreadsheets/d/10xfkOZpGJ-9vIvoYziEkD1lZETWMbBLDT-NABdQ8H_g/edit#gid=678820735
其實用 4090 滿快的,上次處理 5/21 的院會記錄,他分成兩段,分別是 10h24m57s 和 4h51m22s
分別跑完whisperx + diarize 花了 20m0.139s 和 9m19s
diarize 花比較多時間
會分 speaker 真的滿厲害的
幸好逐字稿這裡不用
話說我們可能會需要 prompt 的參數
好,那我 API 可能可以再多加一個 init_prompt 的參數
關於 API 是同步好還是非同步好
我們目前實作都是接同步的 API
非同步的話我這裡應該會用寫 redis + 監聽 redis 來與現有同步 API
好奇 cofacts 有沒有申請過國網中心的資源,也許有機會用 v100 的算力
https://youtu.be/kAyYWZ4PNXw
沒申請過耶,畢竟我們也沒有 data scientist / MLOps 處理這塊,我只會 call API XD
🙌 1

2024-05-29

mrorz 01:55:52
收到針對這篇的回應的檢舉
https://cofacts.tw/article/96aq8x6xxxg3
是在大家都在懷疑詐騙的年代用 LINE 做直銷嗎
回應的人貼的圖片還有很多人留言耶,是什麼新流行的平台嗎? 還是那個圖片網址也是轉傳對象之一?!
而且正(?)反方用的是同樣的短網址服務
我也沒看過,很奇妙
那個短網址服務常被用來分享外流私密照片影片欸
感覺還有賺廣告流量的成分在?
mrorz 01:55:52
收到針對這篇的回應的檢舉
https://cofacts.tw/article/96aq8x6xxxg3
是在大家都在懷疑詐騙的年代用 LINE 做直銷嗎
回應的人貼的圖片還有很多人留言耶,是什麼新流行的平台嗎? 還是那個圖片網址也是轉傳對象之一?!
而且正(?)反方用的是同樣的短網址服務
我也沒看過,很奇妙
那個短網址服務常被用來分享外流私密照片影片欸
感覺還有賺廣告流量的成分在?
黃怡菁 14:43:59
@tnicko has joined the channel

2024-05-30

cai 10:15:55
https://cofacts.tw/article/BIJRq48B3RbBUEe2XTUv
https://cofacts.tw/article/x6jh4dq31eyp
今天在地方群組看到6月臉書實名制的錯誤消息,才知道金管會3月的質詢被媒體標題誤導
看起來應該是要求業者實名
不知道網傳訊息為何要個人去認證呢
👀 2
cai 10:15:55
https://cofacts.tw/article/BIJRq48B3RbBUEe2XTUv
https://cofacts.tw/article/x6jh4dq31eyp
今天在地方群組看到6月臉書實名制的錯誤消息,才知道金管會3月的質詢被媒體標題誤導
看起來應該是要求業者實名
不知道網傳訊息為何要個人去認證呢
@null 13:44:47

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-30 05:43:45 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
看起來沒事
mrorz 13:57:26
看起來沒事
@null 14:17:39

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-30 06:17:31 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 14:17:47

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-30 06:17:31 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
我看是活的
mrorz 15:05:50
我看是活的
@null 17:46:29

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-30 09:46:25 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:00:45

Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-05-30 10:00:40 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
這次是新網頁
剛加入 WAF rule
重開完成,網站、API、chatbot 恢復
這次被打的新網頁:
https://cofacts.tw/reply/rILIxI8B3RbBUEe2f2FF
最下面留言處有二次詐騙
2024/5/30 下午 5:42:18 的時候,https://cofacts.tw/reply/rILIxI8B3RbBUEe2f2FF 這則回應有人檢舉為「侮辱、毀謗、散布不實資訊」,沒有提供理由。

然後 6 點的時候這頁就被 DDoS。
看來我也要保護一下 https://cofacts.tw/article/J4KgxI8B3RbBUEe2bmFt 這頁
看到一篇經驗分享
講他怎麼觀察 DDoS pattern 並且設計 WAF rule

https://community.cloudflare.com/t/mitigating-an-http-ddos-attack-manually-with-cloudflare/302366

~不知道 LLM 能不能代勞這個分析~
@null 18:01:04

Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-05-30 10:01:01 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
@null 18:01:34

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-30 10:01:25 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
mrorz 18:02:38
這次是真的倒站了
mrorz 18:02:38
這次是真的倒站了
mrorz 18:06:49
這次是新網頁
剛加入 WAF rule
20240530-ddos.pdf
@null 18:07:39

Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-05-30 10:07:31 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
mrorz 18:10:18
重開完成,網站、API、chatbot 恢復
mrorz 18:12:15
這次被打的新網頁:
https://cofacts.tw/reply/rILIxI8B3RbBUEe2f2FF
最下面留言處有二次詐騙
mrorz 18:59:16
2024/5/30 下午 5:42:18 的時候,https://cofacts.tw/reply/rILIxI8B3RbBUEe2f2FF 這則回應有人檢舉為「侮辱、毀謗、散布不實資訊」,沒有提供理由。

然後 6 點的時候這頁就被 DDoS。
mrorz 18:59:57
看來我也要保護一下 https://cofacts.tw/article/J4KgxI8B3RbBUEe2bmFt 這頁
mrorz 19:45:13
看到一篇經驗分享
講他怎麼觀察 DDoS pattern 並且設計 WAF rule

https://community.cloudflare.com/t/mitigating-an-http-ddos-attack-manually-with-cloudflare/302366

~不知道 LLM 能不能代勞這個分析~