#cofacts
2024-02-01
今日議程：https://g0v.hackmd.io/@cofacts/meetings/%2F34g0wkjDTVOyoq6mW1qShw
還是在 Workis 唷
還是在 Workis 唷
HackMD
# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -
今日議程：https://g0v.hackmd.io/@cofacts/meetings/%2F34g0wkjDTVOyoq6mW1qShw
還是在 Workis 唷
還是在 Workis 唷
2024-02-02
@vlee9527 has joined the channel
下週會議是新年假期第一天，會遠端唷～
下週會議是新年假期第一天，會遠端唷～
2024-02-03
@yihuang.edu has joined the channel
2024-02-04
@growhackx has joined the channel
2024-02-05
ping
pong
pong
把真人用AI替換成機器人，畫質模糊的情況下，要逆推回去找原始影片好難
好奇是在 Cofacts 上的嗎
有沒有連結
有沒有連結
網路上有人用同一款機器人模型與 AI 軟體
https://www.youtube.com/watch?v=aGd9u_Xaaoo
https://www.youtube.com/watch?v=aGd9u_Xaaoo
看來三個影片都是用 https://wonderdynamics.com/ 做的
https://tfc-taiwan.org.tw/articles/10288
事實查核中心是猜關鍵字去搜XDD
事實查核中心是猜關鍵字去搜XDD
好強喔，居然找得到
把真人用AI替換成機器人，畫質模糊的情況下，要逆推回去找原始影片好難
- 😢1
好奇是在 Cofacts 上的嗎
有沒有連結
有沒有連結
網路上有人用同一款機器人模型與 AI 軟體
https://www.youtube.com/watch?v=aGd9u_Xaaoo
https://www.youtube.com/watch?v=aGd9u_Xaaoo
看來三個影片都是用 https://wonderdynamics.com/ 做的
https://tfc-taiwan.org.tw/articles/10288
事實查核中心是猜關鍵字去搜XDD
事實查核中心是猜關鍵字去搜XDD
好強喔，居然找得到
Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-02-05 14:32:03 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-02-05 14:33:26 +0000 UTC
Status: Unhealthy
Failure reason: Response code mismatch error
Expected codes: [200]
Received code: 520
2024-02-06
好奇是在 Cofacts 上的嗎
有沒有連結
有沒有連結
網路上有人用同一款機器人模型與 AI 軟體
https://www.youtube.com/watch?v=aGd9u_Xaaoo
https://www.youtube.com/watch?v=aGd9u_Xaaoo
YouTube
看來三個影片都是用 https://wonderdynamics.com/ 做的
https://tfc-taiwan.org.tw/articles/10288
事實查核中心是猜關鍵字去搜XDD
事實查核中心是猜關鍵字去搜XDD
好強喔，居然找得到
2024-02-07
Replied to a thread: 2024-01-14 15:31:51
大謙有做選務人員耶酷
https://www.youtube.com/watch?v=EI3WpJHtUtQ
https://www.youtube.com/watch?v=EI3WpJHtUtQ
https://cofacts.tw/article/Dvfubo0BAjOeMOklG9PK
https://www.mygopen.com/2024/02/1200.html
https://tfc-taiwan.org.tw/articles/10287
我看不太懂
車輛未依規定打方向燈不是科技執法項目，AI不會偵測到是確定的，那警察如果看影片的時候看到，能用科技執法錄到的影片去開沒打方向燈的單嗎？TFC寫的人力取締，是指去現場抓？
https://www.mygopen.com/2024/02/1200.html
https://tfc-taiwan.org.tw/articles/10287
我看不太懂
車輛未依規定打方向燈不是科技執法項目，AI不會偵測到是確定的，那警察如果看影片的時候看到，能用科技執法錄到的影片去開沒打方向燈的單嗎？TFC寫的人力取締，是指去現場抓？
科技執法應該
在進入這個右轉道前本來就應該打方向燈，而因為是右轉到的關係，方向盤還沒回正，如果車子不會自動跳掉方向燈、駕駛也沒有另外手動撥掉，方向燈應該還是會開著
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
也就是說如果真的要人力取締，那應該也會需要看進入右轉道前是否有打燈告訴後車「我要進右轉道右轉ㄛ」這樣
進專用道之後提早把方向燈熄掉應該也還好ㄅ
如果真的要說明，可以查一下那個地方一年平均有幾件交通事故
https://cofacts.tw/article/Dvfubo0BAjOeMOklG9PK
https://www.mygopen.com/2024/02/1200.html
https://tfc-taiwan.org.tw/articles/10287
我看不太懂
車輛未依規定打方向燈不是科技執法項目，AI不會偵測到是確定的，那警察如果看影片的時候看到，能用科技執法錄到的影片去開沒打方向燈的單嗎？TFC寫的人力取締，是指去現場抓？
https://www.mygopen.com/2024/02/1200.html
https://tfc-taiwan.org.tw/articles/10287
我看不太懂
車輛未依規定打方向燈不是科技執法項目，AI不會偵測到是確定的，那警察如果看影片的時候看到，能用科技執法錄到的影片去開沒打方向燈的單嗎？TFC寫的人力取締，是指去現場抓？
MyGoPen
網傳「沒暫停！1800 元就打水漂了」的影片及訊息，內容聲稱高雄市三多一路和武營路口設置科技執法，駕駛人右轉沒有暫停再開就罰 1,800 元，若是沒有打右轉方向燈，再罰 1,200 元。經查證，網傳影片為三多一路與武營路口設置的科技執法，於 2024 年 2 月 1 日正式啟用，根據法規，駕駛人行經
台灣事實查核中心
【報告將隨時更新 2024/2/6版】 2024年2月網路流傳一段高雄路口影片，聲稱警方啟用科技執法，未停車再開、未打右轉方向燈將被開罰，查證如下： 一、網傳影片地點為高雄市武營、三多一路口，警方自2月1日設置科技執法，取締項目是未停車再開與闖紅燈，未打右轉方向燈並非科技執法取締項目。 二、高雄市警方表示，該路口2023年發生69件車禍，多數原因是武營路車輛右轉進入三多一路，未注意左方來車，因此常發生側撞。 為了減少車禍事件，才在路口設置科技執法，針對「未停車再開」取締，希望讓用路人看到「停車再開」號誌，確實養成停讓的習慣。 三、駕駛人若未遵守「停車再開」規定，會依車種或是否逾期繳納，開罰600至1800元，網傳稱會開罰1800元並不準確。此外，人力取締車輛未依規定打方向燈，處1200至3600元罰鍰。 高雄市警方的確在高雄市武營、三多一路口設置科技執法，民眾應停車再開；但網傳影片對於執法內容、罰鍰等描述不盡正確，因此，為「部分錯誤」訊息。 【查核聲明】查核報告針對高雄科技執法的取締項目、罰鍰等內容查證，網傳影片對於警方執法之評論為個人意見，不屬於查核範圍。
科技執法應該
在進入這個右轉道前本來就應該打方向燈，而因為是右轉到的關係，方向盤還沒回正，如果車子不會自動跳掉方向燈、駕駛也沒有另外手動撥掉，方向燈應該還是會開著
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
也就是說如果真的要人力取締，那應該也會需要看進入右轉道前是否有打燈告訴後車「我要進右轉道右轉ㄛ」這樣
進專用道之後提早把方向燈熄掉應該也還好ㄅ
如果真的要說明，可以查一下那個地方一年平均有幾件交通事故
科技執法應該
在進入這個右轉道前本來就應該打方向燈，而因為是右轉到的關係，方向盤還沒回正，如果車子不會自動跳掉方向燈、駕駛也沒有另外手動撥掉，方向燈應該還是會開著
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
但老實講，駕駛在進入右轉道之後手動把它關掉，應該也沒有違規吧
號誌也是「停車再開」呀
也就是說如果真的要人力取締，那應該也會需要看進入右轉道前是否有打燈告訴後車「我要進右轉道右轉ㄛ」這樣
進專用道之後提早把方向燈熄掉應該也還好ㄅ
如果真的要說明，可以查一下那個地方一年平均有幾件交通事故
Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-02-07 15:47:09 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
- 🤷♀️1
2024-02-08
# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -
沒權限看不到，403 error code
沒權限看不到，403 error code
更新囉
更新囉
- 👍1
https://cofacts.tw/article/17mn1n9v6967z 假貼圖詐騙這次變成刮刮樂 😆
真是認真 lol
https://cofacts.tw/article/17mn1n9v6967z 假貼圖詐騙這次變成刮刮樂 😆
真是認真 lol
真是認真 lol
2024-02-11
下一週的會議可以改 2/15（四）嗎 ~
我那天回台灣
我那天回台灣
下一週的會議可以改 2/15（四）嗎 ~
我那天回台灣
我那天回台灣
2024-02-14
明天開會唷
明天開會唷
@luyunqiao2008.2.16 has joined the channel
2024-02-15
@dikamo3557 has joined the channel
2024-02-17
Health Check Name: api.cofacts.tw
Health Check ID: 86c058fd4a13c3a35fd33ecb2c6e74cf
Time : 2024-02-17 10:30:03 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
Health Check Name: line-bot.cofacts.tw
Health Check ID: 43bacff73e318b0ee85fdcda1f7d8627
Time : 2024-02-17 10:30:16 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
Health Check Name: cofacts.tw
Health Check ID: 26c31cd565ee9448e8cff64528205cd3
Time : 2024-02-17 10:30:41 +0000 UTC
Status: Unhealthy
Failure reason: HTTP timeout occurred
系統好像很忙，沒啥反應
但 cloudflare 沒有叫
但 cloudflare 沒有叫
沒看過的 command @@
啊，這應該是代表進入swap thrashing 了
以為被攻擊，還跑去調了 I'm under attack
我先重開 db 唷
docker stats 都沒反應
docker engine 如果2. 沒反應的話我要
原本那樣是 swap 滿了，kswapd 怎麼找都找不到空間，所以 cpu 一直佔著
Root cause 不明
大概就是不小心就 thrashing 然後萬劫不復
大概就是不小心就 thrashing 然後萬劫不復
Replied to a thread: 2024-02-17 18:30:57
系統好像很忙，沒啥反應
但 cloudflare 沒有叫
但 cloudflare 沒有叫
啊，這應該是代表進入swap thrashing 了
以為被攻擊，還跑去調了 I'm under attack
我先重開 db 唷
docker stats 都沒反應
docker engine 如果2. 沒反應的話我要
原本那樣是 swap 滿了，kswapd 怎麼找都找不到空間，所以 cpu 一直佔著
Root cause 不明
大概就是不小心就 thrashing 然後萬劫不復
大概就是不小心就 thrashing 然後萬劫不復
2024-02-20
本週週會希望改回周三（明天）唷
下週 228 因此改成周四 229
場地為 NPO Hub
下週 228 因此改成周四 229
場地為 NPO Hub
本週週會希望改回周三（明天）唷
下週 228 因此改成周四 229
場地為 NPO Hub
下週 228 因此改成周四 229
場地為 NPO Hub
2024-02-21
# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -
2024-02-22
@mrorz 不太確定這個要詢問誰~
最近在看hugging face 是上面的CSV 有發現 articles 和 reply_requests 在CSV中有斷行的問題 我已經有修復了
但是好像沒辦法發PR~ 我手邊有script 也可以提供~ 看看怎麼樣方便 希望可以貢獻一點心力避免以後duplicate work!
最近在看hugging face 是上面的CSV 有發現 articles 和 reply_requests 在CSV中有斷行的問題 我已經有修復了
但是好像沒辦法發PR~ 我手邊有script 也可以提供~ 看看怎麼樣方便 希望可以貢獻一點心力避免以後duplicate work!
Hi articles 有斷行是正常的唷，有斷行的字串應該都有雙引號包住
想問你處理的程式語言是什麼呢
想問你處理的程式語言是什麼呢
我用python 直接load, 大概有15-20行的長度不是11欄 所以我人工合併了?
我直接用 `csv.reader`
Python 可以參考 README 裡的 colab 設定
更正，python 的部分我是做在 hugging face 設定上，讓 load_dataset 可以直接運作
直接用 python library 讀的話
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
了解~
我原本是想要順便丟到powerBI 裡面看一下high level的圖~所以才會做個轉換
印象中 google sheet 的 import 功能可以正確載入
另外想詢問一下~hugging face上面的table 有沒有UML可以參考~
很怕不同key之間搞錯><
但的確不是每個工具的 CSV parser 都有特別處理多行字串
我猜cofacts是存在一個SQL裡面?
Elasticsearch 唷
喔喔!
而且做了很多可怕的 denormalization
Huggingface 上的是重新 normalize 的結果
了解~
然後再整理的時候發現一個小小小的typo
應該不是userID?
手邊好像只有針對 ES index 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
但 normalization 其實也就是把 nested object 拉出來獨立成表這樣
懂~
謝謝!!! 這個很棒QAQ 我下午在拉不同表的FK XD
對耶好像是 userIdSha256 之類
我再查一下
我再查一下
恩恩應該是!
小地方~
huggingface 上的 README 關於欄位的說明更新囉
感謝提醒
感謝提醒
@mrorz 想追問一下
AppID 中的 development_frontend ; development_backend 是系統產生的嗎?
對，這類內容是不認識的第三方打 API 送的
那有什麼平台可以編輯這麼多replies阿!
也有可能是我們自己打 API 漏附 app id
我大概看到三個development frontend 大概有幾千個replies
XD
是很久以前嗎
還是最近兩年
還是最近兩年
幾千個 reply 好可疑
這樣講不對 應該說有幾萬筆reply是同一個userID
但是他的UserID 有時候是website 有時候會是development_frontend
但是他的UserID 有時候是website 有時候會是development_frontend
我今天想釐清的事情是有沒有可能同一個userID 但是有不同的appID (如果userID,appID pair 是unique)
我的印象中2017還 2018 還 2019
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
然後其中有三個userID 同時出現過website 和 developer frontend
通常 app id 不同的時候 user id 會不同，有相同應該是巧合，或是我們自己打 API 操作錯誤，或是有人想要冒用該 user id 身份 (?
可能要給我看一下例子
可能要給我看一下例子
好! 我丟給你看看~
這邊大概前100筆用的是development frontend 做appid
但是這邊的userid 都是曾經出現過development frontend ID 的user
(在其他table)
所以換句話問 -- 是不是只要userID 相同 就基本上是同一個人
還是有可能是第三方服務 背後可能代表的是很多其他的人~
還是有可能是第三方服務 背後可能代表的是很多其他的人~
這些case 應該是與 app id = website 的同一人
應該都是我透過之前給過一些內部開發用方法
所送的內容
所送的內容
內部開發用方法?
對，但具體來說我忘了是怎麼送的
但應該是類似初期管理 Cofacts 資料庫時用的工具
但應該是類似初期管理 Cofacts 資料庫時用的工具
所以我可以理解成比較舊的資料在轉移的過程中產生的?
也就是說它的原作者可能是不同人?
也就是說它的原作者可能是不同人?
對，但因為是我們做個， User ID 應該是盡可能有使用跟 website 一致的值，也就是應該是與 appid=website. 的對應到同一人沒錯
了解!
太感謝解惑了
不會，這算是一種髒資料 XD”
哈哈哈我懂!
我忘記自我介紹了 可以叫我肯恩
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
你好你好~
和 Madeleine 訪談很愉快~
和 Madeleine 訪談很愉快~
如果我們有什麼有趣的發現在跟你們分享!
好!
也有些 related work
https://tsjournal.org/index.php/jots/article/view/118
https://tsjournal.org/index.php/jots/article/view/118
@mrorz
不好意思又來詢問一下
• liffVisit 和 lineUser 差在哪裡~
• appId 的 Batch 是什麼意思
• 請問下一次的資料更新有預計的時間嗎?
謝謝!!
不好意思又來詢問一下
• liffVisit 和 lineUser 差在哪裡~
• appId 的 Batch 是什麼意思
• 請問下一次的資料更新有預計的時間嗎?
謝謝!!
`liffVisit` 是指這種網頁的 visit:
https://liff.line.me/1563196602-R1zEXaDB?p=article&articleId=1mpleu7bspv6j
我們會請第三方 bot 在導向到 Cofacts 時，把使用者導向到這種 URL
在 LINE 上這會讓使用者自動登入 LINE，使 Cofacts 能收得到瀏覽量、feedback 等資訊
目前有實作此機制的有趨勢科技防詐達人與美玉姨
https://liff.line.me/1563196602-R1zEXaDB?p=article&articleId=1mpleu7bspv6j
我們會請第三方 bot 在導向到 Cofacts 時，把使用者導向到這種 URL
在 LINE 上這會讓使用者自動登入 LINE，使 Cofacts 能收得到瀏覽量、feedback 等資訊
目前有實作此機制的有趨勢科技防詐達人與美玉姨
`lineUser` 就是 Cofacts LINE bot 使用者在 Cofacts 的官方帳號裡面搜尋訊息後選擇該則訊息的人數
@tcheng10
`appId` = `Batch` 是出現在哪裡呢
我需要一些細節來回想 XD
`appId` = `Batch` 是出現在哪裡呢
我需要一些細節來回想 XD
> 請問下一次的資料更新有預計的時間嗎?
沒有，目前是想到再更新
我們有把自動更新這件事情放在 backlog，其實就是把 `CONTRIBUTING.md` 裡面的步驟，寫成 Github action 的步驟
如果有人能幫忙寫 Github action 的話就幫大忙了 https://github.com/cofacts/opendata/issues/24 🙏
沒有，目前是想到再更新
我們有把自動更新這件事情放在 backlog，其實就是把 `CONTRIBUTING.md` 裡面的步驟，寫成 Github action 的步驟
如果有人能幫忙寫 Github action 的話就幫大忙了 https://github.com/cofacts/opendata/issues/24 🙏
@mrorz 不太確定這個要詢問誰~
最近在看hugging face 是上面的CSV 有發現 articles 和 reply_requests 在CSV中有斷行的問題 我已經有修復了
但是好像沒辦法發PR~ 我手邊有script 也可以提供~ 看看怎麼樣方便 希望可以貢獻一點心力避免以後duplicate work!
最近在看hugging face 是上面的CSV 有發現 articles 和 reply_requests 在CSV中有斷行的問題 我已經有修復了
但是好像沒辦法發PR~ 我手邊有script 也可以提供~ 看看怎麼樣方便 希望可以貢獻一點心力避免以後duplicate work!
Hi articles 有斷行是正常的唷，有斷行的字串應該都有雙引號包住
想問你處理的程式語言是什麼呢
想問你處理的程式語言是什麼呢
我用python 直接load, 大概有15-20行的長度不是11欄 所以我人工合併了?
我直接用 `csv.reader`
Python 可以參考 README 裡的 colab 設定
更正，python 的部分我是做在 hugging face 設定上，讓 load_dataset 可以直接運作
直接用 python library 讀的話
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
了解~
我原本是想要順便丟到powerBI 裡面看一下high level的圖~所以才會做個轉換
印象中 google sheet 的 import 功能可以正確載入
另外想詢問一下~hugging face上面的table 有沒有UML可以參考~
很怕不同key之間搞錯><
但的確不是每個工具的 CSV parser 都有特別處理多行字串
我猜cofacts是存在一個SQL裡面?
Elasticsearch 唷
喔喔!
而且做了很多可怕的 denormalization
Huggingface 上的是重新 normalize 的結果
了解~
然後再整理的時候發現一個小小小的typo
應該不是userID?
手邊好像只有針對 ES index 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
但 normalization 其實也就是把 nested object 拉出來獨立成表這樣
懂~
謝謝!!! 這個很棒QAQ 我下午在拉不同表的FK XD
對耶好像是 userIdSha256 之類
我再查一下
我再查一下
恩恩應該是!
小地方~
huggingface 上的 README 關於欄位的說明更新囉
感謝提醒
感謝提醒
@mrorz 想追問一下
AppID 中的 development_frontend ; development_backend 是系統產生的嗎?
對，這類內容是不認識的第三方打 API 送的
那有什麼平台可以編輯這麼多replies阿!
也有可能是我們自己打 API 漏附 app id
我大概看到三個development frontend 大概有幾千個replies
XD
是很久以前嗎
還是最近兩年
還是最近兩年
幾千個 reply 好可疑
這樣講不對 應該說有幾萬筆reply是同一個userID
但是他的UserID 有時候是website 有時候會是development_frontend
但是他的UserID 有時候是website 有時候會是development_frontend
我今天想釐清的事情是有沒有可能同一個userID 但是有不同的appID (如果userID,appID pair 是unique)
我的印象中2017還 2018 還 2019
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
然後其中有三個userID 同時出現過website 和 developer frontend
通常 app id 不同的時候 user id 會不同，有相同應該是巧合，或是我們自己打 API 操作錯誤，或是有人想要冒用該 user id 身份 (?
可能要給我看一下例子
可能要給我看一下例子
好! 我丟給你看看~
這邊大概前100筆用的是development frontend 做appid
但是這邊的userid 都是曾經出現過development frontend ID 的user
(在其他table)
所以換句話問 -- 是不是只要userID 相同 就基本上是同一個人
還是有可能是第三方服務 背後可能代表的是很多其他的人~
還是有可能是第三方服務 背後可能代表的是很多其他的人~
這些case 應該是與 app id = website 的同一人
應該都是我透過之前給過一些內部開發用方法
所送的內容
所送的內容
內部開發用方法?
對，但具體來說我忘了是怎麼送的
但應該是類似初期管理 Cofacts 資料庫時用的工具
但應該是類似初期管理 Cofacts 資料庫時用的工具
所以我可以理解成比較舊的資料在轉移的過程中產生的?
也就是說它的原作者可能是不同人?
也就是說它的原作者可能是不同人?
對，但因為是我們做個， User ID 應該是盡可能有使用跟 website 一致的值，也就是應該是與 appid=website. 的對應到同一人沒錯
了解!
太感謝解惑了
不會，這算是一種髒資料 XD”
哈哈哈我懂!
我忘記自我介紹了 可以叫我肯恩
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
你好你好~
和 Madeleine 訪談很愉快~
和 Madeleine 訪談很愉快~
如果我們有什麼有趣的發現在跟你們分享!
好!
也有些 related work
https://tsjournal.org/index.php/jots/article/view/118
https://tsjournal.org/index.php/jots/article/view/118
@mrorz
不好意思又來詢問一下
• liffVisit 和 lineUser 差在哪裡~
• appId 的 Batch 是什麼意思
• 請問下一次的資料更新有預計的時間嗎?
謝謝!!
不好意思又來詢問一下
• liffVisit 和 lineUser 差在哪裡~
• appId 的 Batch 是什麼意思
• 請問下一次的資料更新有預計的時間嗎?
謝謝!!
`liffVisit` 是指這種網頁的 visit:
https://liff.line.me/1563196602-R1zEXaDB?p=article&articleId=1mpleu7bspv6j
我們會請第三方 bot 在導向到 Cofacts 時，把使用者導向到這種 URL
在 LINE 上這會讓使用者自動登入 LINE，使 Cofacts 能收得到瀏覽量、feedback 等資訊
目前有實作此機制的有趨勢科技防詐達人與美玉姨
https://liff.line.me/1563196602-R1zEXaDB?p=article&articleId=1mpleu7bspv6j
我們會請第三方 bot 在導向到 Cofacts 時，把使用者導向到這種 URL
在 LINE 上這會讓使用者自動登入 LINE，使 Cofacts 能收得到瀏覽量、feedback 等資訊
目前有實作此機制的有趨勢科技防詐達人與美玉姨
`lineUser` 就是 Cofacts LINE bot 使用者在 Cofacts 的官方帳號裡面搜尋訊息後選擇該則訊息的人數
@tcheng10
`appId` = `Batch` 是出現在哪裡呢
我需要一些細節來回想 XD
`appId` = `Batch` 是出現在哪裡呢
我需要一些細節來回想 XD
> 請問下一次的資料更新有預計的時間嗎?
沒有，目前是想到再更新
我們有把自動更新這件事情放在 backlog，其實就是把 `CONTRIBUTING.md` 裡面的步驟，寫成 Github action 的步驟
如果有人能幫忙寫 Github action 的話就幫大忙了 https://github.com/cofacts/opendata/issues/24 🙏
沒有，目前是想到再更新
我們有把自動更新這件事情放在 backlog，其實就是把 `CONTRIBUTING.md` 裡面的步驟，寫成 Github action 的步驟
如果有人能幫忙寫 Github action 的話就幫大忙了 https://github.com/cofacts/opendata/issues/24 🙏
Hi articles 有斷行是正常的唷，有斷行的字串應該都有雙引號包住
想問你處理的程式語言是什麼呢
想問你處理的程式語言是什麼呢
我用python 直接load, 大概有15-20行的長度不是11欄 所以我人工合併了?
我直接用 `csv.reader`
Python 可以參考 README 裡的 colab 設定
更正，python 的部分我是做在 hugging face 設定上，讓 load_dataset 可以直接運作
直接用 python library 讀的話
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
好像是設定一個 lineterminator 什麼的就能讀
我在 hugging face dataset 上就是設定那個參數讓 load_dataset 可以正確 parse 有多行內容的 CSV
了解~
我原本是想要順便丟到powerBI 裡面看一下high level的圖~所以才會做個轉換
印象中 google sheet 的 import 功能可以正確載入
另外想詢問一下~hugging face上面的table 有沒有UML可以參考~
很怕不同key之間搞錯><
但的確不是每個工具的 CSV parser 都有特別處理多行字串
我猜cofacts是存在一個SQL裡面?
Elasticsearch 唷
喔喔!
而且做了很多可怕的 denormalization
Huggingface 上的是重新 normalize 的結果
了解~
然後再整理的時候發現一個小小小的typo
應該不是userID?
手邊好像只有針對 ES index 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
https://beta.hackfoldr.org/1yXwRJwFNFHNJibKENnLCAV5xB8jnUvEwY_oUq-KcETU/https%253A%252F%252Fg0v.hackmd.io%252F%2540mrorz%252FS1caurZq8
沒有針對 hugging face 上那個重新 normalize 的圖
但 normalization 其實也就是把 nested object 拉出來獨立成表這樣
懂~
謝謝!!! 這個很棒QAQ 我下午在拉不同表的FK XD
對耶好像是 userIdSha256 之類
我再查一下
我再查一下
恩恩應該是!
小地方~
huggingface 上的 README 關於欄位的說明更新囉
感謝提醒
感謝提醒
2024-02-23
@leechiuhui has joined the channel
2024-02-24
@mrorz 想追問一下
AppID 中的 development_frontend ; development_backend 是系統產生的嗎?
對，這類內容是不認識的第三方打 API 送的
那有什麼平台可以編輯這麼多replies阿!
也有可能是我們自己打 API 漏附 app id
我大概看到三個development frontend 大概有幾千個replies
XD
是很久以前嗎
還是最近兩年
還是最近兩年
幾千個 reply 好可疑
這樣講不對 應該說有幾萬筆reply是同一個userID
但是他的UserID 有時候是website 有時候會是development_frontend
但是他的UserID 有時候是website 有時候會是development_frontend
我今天想釐清的事情是有沒有可能同一個userID 但是有不同的appID (如果userID,appID pair 是unique)
我的印象中2017還 2018 還 2019
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
我們有一次需要針對過去沒填入 user id 的東西填入
結果好像漏送 app id 之類
然後其中有三個userID 同時出現過website 和 developer frontend
通常 app id 不同的時候 user id 會不同，有相同應該是巧合，或是我們自己打 API 操作錯誤，或是有人想要冒用該 user id 身份 (?
可能要給我看一下例子
可能要給我看一下例子
好! 我丟給你看看~
這邊大概前100筆用的是development frontend 做appid
但是這邊的userid 都是曾經出現過development frontend ID 的user
(在其他table)
所以換句話問 -- 是不是只要userID 相同 就基本上是同一個人
還是有可能是第三方服務 背後可能代表的是很多其他的人~
還是有可能是第三方服務 背後可能代表的是很多其他的人~
這些case 應該是與 app id = website 的同一人
應該都是我透過之前給過一些內部開發用方法
所送的內容
所送的內容
內部開發用方法?
對，但具體來說我忘了是怎麼送的
但應該是類似初期管理 Cofacts 資料庫時用的工具
但應該是類似初期管理 Cofacts 資料庫時用的工具
所以我可以理解成比較舊的資料在轉移的過程中產生的?
也就是說它的原作者可能是不同人?
也就是說它的原作者可能是不同人?
對，但因為是我們做個， User ID 應該是盡可能有使用跟 website 一致的值，也就是應該是與 appid=website. 的對應到同一人沒錯
了解!
太感謝解惑了
不會，這算是一種髒資料 XD”
哈哈哈我懂!
我忘記自我介紹了 可以叫我肯恩
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
我是跟著微軟研究員Madeleine 的實習生~ 這幾個月會比較仔細看這些資料! 之後有問題還要多多請教!
你好你好~
和 Madeleine 訪談很愉快~
和 Madeleine 訪談很愉快~
如果我們有什麼有趣的發現在跟你們分享!
好!
也有些 related work
https://tsjournal.org/index.php/jots/article/view/118
https://tsjournal.org/index.php/jots/article/view/118
2024-02-28
明天晚上 NPO hub 開會～
議程：https://g0v.hackmd.io/@cofacts/meetings/%2F6tCmrXsyS3WEGgC_bMcd9w （TBA）
議程：https://g0v.hackmd.io/@cofacts/meetings/%2F6tCmrXsyS3WEGgC_bMcd9w （TBA）
# Cofacts 會議記錄 - [搜尋](<https://cse.google.com/cse?cx=71f4f7ee215d54fe6>)[target=_blank] ## 2024 -
明天晚上 NPO hub 開會～
議程：https://g0v.hackmd.io/@cofacts/meetings/%2F6tCmrXsyS3WEGgC_bMcd9w （TBA）
議程：https://g0v.hackmd.io/@cofacts/meetings/%2F6tCmrXsyS3WEGgC_bMcd9w （TBA）
2024-02-29
這詢問次數好誇張www
https://cofacts.tw/article/1mh6cc3ea4ela
https://cofacts.tw/article/cxauhbxnzvw3
對照內容3/1開始跟補助每趟70％每月1,000點(元) 推測是花蓮的 https://www.cna.com.tw/postwrite/chi/363667
https://cofacts.tw/article/1mh6cc3ea4ela
https://cofacts.tw/article/cxauhbxnzvw3
對照內容3/1開始跟補助每趟70％每月1,000點(元) 推測是花蓮的 https://www.cna.com.tw/postwrite/chi/363667
https://cofacts.tw/article/10hfzf4hwsis8 這篇詢問數也一起上來了
桃園的部分
桃園的部分
https://cofacts.tw/article/3fjdns5ys84l5 台北的瀏覽量也上升了wwwwww
台北市澄清也被送進 Cofacts XD
https://cofacts.tw/article/2ytdlk9ydljze
https://cofacts.tw/article/2ytdlk9ydljze
這詢問次數好誇張www
https://cofacts.tw/article/1mh6cc3ea4ela
https://cofacts.tw/article/cxauhbxnzvw3
對照內容3/1開始跟補助每趟70％每月1,000點(元) 推測是花蓮的 https://www.cna.com.tw/postwrite/chi/363667
https://cofacts.tw/article/1mh6cc3ea4ela
https://cofacts.tw/article/cxauhbxnzvw3
對照內容3/1開始跟補助每趟70％每月1,000點(元) 推測是花蓮的 https://www.cna.com.tw/postwrite/chi/363667
cna.com.tw
「花蓮縣敬老愛心計程車隊」在眾人期盼與掌聲中正式啟動！花蓮縣長徐榛蔚帶領縣府團隊積極建置完善的智慧運輸交通網絡，領先全國成為推行敬老愛心計程車車資補助最高的縣市，供65歲以上銀髮族以及身障者來做使用，補助車資上限每人每月1,000元，補助將於3月1日起正式上路。
https://cofacts.tw/article/10hfzf4hwsis8 這篇詢問數也一起上來了
桃園的部分
桃園的部分
https://cofacts.tw/article/3fjdns5ys84l5 台北的瀏覽量也上升了wwwwww
台北市澄清也被送進 Cofacts XD
https://cofacts.tw/article/2ytdlk9ydljze
https://cofacts.tw/article/2ytdlk9ydljze
https://cofacts.tw/article/10hfzf4hwsis8 這篇詢問數也一起上來了
桃園的部分
桃園的部分
https://cofacts.tw/article/3fjdns5ys84l5 台北的瀏覽量也上升了wwwwww
台北市澄清也被送進 Cofacts XD
https://cofacts.tw/article/2ytdlk9ydljze
https://cofacts.tw/article/2ytdlk9ydljze