#disinfo
2019-11-03
@leo424y has joined the channel
2019-11-04
@kahou has joined the channel
2019-11-05
@ggm has joined the channel
2019-11-06
@mglee has joined the channel
這週因為坑主在 GMT+1 的時區，所以沒辦法參與週四 9am 的小聚 ._. 大家會想要自己聚嗎？隨意 tag @ronnywang @ayw255 @ddio @mrorz @isabelhou @pm5
小聚有線上版的嗎？遠端亂入 +1
其實就是線上的啊 😆
我週四早上可能無法 XD
我會看看會議記錄
我會看看會議記錄
我都ok!!
如果有人想主揪麻煩喊聲喔，國家感謝你（？）不然就暫停一次 😄
下週也想亂入+1
NDI關心大家還好嗎，跟大家說hi(狂揮手)
hey hey hey @bil 😄
4- 🐳1
2019-11-07
小聚有線上版的嗎？遠端亂入 +1
其實就是線上的啊 😆
- 🤣1
我週四早上可能無法 XD
我會看看會議記錄
我會看看會議記錄
我都ok!!
如果有人想主揪麻煩喊聲喔，國家感謝你（？）不然就暫停一次 😄
@mglee 你現在在哪個時區，要來揪一個海外版線上小聚嗎？
@poga has joined the channel
我在 Boston GMT-5。還沒摸清楚這個坑的樣子，等我見習一次後可以看看呦
@mglee 所以可以小聚一下？😂
Note
1. fiscal sponsorship
2. project contributors and roadmap
1. fiscal sponsorship
2. project contributors and roadmap
如果除了 (搞不清楚狀況的) 我之外，有 3~4 個人想參加，我可以幫忙揪唷。(單純覺得主揪就是開 hangout??
欸等等，時區沒算好，台灣星期四早上九點，不就是兩小時後嗎XDDD
是啊 😂 但我在的時區沒辦法，我的意思是說我們兩個可以先來個海外小聚小聊一下
原來如此😆 可以阿，幫我快速惡補一下！你在 GMT+1？
你下午是我早上，等你醒來後我們來約!
@mglee 好！
下週也想亂入+1
2
2019-11-09
有想法就先丟出來：關於 0archive 的資料搜集、研究成果如何對大眾溝通，大家有什麼想法嗎？如果是要找合作對象，我目前想到的有
• 報導者劉致昕：圖文報導
• 沃草團隊：插畫、圖表、懶人包、行銷
• 報導者劉致昕：圖文報導
• 沃草團隊：插畫、圖表、懶人包、行銷
2019-11-10
親子天下
即使不看假訊息會不會有影響？當然會！你說「其實我也沒在看，就這樣滑過去而已」，其實光這樣無意識的滑過去就很危險，因為你沒有真正在思考，而且就算你只是很快的滑過去，那些訊息還是有進到你的大腦裡，慢慢...
- ❤️1
@tmwu has joined the channel
2019-11-13
不太確定沃草的 crawler 目前狀況如何 but anyway 我寫了一個版本 https://github.com/pm5/0ar
@pm5++ @ronnywang @ayw255 例行時間來開會 sync 進度？
可能討論一下
1. merging repos?
2. 計算報酬的方式
3. project proposal update
1. merging repos?
2. 計算報酬的方式
3. project proposal update
我明天會參加。
- 🙌1
👌
- 🙌1
2019-11-14
欸有9點小聚ㄇ
有。bil 快來。
好好好嗚嗚嗚我寄宿家庭剛煮好飯我來點一下家庭點數，希望我吃飽你們還在QQ
- 👍2
Meeting notes https://g0v.hackmd.io/BChGrPg-TkWsvks2ey5q6A?both
@chihao 資料庫部份，我把 整理 都改成 utf8mb4_general_ci ，ROW_FORMAT 改成 COMPRESSED。前者是改成用 4bytes 存 utf-8 ，這樣可以支援一些新的 Unicode 的東西，像是 emoji 或是奇怪的文字，後者是資料壓縮，可以省空間
- 🙌2
接下來接上資料庫後，應該可以跑個一週，然後大概統計一下各來源平均一天的新文章產生數量，這樣來評估之後可以用什麼樣的頻率去檢查更新
++ rolling update
再來就實驗一下 readability 的解析效果如何？
還有 youtube 影片描述抓取的部份也可以排入加入
- 👍2
抱歉早上睡死了。所以目前 scraper 的狀況是要用沃草的 NewsScraping？
@pm5 今早本來想請你和 @ayw255 討論，不過殘念 😆 wenyi 的還缺自動 scheduling 和 db querying，我還沒看過你的 code
NewsScraping 已經移到新的 GitHub org https://github.com/disinfoRG/NewsScraping
也許 pm5 wenyi 兩個 repo 可以 merge？😆
也許值得互相 review 一下 code，找到可能可以互補的地方 or 比較好的架構？
scheduling will probably be db-driven because we store sites info in db. okay, I think I can merge my pipelines into it.
Or vice versa 🙂
我先把 @ayw255 @pm5 @ronnywang 加到新的組織，repo 暫時未公開
@suensummit has joined the channel
1
@allison.chen has joined the channel
@fockerlee has joined the channel
2019-11-15
guancha.cn - 🙌2
@ronnywang @chihao 我已經把這兩個網站加入Airtable & DB 的site table囉～
非常感謝❤️
弱弱的問一下為什麼要用 primary key 要用 int(11)，還有時間為什麼不用 timestamp？ https://g0v.hackmd.io/lMQO37z6SbWNWo3R4-X_EA
g0v.hackmd.io 
我自己習慣存時間是用int 存，主要是早年不同 SQL 處理 timestamp 方法可能有些不同，甚至同種 SQL 不同版本可能行為都不同，用 int 統一程式端處理是最保險的
不過還沒養成用 bigint 存的習慣 ，2038 年可能會炸 XD 這個我想 2028 年再開始煩惱
用 int 存時間我覺得也 ok；int(11) 的話，我是想問我以為 int(size) 的 size 只是 display size，實際上跟 int 是一樣的東西
Int(11) 應該是因為 @chihao. 是用 phpmyadmin 建的 table , phpmyadmin 雞婆幫設的？
嗯 int(11) 是 phpmyadmin 的預設值
喔喔，那可以順便討論下：多人一起開發的話應該用 migration 來處理 db schema 比較容易管理，所以我打算用 Alembic 來建 db tables，用 PugSQL 與 SQLAlchemy 來存取資料庫。你們覺得如何？
1
pm5 有 middle2 帳號嗎？也開給你權限可以連 mysql
我忘了 XD
我等等查一下 XD
用 migration 來管理資料庫的話，push 到 middle2 的時候就需要有個管道可以跑個 script 執行 db migration
@pm5 查了一下沒有你的帳號，給我你的 email 我開個帳號給你，密碼直接寄給你吧
ㄟ不對，有你的帳號
那我改一組密碼寄給你 XD
工人忘記密碼機制
謝謝 ronny 提醒，也把 pm5 加到 middle2 project 裡囉
We need to take records of today's attack.
Do you mean the mass reporting attack on Facebook?
yes
facebook.com
公視新聞網 PNN, Neihu, Taiwan. 340,778 likes · 155,567 talking about this. 最新的公共電視新聞資訊、深度報導，以及新聞議題分析分享。
of the latest post, many comments include pictures and information of posts removed.
tw.news.yahoo.com
[新頭殼newtalk] 臉書(FACEBOOK)今 (15) 天晚上七點多突然發生許多貼文被「大量檢舉下架」，其中部分內容關乎政治議題，被臉書官方偵測，以「貼文違反《社群守則》」為由，全部改定公開對象限定為「自己才能看到」。此外，部分網域的連結也遭受屏蔽，無法分享在臉書上，如《新頭殼》、《公視新聞網》、《鏡周刊》、《風傳媒》及《上下游 News&Market》等多家網站。臉書昨 (14) 天剛宣布最新的社群守則，表示會移除臉書和Instagram上有害的內容，讓平台更安全，為使用者帶來更舒適的體驗。但今天下午台灣用戶就傳出大量刪文的災情，連只是轉貼新聞連結，包含新頭殼、公視、風傳媒、鏡周刊、上下游等等新聞來源都被刪除
台灣臉書的Max剛剛貼文說是技術問題，跟內容無關。
官方說法是否就是 fact-checking 的終點？🤔
當然不是啊！
不過@ronnywang 也覺得是技術問題樣子。
只是順便反省自己而已 😛
作為一日中國的言論管制體驗
有種演習的感覺。
所以我要推廣訊息不要只發在臉書上 XD 像我都貼在 twitter 再同步到臉書
不怕單一平臺做惡意審核
那不順手貼去 g0v.social 或其他 mastodon 站點嗎 😛
當然不是啊！
不過@ronnywang 也覺得是技術問題樣子。
只是順便反省自己而已 😛
2
cna.com.tw
臉書今天發生大量貼文違反社群守則有關垃圾訊息規定而遭移除的問題，網友質疑與香港或選舉相關內容遭檢舉下架，但也有民眾實測轉貼香港反送中主題文章未被移除，臉書官方則尚未回應。
2019-11-16
作為一日中國的言論管制體驗
1
有種演習的感覺。
所以我要推廣訊息不要只發在臉書上 XD 像我都貼在 twitter 再同步到臉書
1
不怕單一平臺做惡意審核
- 1
2019-11-17
嗨，我是Bruce，我會python，想問可以幫忙做什麼嗎？
hi 歡迎加入。請先看一下g0v hackmd disinfo相關共筆，像是這個https://g0v.hackmd.io/lMQO37z6SbWNWo3R4-X_EA
好！
Hi @fockerlee! 坑還在挖，目前還沒開出明確的 issue。你會想先試著參與整體的討論嗎？
我先 tag 目前兩個主要開發者 @ayw255 @pm5，也介紹一下 @fockerlee 是去年 summit 的議程組助理，bruce 可能記得 pm5 是去年 summit 的議程組召集人。
hi hi bruce
嗨！ pm5！
我想參加討論，如果可以的話
hi 歡迎加入。請先看一下g0v hackmd disinfo相關共筆，像是這個https://g0v.hackmd.io/lMQO37z6SbWNWo3R4-X_EA
好！
那不順手貼去 g0v.social 或其他 mastodon 站點嗎 😛
2019-11-18
@isabelhou @pm5 Work plan https://docs.google.com/document/d/1g4Tf2q6lMX8-DelxRhhR6pBNGk42Jae76AjMMvbiZQk/edit#
Hi @fockerlee! 坑還在挖，目前還沒開出明確的 issue。你會想先試著參與整體的討論嗎？
我先 tag 目前兩個主要開發者 @ayw255 @pm5，也介紹一下 @fockerlee 是去年 summit 的議程組助理，bruce 可能記得 pm5 是去年 summit 的議程組召集人。
• @ayw255、@pm5 和我剛結束一次 dev meeting，確認這週我們分別要做的事，可以參考會議記錄共筆。
• 因為開發進度是設定一週，所以這週四的線上小聚先取消，改成下週一晚上約 dev meeting 同步進度，如果想參與的 developer 請喊聲 🙂
• 下次小聚是下週四 11/28 9am TW time
• 因為開發進度是設定一週，所以這週四的線上小聚先取消，改成下週一晚上約 dev meeting 同步進度，如果想參與的 developer 請喊聲 🙂
• 下次小聚是下週四 11/28 9am TW time
hi hi bruce
@pm5 @ayw255 想請問你們是用 python2 還是 python3？
PYTHON3
嗨！ pm5！
我想參加討論，如果可以的話
3.6
好像側面消息得知 middle2 的 Python 3 是 3.6
應該是 XD
最近為了 disfactory 換的
2019-11-19
哦哦
@ayw255 update: sites are in db
sweet
I put `article` and `following` in `Site.config`
Would you like to try to read db for sites? Or should I still create a new `url_map.csv`?
i can merge that into the code
but are we discarding N1, N2, N6, … ?
Btw I have to say pm5++ for `Always estimate 4 hours for these things`
xddd
@ayw255 Oh oh right. Thinking… 🤔
umm if we are discarding the airtable then I think we can just use the int site_id on mysql
I can change the site_it of url_map.csv by joining with url
(or discard url_map.csv completely and just use mysql table)
I’m thinking
1. I will update ALL rows in `Article` to use new `Site` id
2. You (or I) change the code to discard `url_map.csv` and just use mysql `Site` table
1. I will update ALL rows in `Article` to use new `Site` id
2. You (or I) change the code to discard `url_map.csv` and just use mysql `Site` table
Since all articles in db belongs to sites N6 & N16
yep!
OK I will do 1 now
I can do (2) later but if you want to try out / familiarize with the current code base you’re welcome to do it
- 🙌1
N16 中華全國台灣同胞聯誼會 → 16
N6 琦琦看新聞 → 6
Simple enough 😆
N6 琦琦看新聞 → 6
Simple enough 😆
1: done
2: I feel like I should get some sleep first. I changed type of site `news_websites` to `news_website`. There is an issue for this https://github.com/disinfoRG/NewsScraping/issues/2
np!
I will deal with it later this afternoon
good night!
Fyi code to initialize `Site` table in db pushed to branch `init_sites` 🙂
- 👌1
2. change the code to discard `url_map.csv` and just use mysql `Site` table 完成了，已上傳github
另外原本db上面錯誤的timestamp也改好嚕
另外原本db上面錯誤的timestamp也改好嚕
- 🙌1
wenyi++ 這兩件事本來都是我的 todo T_T
`init_sites`已merge進 `master`
- 1
ㄏㄏㄏㄏㄏ就順便弄了
- 😂1
想問 Add a Site 是用來人工加假新聞或內容農場嗎？昨天有聽公視的君竹分享，特別提到Linek的每日頭條，也是內容農場，所以想說是否可以透過這 Add a site 去加
https://airtable.com/shr2kjYg6RH0wgQEh
https://airtable.com/shr2kjYg6RH0wgQEh
Airtable 
@fockerlee 是的，「新增追蹤對象」的確是設計來這樣用，希望大家能一起幫忙據報「值得追蹤」（？）的網站、fb 粉專、youtube channel 等等
好！
2019-11-20
@ronnywang @chihao 我已經把這兩個網站加入Airtable & DB 的site table囉～
- 🙌1
非常感謝❤️
- 🙌1
是不是要讓type 變必填，不然會沒有 id? 如第 114，115? @chihao
Bruce Lee
想問 Add a Site 是用來人工加假新聞或內容農場嗎？昨天有聽公視的君竹分享，特別提到Linek的每日頭條，也是內容農場，所以想說是否可以透過這 Add a site 去加
https://airtable.com/shr2kjYg6RH0wgQEh
"LINE 每日頭條" 是指 today.line.me 這個站嗎
應該是kknews https://kknews.cc/terms.html 我之前也以為是line的，其實他們沒有自己的媒體，都是放別人的文章，另外他是完全不會查證的，那時講者舉例，之前上面有篇文章是要說用蛋白或麵粉敷燒傷是錯誤，後來上面又有篇文章說是有效的ＸＤ
但 Line Today 也是一樣在聲明中，寫他對於上面發表的內容，是不用負責任的
open-archive.org
A free, open-source mobile application dedicated to maintaining the privacy, provenance, and preservation of your media.
- 2
應該是kknews https://kknews.cc/terms.html 我之前也以為是line的，其實他們沒有自己的媒體，都是放別人的文章，另外他是完全不會查證的，那時講者舉例，之前上面有篇文章是要說用蛋白或麵粉敷燒傷是錯誤，後來上面又有篇文章說是有效的ＸＤ
但 Line Today 也是一樣在聲明中，寫他對於上面發表的內容，是不用負責任的
2019-11-21
@ronnywang @chihao 在塞了大概10K data進Article之後，phpmyadmin 點Article Table就出現Error 500（如圖）Q (目前用python api讀寫正常)
phpmyadmin 在大量資料時很容易不穩定的 XD
XDD OKAY as long as it’s normal
@ronnywang 切身之痛 😆
好像可以開始想 dashboard 要看到什麼內容了，在資料超過 phpmyadmin 容易處理的數量的情況下
@chihao I don't have write permission to NewsScraping
What I thought we all do wait
@pm5 Please try again :)
- ✅1
想問零時檔案局的id，是自動生成或人工幫key？（檔案局：https://airtable.com/shrKvjXMO7GaUg1vd/tbl3DrYs5mXgl0EV9/viw2cuXweY8OxNkX6?blocks=hide）因為昨天我新增了幾個內容農場，但都沒有id
人工。本來的想像是：加到 airtable 之後要由 developer 加入 db，才會開始資料搜集的自動化流程
這份 airtable 其實也該跟著新的 db schema 更新了 😛
- 👍1
那我們下禮拜分一部份時間來做 site API 好了？
- 🙌1
@fockerlee 下禮拜一晚上要不要一起來開 dev hangout？
- 🙌1
好，想加入！
通常是幾點在哪裡
台北時間 8:00pm-9:30pm 在線上
好，我加入！
好，想加入！
通常是幾點在哪裡
@sl has joined the channel
\lexifdev/
Hi, finally!
Yes finally!
\lexifdev/
Welcome!
@sl!
- 🙂1
台北時間 8:00pm-9:30pm 在線上
@ayw255 I've merged the two codebases in master. There shouldn't be any change at your end. If all goes well I will deploy this branch to middle2 tomorrow and setup an cronjob.
- 🙌2
sounds amazing! I’ve finished a first run on all the available websites. Might test the update_content spider later in the day to make sure it works.
I heard that @sl has interest contributing to 0archive 😄
好，我加入！
2019-11-22
yeah, if there’s anything that I can help
sounds amazing! I’ve finished a first run on all the available websites. Might test the update_content spider later in the day to make sure it works.
I'm migrating so pls ping me if you want to touch the db in the next 4 hrs or so.
- 3
2019-11-23
這個要不要 pin 或置頂呢
剛才加了一個 youtube channel，覺得回報應該要更顯眼些～
剛才加了一個 youtube channel，覺得回報應該要更顯眼些～
想問 Add a Site 是用來人工加假新聞或內容農場嗎？昨天有聽公視的君竹分享，特別提到Linek的每日頭條，也是內容農場，所以想說是否可以透過這 Add a site 去加
https://airtable.com/shr2kjYg6RH0wgQEh
- 2
@pm5 set the channel topic: Disinfo Research Group https://g0v.hackmd.io/6ZbDhEwbR1mclAh-ws1B9A?both 回報內容農場 https://airtable.com/shr2kjYg6RH0wgQEh
- 👍1
測試用 middle2 cronjob 跑了一次 update article snapshots，目前的資料量大概要跑 2 個小時
🤭
XD 可以之後把它改的跑快一點
第一次因為文章全都沒抓過，會比較久，之後因為只要抓新文章，應該可以比較快？
@ayw255 ++ moved db config to env so deployment to middle2 went smoothly
看起來第一次就已經抓過所有文章了。update snapshot 應該只抓有更新過的文章？但好像現在會抓到沒有更新的文章
update snapshot 只抓新的文章的話，應該就不需要到兩個小時那麼久，應該都可以在短時間內完成吧？
這個也是需要研究的，該設定怎麼的更新頻率
update 是抓需要更新的文章（目前設定是每篇文章一天一次執行七天），因為一次執行update就是看所有資料庫裡面需要更新的文章（所有sites）
所以需要很～～～～久
現在還想不太到有什麼好方法可以快一點
看了一下db, 好像有點奇怪, 現在已經有snapshot count = 6 的文章了，照理來說應該頂多2 or 3
啊抓到bug了… update content 的現在時間忘記從台灣時間改成unix time所以更新時間比較一直是錯的😅，要再麻煩@pm5 大大把新的code放到middle2上面了🙏
我把 code 放到 middle2 上了。拜一 dev hangout 來討論一下 release workflow 嗎？然後不用叫我大大，叫 @chihao 夶就可以了。
🙇🙇🙇
啊啊，手機有這字，電腦看不到
@ronnywang 對調教爬蟲有什麼建議嗎？
平行處理？
確定是卡在爬蟲速度嗎？
newsdiff 那邊我會平行爬，但是同一個 domain 的內容只會同時爬一隻
爬蟲現在 delay 1.5 sec 的樣子
curl_multi 可以平行爬不同網址
scrapy 可以研究看看有沒有 curl_multi 功能可以開？不過要注意平行時不要同時多個 thread 爬同一站，以免被抓包不正常流量
scrapy是single threaded + asynchronous request&process
可以提高concurrent request per domain，目前是16
🤭
XD 可以之後把它改的跑快一點
- ✈️1
- 🚀1
第一次因為文章全都沒抓過，會比較久，之後因為只要抓新文章，應該可以比較快？
@ayw255 ++ moved db config to env so deployment to middle2 went smoothly
- 🙌2
看起來第一次就已經抓過所有文章了。update snapshot 應該只抓有更新過的文章？但好像現在會抓到沒有更新的文章
update snapshot 只抓新的文章的話，應該就不需要到兩個小時那麼久，應該都可以在短時間內完成吧？
這個也是需要研究的，該設定怎麼的更新頻率
2019-11-24
update 是抓需要更新的文章（目前設定是每篇文章一天一次執行七天），因為一次執行update就是看所有資料庫裡面需要更新的文章（所有sites）
所以需要很～～～～久
現在還想不太到有什麼好方法可以快一點
看了一下db, 好像有點奇怪, 現在已經有snapshot count = 6 的文章了，照理來說應該頂多2 or 3
啊抓到bug了… update content 的現在時間忘記從台灣時間改成unix time所以更新時間比較一直是錯的😅，要再麻煩@pm5 大大把新的code放到middle2上面了🙏
我把 code 放到 middle2 上了。拜一 dev hangout 來討論一下 release workflow 嗎？然後不用叫我大大，叫 @chihao 夶就可以了。
- 1
🙇🙇🙇
啊啊，手機有這字，電腦看不到
@ronnywang 對調教爬蟲有什麼建議嗎？
平行處理？
確定是卡在爬蟲速度嗎？
newsdiff 那邊我會平行爬，但是同一個 domain 的內容只會同時爬一隻
爬蟲現在 delay 1.5 sec 的樣子
curl_multi 可以平行爬不同網址
scrapy 可以研究看看有沒有 curl_multi 功能可以開？不過要注意平行時不要同時多個 thread 爬同一站，以免被抓包不正常流量
- 1
2019-11-25
發現 0archive 好像第一屆獎助金我提過一個 civil archive
@poga 幫補連結 https://grants.g0v.tw/projects/586a7be0a327a4001ee49126 那要跳坑嗎 😆
HackDash
環境中隨時產生許多事件與數據，但缺乏良好的紀錄，難以引用而不易作為平時決策的依據。 Civil Archive 將給每個事件（何時何地發生何事）一個永久網址，平時討論便能引用。並透過去中心化技術確保資料不會被[任意下架](<https://www.wired.com/2017/01/rogue-scientists-race-save-climate-data-trump/>)或修改。讓每個情境都能引用適合的資料做依據。
- 😆1
跳坑／併坑？😎
scrapy是single threaded + asynchronous request&process
可以提高concurrent request per domain，目前是16
@pm5 @ayw255 dev meetup?
Link in calendar :) anyone else?
+1
may i know where the calendar is
thank you!
Today’s meeting notes https://g0v.hackmd.io/BChGrPg-TkWsvks2ey5q6A
大家好，0archive dev meeting 剛結束，其中跟 meeting 時間有關的事想跟在這個頻道的大家更新。
因為台灣人 9am 起床有困難（？），所以我決定之後的 community hangout 都改到每週四晚上 8 點，大家一樣自由參加、聊天，如果想要加入 google calendar event，可以把 email 透過私訊傳給我，下次 community hangout 是 12/5。讓我 tag 目前有在 gcal event 裡的人 @ayw255 @bil @fockerlee @ddio @isabelhou @mrorz @poga @pm5 @ronnywang 如果想退出 gcal event 也請喊聲即可 🙂
- 🐳4
dev meeting 則和 community hangout 分開，在每週一晚上 8 點，讓開發者討論實作，因為目前 repo 還未開放，所以如果想加入開發，請喊聲加入 dev meeting，才會視情況開權限。等到 project 穩定下來，repo 應該會加上 license 開源，到時候還請大家自由貢獻 😄
有在想週四的 disinfoRG community hangout 要不要加到 g0v 行事曆，不過我覺得好像再等一下好了（理由不明） @ronnywang 覺得呢？😆
咦所以這週四沒有community hangout?
@ayw255 這週四 8pm 我發現我個人無法 host，所以擅自決定取消了 😂 有人想要接手這週的 community hangout 嗎？
😆 所以@pm5 的pipenv & black 實作就順延嗎
我剛好知道 @pm5 這週四 8pm 也無法參與，在 9am → 8pm 的時候忘了檢查行事曆了 😆
那我改成先寫一個 guide 給你們，如果有問題我們再找時間處理好了？
- 🙌2
好哇好哇
@ayw255 @fockerlee @chihao 有遇到什麼問題嗎？
我目前還沒用到middle2和NewScraping，還在找可以用的fb爬蟲😂
喔喔，fbcrawl 試過了嗎？
試了，出現跟別人一樣的issue（https://github.com/rugantio/fbcrawl/issues/50），後來我把我fb安全性設定的雙重驗證關掉後再嘗試仍然一樣，我在試試看別的工具中
沒有什麼問題，除了brew install mysql之後，guide上面好像漏掉要先`mysql.server start` before creating tables~~
啊另外，我無法用`black . ` (會出現找不到black的error)，所以我重新裝的一次 pipenv install black ，在branch `discover wrapper`中的pipfile可以看到
好哇好哇
2019-11-26
@yellowsoar has joined the channel
2019-11-28
@ayw255 @fockerlee @chihao 有遇到什麼問題嗎？
pm5++
我目前還沒用到middle2和NewScraping，還在找可以用的fb爬蟲😂
@asoble has joined the channel
2019-11-29
喔喔，fbcrawl 試過了嗎？
@chihao I need to add a unique key column to the Sites airtable
the simplest way I think is to add a column with formula `RECORD_ID()`
I did not know you could do that `RECORD_ID()` Yes please!
I can't alter the table XD
Why am I bad at this? Now you can. But I’ve done it! (hehe)
the simplest way I think is to add a column with formula `RECORD_ID()`
I did not know you could do that `RECORD_ID()` Yes please!
I can't alter the table XD
Why am I bad at this? Now you can. But I’ve done it! (hehe)
\yellowsoar/
試了，出現跟別人一樣的issue（https://github.com/rugantio/fbcrawl/issues/50），後來我把我fb安全性設定的雙重驗證關掉後再嘗試仍然一樣，我在試試看別的工具中
GitHub
Hi, When I make a test with Donald Trump I have this result, can you help me ? : INFO: Ignoring response <404 <https://mbasic.facebook.com/checkpoint/DonaldTrump>>: HTTP status code is not hand...
2019-11-30
沒有什麼問題，除了brew install mysql之後，guide上面好像漏掉要先`mysql.server start` before creating tables~~
啊另外，我無法用`black . ` (會出現找不到black的error)，所以我重新裝的一次 pipenv install black ，在branch `discover wrapper`中的pipfile可以看到
branch `discover_wrapper` merged to `master` and deployed to middle2. Here’s the changes:
1. db migration - add ‘is_active’ column to Site table.
2. codes/batch_discover.py: 包每隻discover spider的程式, 用multiprocessing
3. .pre-commit-config.yaml: “language” change to python=3.7
1. db migration - add ‘is_active’ column to Site table.
2. codes/batch_discover.py: 包每隻discover spider的程式, 用multiprocessing
3. .pre-commit-config.yaml: “language” change to python=3.7
- 🚀2
`batch_discover.py` now runs daily on middle2.
There are some problems with duplicated article url hash. Here is the log: https://middle2.com/project/cronlog/tainan-sun-500796
有發現針對一些website (e.g. 中國台灣網& udn) 會有這些錯誤，但還不太知道為什麼QQ 至少他不會被送進db
is_active column update完成, batch_discover should work well next run on middle2!
@pm5 @ayw255 @fockerlee 這次 12/21 的大松，0archive 要來提案嗎？😄
- 1
1- ❤️1
Can you guys pitch disinfo project at FtO?
gogogo
we can start discussing what kind of dataset can we put together before the hackathon? data visualization would probably the easiest way for ppl to contribute.
Can you guys pitch disinfo project at FtO?