disinfo

Month: 2019-10

2019-10-11

chihao 20:25:36
@chihao has joined the channel
pm5 20:26:33
@pm5 has joined the channel
pm5 20:26:42
yo
chihao 20:30:03
peace

2019-10-12

ronnywang 14:49:27
@ronnywang has joined the channel
isabelhou 14:49:31
@isabelhou has joined the channel
mrorz 18:17:43
@mrorz has joined the channel
bil 18:17:43
@bil has joined the channel
ipa 18:18:37
@ipa has joined the channel
clkao 18:18:37
@clkao has joined the channel

2019-10-13

isabelhou 09:40:59
愛傳媒...

2019-10-15

ronnywang 13:42:09
彭文正的
chihao 14:22:32
這個坑需要一個名字 :laughing:
mrorz 15:03:25
~g0v真理部~
mrorz 15:03:53
media framing research club (?)
isabelhou 15:08:19
@mrorz 周三晚好幾個小松同時進行,線上討論沒辦法約那個時間。
mrorz 15:08:33
QQ
isabelhou 15:09:17
想到什麼就先寫hackmd上?
mrorz 15:16:46
okok
mrorz 15:24:17
還有(亂畫的) theory of change
chihao 15:28:26
theory of change 是個神秘的東西
chihao 15:24:54
週三晚上已經有固定的 vtaiwan & cofacts 該不會還有
isabelhou 15:29:13
Disfactory
chihao 15:29:26
違章工廠?
isabelhou 15:29:35
Yes
chihao 15:29:48
來辦:週三晚間 g0v 小松嘉年華
chihao 15:30:39
提供:週三晚間 g0v 小松地圖
bil 15:30:54
小週末的小松寶寶們:heart:
pm5 19:20:22
cofacts 有固定地點嗎?
bil 19:24:02
固定在科技大樓wokis 2年多了唷!
pm5 19:48:32
Disfactory 應該都會在地球公民基金會辦公室。這樣真的有地圖耶
chihao 20:38:25
g0vmap.live
chihao 20:39:11
結合 calendar 讓你輕鬆找到小松(?)
chihao 20:39:18
變成基礎松的坑了
chihao 15:27:20
零食傳媒
chihao 15:27:43
零食圖書館 — 因為是在做備份
bil 15:31:43
零實布
bil 15:52:46
p0limedia
chihao 15:33:04
g0v media archive
chihao 15:33:29
不確定能不能用 g0v 的名字呢
chihao 15:36:16
零食檔案局
chihao 15:36:27
加上「零食」就變得好好笑
chihao 15:39:28
@mrorz so… a crowd-sourced ai-assisted rapid response system against disinfo?
mrorz 15:42:29

AI assisted 在主題分類,編輯可以(RSS)訂閱特定主題分類,有新的訊息被 AI 分到該分類之後,就會收到 feed update
mrorz 15:43:10
另外,編輯可以也可以增減 tag
作為 AI 分類的 feedback、改進 classifier 準度

2019-10-18

pm5 18:33:26
忘年會來短講一下吧!
pm5 18:33:37
對找人有幫助
chihao 23:16:00
好!如果沒有其他人的話,我可以講 g0v-intl 要來的坑!(還沒取名字!)
ronnywang 23:37:35
叫開山里好了,象徵跟台灣有關的新聞和消息都在這邊~

2019-10-19

chihao 09:15:02
這個梗連得起來嗎 :laughing:

2019-10-20

tkirby 12:59:59
@tkirby has joined the channel
tkirby 13:00:10
yo ~
chihao 13:00:36
唷唷唷

2019-10-21

ronnywang 10:41:56
我把爬蟲抓取的資料庫的一些想法流程資料庫設計寫在這邊
chihao 14:21:06
@ronnywang 排程、啟動 crawler 的程式跑在 middle2 上如何?
ronnywang 14:21:25
可以啊,目前 newsdiff 也是跑在 middle2
ronnywang 14:21:51
不過 fb 的部份建議要另外加一個機動 proxy ,以免被擋 IP
ronnywang 14:22:49
newsdiff 目前是沒有被擋過 IP 過,十分鐘看一次列表頁以及一小時檢查一次單一文章有沒有更新,這個量對一天幾百萬點閱的新聞網站來說無感
chihao 14:25:51
我覺得我需要 middle2 教學
ronnywang 14:29:14
本來有個 http://try.middle2.com|try.middle2.com 可以測試,不過因為查台硬碟只有 10G 已經爆了 XD 我應該把他搬出去
ronnywang 14:29:40
今晚我把他搬到其他地方好了,這樣就可以試用了
chihao 14:31:07
阿嗚
chihao 14:31:38
如果用 elasticsearch 的那一台跑排程?
chihao 14:31:52
還是分開
ronnywang 14:32:20
middle2 目前排程跟 db 主機都是分開的
chihao 14:32:23
@chihao set the channel topic: Disinfo Research Group https://g0v.hackmd.io/6ZbDhEwbR1mclAh-ws1B9A?both
chihao 14:34:40
所以聽起來,需要先強化 middle2,才能開 instances 來跑 prototype?強化 middle2 的部分有什麼可以幫忙的嗎?捐錢付雲端服務的費用?:laughing:
ronnywang 14:36:11
middle2 有本站和測試站,本站在 https://middle2.com/ 測試站在 https://try.middle2.com/
ronnywang 14:36:37
我目前都是先開測試站試用,可以讓人在上面亂玩亂測試,確定 middle2 符合需求,再開正式站帳號
ronnywang 14:36:57
因為正式站會有 health check 機制,我會確保他服務穩定
ronnywang 14:37:09
而測試站則是被亂搞搞爛也沒關係
ronnywang 14:37:53
現在主要問題是測試站硬碟滿了(放在 GCE 最小台機器)
ronnywang 14:38:21
我今晚把他搬到 Linode 去好了,GCE 最小台機器還比 Linode 貴…
chihao 14:38:32
所以,先前麻煩你開的 elasticsearch 其實是在正式站嗎
ronnywang 14:39:25
yes
chihao 14:39:35
I see
chihao 14:39:47
尊榮不凡(?)
chihao 14:40:49
那我現在 local 測試排程
chihao 14:41:03
middle2 的調教(?)再麻煩你了
wenyi 21:17:40
@ayw255 has joined the channel
chihao 21:18:48
大家好這是 wenyi :laughing:
wenyi 21:18:51
hello!!
wenyi 21:19:01
請大家多多指教~~
wenyi 21:22:16
@chihao 你可以再把structure的那個hackmd文件傳給我嗎,關聊天室前忘記存了
wenyi 21:23:06
:100:
chihao 21:33:28
我跟 wenyi 從十月初開始 cowork,他已經開發了一些 python crawler/parser
chihao 21:36:33
因為想把目前為止的成果貢獻到 0archive,後續以開源為基礎協作,所以我請 wenyi 也加入這個頻道
chihao 21:41:59
到週四之前,我請 wenyi 先讀目前有的兩份 hackmd 文件,在這裡跟大家一起討論囉
isabelhou 22:11:35
Hi Wenyi, welcome join.
ronnywang 22:17:29
@chihao gugod 之前做的「政府新聞RSS」 https://g0v-tw.slack.com/archives/C02G2SXKX/p1569459392080000

我幫「政府新聞轉貼」機器人又弄了個 atom/rss/json feed [1,2,3]。雖然基本上內容與 mastodon[4] 版相同、沒有太多內文資訊,主要是提供直接連結到原文去的新聞網址。看有沒有人要用。 1: <https://gugod.org/feed/A74800B8-DF8C-11E9-880A-D445B3D54D67.atom> 2. <https://gugod.org/feed/A74800B8-DF8C-11E9-880A-D445B3D54D67.rss> 3. <https://gugod.org/feed/A74800B8-DF8C-11E9-880A-D445B3D54D67.json> 4. <https://g0v.social/@tw_gov_news>

chihao 22:18:02
`看有沒有人要用。` 有有有!(?)
ronnywang 22:19:26
https://g0v.social/@tw_gov_news

g0v.social

TW Gov News Bot (@tw_gov_news@g0v.social)

36.8 千 嘟文, 2 正在關注, 19 關注者 · 政府新聞轉發(非官方) 新聞稿來源: <https://www.gov.tw/> Plurk 版: <https://www.plurk.com/tw_gov_news> Telegram 版: <https://t.me/tw_gov_news>

ronnywang 22:19:37
印象中之前他有把一級部會都做完
gugod 13:43:53
我等一下把這個機器人有去爬的網站列一下….
ronnywang 22:20:14
不過 gugod 人在日本,如果要拉入坑深入參與的話,只能遠端 XD
ronnywang 22:20:26
上次面海松他有來
chihao 22:30:04
嘿啊我記得 :laughing:
chihao 22:30:24
至少日本在隔壁時區而已 :smile:

2019-10-22

gugod 10:59:23
@gugod has joined the channel
gugod 13:26:46
如果所有人都來福岡的話,我就變成本地端了 (呃
chihao 13:27:37
disinfo 小松 @ 福岡?@isabelhou
isabelhou 13:27:54
sure
isabelhou 13:28:20
I will be in Fukuoka on 11/20 for 大相撲
isabelhou 13:28:40
go to Fukuoka then to
isabelhou 13:28:52
Seoul, that's my plan XD
chihao 13:29:08
omg
isabelhou 13:32:47
怕了吧
chihao 13:34:05
who scares who
isabelhou 13:35:23
那走吧
chihao 13:40:03
冷靜
isabelhou 14:14:41
福岡飛首爾,台幣一千元出頭耶。
ddio 18:51:59
@ddio has joined the channel
ronnywang 18:53:40
我把 @ddio 拉進來,因為 ddio 最近在 #rentea 專案有用到 Python 的 Scrapy
ronnywang 18:54:18
可以來交流一下 python 爬蟲 XD
ddio 18:54:42
hihi~~
chihao 19:09:50
ddio hihi :wave:
ronnywang 19:17:03
剛剛跟 ddio 聊才知道,scrapy 已經有內建從一個網址進去後,從那個網址出發往外爬連的到的頁面的功能,這樣就不需要像我一樣土法煉鋼自己寫遞迴了 XD
chihao 19:17:33
土炮遞迴 bye :wave:
chihao 19:18:07
讓我們站在 scrapy 的肩膀上
ronnywang 19:18:20
我寫爬蟲超土砲的,用 curl 去執行 http protocol, 用 DOMParser 去解 HTML
ronnywang 19:20:21
https://github.com/mozilla/readability 另外這個好像可以猜測 HTML 的 title, body 等資訊

GitHub

mozilla/readability

A standalone version of the readability lib. Contribute to mozilla/readability development by creating an account on GitHub.

ddio 19:28:23
後來 591 crawler 寫一寫,發現可以直接包成一隻 scrapy spider 給其他 scrapy spider 用 XD
https://pypi.org/project/scrapy-tw-rental-house/

PyPI

scrapy-tw-rental-house

Scrapy spider for TW Rental House

mrorz 19:28:58
https://github.com/cofacts/url-resolver
Cofacts 的抓網頁服務也是用 readability.js + puppeteer。

GitHub

cofacts/url-resolver

Automatically resolves the given URL into useful data - cofacts/url-resolver

mrorz 19:29:07
不過現在 master branch 把 graphql 換成 GRPC 了,README 還沒改 XDD
chihao 20:06:02
@ddio @mrorz 週四 9am 要一起來線上 meetup 嗎?:laughing:
ddio 20:13:14
我 9:15 am 可以,是討論專案本人嗎?
chihao 20:14:56
@ddio yes 零時檔案局/檔案系統/0archive 本人
ddio 20:16:11
我前面有打工的 meeting ,通常 9:15 結束,結束後可以參加~
chihao 20:20:22
要不要給我 email 我把你加進 google cal event?
mrorz 22:14:57
9am 好早 XDDDD 我以為 9pm
ddio 23:38:43
ddio at http://ddio.io|ddio.io, thank!
chihao 23:40:45
@mrorz 因為有美國東岸的 collaborator XD
mrorz 11:36:14
okok
mrorz 12:36:49
那應該也要 include 美東 @bil
chihao 12:39:53
好啊好啊 :laughing:
chihao 12:44:58
mrorz 的頭像好可愛喔
mrorz 09:00:15
Hi 請問今天有 meeting 嗎
chihao 09:00:47
@mrorz 剛寄 gcal 邀請 XD
mrorz 09:00:53
thanks
gugod 22:55:27
https://github.com/hasname/feedgen 這裡也有一組 crawler 。
我個人覺得這種把輸出做成 atom feed / rss feed 的 crawler service 做法很不賴。

GitHub

hasname/feedgen

Generate Atom feeds from sites which do not support feeds. - hasname/feedgen

gugod 22:55:43
作者 @gslin :stuck_out_tongue:
ronnywang 22:56:32
hasname XDDDD 這好像是 10 年前在痞客邦內的 project name 了
chihao 22:56:42
哦哦哦如果把所有的 sources 都做成一個一個野生的 rss feed…
ronnywang 22:57:07
當初 project name 取叫 hasname 是因為當時痞客邦最大對手叫無名 XD
gugod 22:57:52
這算是得到官方認可的豆知識嗎 :stuck_out_tongue:
ronnywang 22:58:02
不過原來 dk 後來還有持續在更新喔 XD

2019-10-23

ronnywang 11:30:24
ㄟ,好像記錯了,剛看了 http://hasname.com|hasname.com 是 2005 年註冊的,所以這個應該不是發生在痞客邦時期,而是發生在交大時期 XD
ronnywang 11:30:33
昨天不小心傳了 disinfo
chihao 11:32:05
:face_with_hand_over_mouth:
chihao 11:32:24
幸好是在 #disinfo 頻道?
pm5 12:52:57
https://twitter.com/zhusee2/status/1186807884769677313
mrorz 01:39:53
關於這個 app 我的看法:

在把「澄清目標」與「澄清文」連在一起這件事情上,其實跟我想做的事情很像 XD
比較不一樣的是,他看起來是有文膽在幫寫文案,Cofacts 則是大家一起寫這樣。

那個「澄清去」滿厲害的,基本上比我愛家我聯絡( https://ly.answerfamily.org/ )更猛一些,結合了文案與傳送門 ( 如平權聲音讚出來 https://ly.answerfamily.org/#/like )。這類專案其實執行的重要性大於製作,不過我猜 app 都搞得出來了,1/11 前要把搜集資料、文膽、與上稿的人等資源找齊來好好執行,對有資源的人來說應該並不困難;但對於沒有資源如我,平權聲音讚出來需要人工判讀爬蟲爬到的臉書回應資料,其實非常累人,我自己做個一兩週就做不下去了。幸好最後748法有通過 :heart:

不過,這種 campaign app 當然不是韓國瑜獨有。跟很多台灣的東西一樣,這樣的玩意美國人早就玩過了:
https://ourdataourselves.tacticaltech.org/posts/campaign-apps

上面這篇文有提到川普在 2016 年的 app——其實希拉蕊也有唷: https://medium.com/@okdan/the-hillary-clinton-app-is-one-of-the-best-digital-organizing-tools-ever-made-39628cd7ab91

競選用 app 大家都愛用,強一點還可以做等級制度,甚至蔡英文的 LINE@ 也是一種 campaign app 。
ronnywang 20:51:37
今天 vtaiwan 小聚在討論外送問題,剛好發現桃園市勞檢處之前有發一個公告認定 foodpanda 是雇傭而罰錢的公告,剛剛打開來發現桃園刪掉了

2019-10-24

mrorz 01:39:53
關於這個 app 我的看法:

在把「澄清目標」與「澄清文」連在一起這件事情上,其實跟我想做的事情很像 XD
比較不一樣的是,他看起來是有文膽在幫寫文案,Cofacts 則是大家一起寫這樣。

那個「澄清去」滿厲害的,基本上比我愛家我聯絡( https://ly.answerfamily.org/ )更猛一些,結合了文案與傳送門 ( 如平權聲音讚出來 https://ly.answerfamily.org/#/like )。這類專案其實執行的重要性大於製作,不過我猜 app 都搞得出來了,1/11 前要把搜集資料、文膽、與上稿的人等資源找齊來好好執行,對有資源的人來說應該並不困難;但對於沒有資源如我,平權聲音讚出來需要人工判讀爬蟲爬到的臉書回應資料,其實非常累人,我自己做個一兩週就做不下去了。幸好最後748法有通過 :heart:

不過,這種 campaign app 當然不是韓國瑜獨有。跟很多台灣的東西一樣,這樣的玩意美國人早就玩過了:
https://ourdataourselves.tacticaltech.org/posts/campaign-apps

上面這篇文有提到川普在 2016 年的 app——其實希拉蕊也有唷: https://medium.com/@okdan/the-hillary-clinton-app-is-one-of-the-best-digital-organizing-tools-ever-made-39628cd7ab91

競選用 app 大家都愛用,強一點還可以做等級制度,甚至蔡英文的 LINE@ 也是一種 campaign app 。

Medium

The Hillary Clinton app is one of the best digital organizing tools ever made

I’m not going to bury the lede: the Hillary Clinton app is one of, if not the best digital organizing tool that’s ever been made. Not ever…

mrorz 09:00:15
Hi 請問今天有 meeting 嗎
ronnywang 09:43:23
https://github.com/ronnywang/fb-post-crawler

GitHub

ronnywang/fb-post-crawler

Contribute to ronnywang/fb-post-crawler development by creating an account on GitHub.

ronnywang 09:43:29
fanpage 爬蟲
ronnywang 09:54:03
有政大研究生用 newsdiff 資料做分析寫論文
chihao 10:17:37
今天的會議(線上小松?)結束了,大家 ++
isabelhou 10:20:11
@chihao ++, 大家++, g0v ++。