#decentralizehk
2021-10-22
@aurora90376 has joined the channel
2021-10-23
@pm5 has joined the channel
@penghsuanlee has joined the channel
@joshuacyyang has joined the channel
@jrchen.ceo has joined the channel
@chihao has joined the channel
\ decentralize hk / \ archive hk /
- 🙌3
@colocolo317 has joined the channel
@stella has joined the channel
@ken200203231 has joined the channel
在 #disinfo 也有一些關於備份的討論，也歡迎 decentralizehk 的朋友去看看 😄
1- 👍2
我們坑位在 面對講台右邊第四排&第五排呦
Instagram 爬蟲是否有朋友會幫忙寫？會建一個 repo 分享出來嗎？
@edmond.kcyu 覺得獨媒的csv標題格式 用上面這份sample如何 還是要多加其他的嗎 比方說新聞分類?
覺得能抓到的 metadata 愈多愈好
但之前我有用過 apify.com 爬Instagram
想問如果我們直接把獨媒的新聞頁面整個抓下來上傳到 IPFS 上再注冊 ISCN 這樣會不會比較好？
把 html css javascript 甚麼的都抓下來這樣
可能要試試抓下來再看看效果，才能決定呢
我抓下來試試
@aurora90376 Studio Incendo 的 IG 可能仍有一些版權考慮（他們的 Flickr 是肯定 CC 4.0 沒錯），反正時間不多不如先集中做 inmediahk 的 IG?
好的
> 但之前我有用過 apify.com 爬Instagram
Apify 要付月費而且不便宜。如果我們有個可靠的 Instagram scraper 算是很大進展
Apify 要付月費而且不便宜。如果我們有個可靠的 Instagram scraper 算是很大進展
你是指圖片的文字抓不下來𠳕
只有這樣
app.like.co 
@hypothesquerelle has joined the channel
https://docs.google.com/presentation/d/1Ih2Ri27a5RodRvybFY3bpPqxFyaHHzFASXyvhS3IDwE/edit?usp=sharing
YouTube
用 Apify 抓了 inmediahknet 完整的 instagram 數據：
- 🙌1
產生了的 sh 檔用來真正下載的
產生了的 sh 檔用來真正下載的
@fewa110010 has joined the channel
- 👏2
產生這個 json 的代碼能分享一下嗎？
安裝ken分享的repo後
```pip install instagram-scraper```
在terminal登入自己的account 設定要抓取的貼文數量 並加上`--media-metadata`選項
```instagram-scraper <username> -u <your username> -p <your password> -m 10 --media-metadata```
```pip install instagram-scraper```
在terminal登入自己的account 設定要抓取的貼文數量 並加上`--media-metadata`選項
```instagram-scraper <username> -u <your username> -p <your password> -m 10 --media-metadata```
instagram-scraper inmediahknet -u username -p password --media-metadata
就是上面那個
產生這個 json 的代碼能分享一下嗎？
安裝ken分享的repo後
```pip install instagram-scraper```
在terminal登入自己的account 設定要抓取的貼文數量 並加上`--media-metadata`選項
```instagram-scraper <username> -u <your username> -p <your password> -m 10 --media-metadata```
```pip install instagram-scraper```
在terminal登入自己的account 設定要抓取的貼文數量 並加上`--media-metadata`選項
```instagram-scraper <username> -u <your username> -p <your password> -m 10 --media-metadata```
獨媒官網的 demo result
- 🙌2
太棒了
真的是神速
instagram-scraper inmediahknet -u username -p password --media-metadata
就是上面那個
CreativeWork - Schema.org Type
schema.org
<http://Schema.org|Schema.org> Type: CreativeWork - The most generic kind of creative work, including books, movies, photographs, software programs, etc.
- ❤️1
太棒了
真的是神速
<iscn://likecoin-chain/kgVudpeNkmbxcI836pNvhBPepN6w2U7_Em1CsllrLok/1>
- 👏1
支聯會3常委准保釋 低調離開法院 未見梁錦威身影 | 獨媒報導 | 獨立媒體 (inmediahk.net)
@wei949 獨立媒體 inmediahk.net（@inmediahknet）• Instagram 相片與影片
IG的部分，目前在整理爬完的 2,135 筆資料
有沒有一個地方是分享爬了下來的檔案的？
還沒，目前都還存在自己的電腦
支聯會3常委准保釋 低調離開法院 未見梁錦威身影 | 獨媒報導 | 獨立媒體 (inmediahk.net)
@wei949 獨立媒體 inmediahk.net（@inmediahknet）• Instagram 相片與影片
IG的部分，目前在整理爬完的 2,135 筆資料
有個問題：SocialMediaPost 一般沒有標題 ( `name` field）這會導致註冊到 ISCN 後不好找。
建議：在內文extract頭一句放在當作標題放在 name field。或用 regular expression 凡讀到一開始在【】或 [] 內的字串都當作標題
建議：在內文extract頭一句放在當作標題放在 name field。或用 regular expression 凡讀到一開始在【】或 [] 內的字串都當作標題
所以這個建議是for instagram的嗎
對。in general 所有 SocialMediaPost 都有這問題
另外，若 Instagram post 出現多於一張圖（蠻常見的），打算怎樣處理呢？因為 schema.org 的 CreativeWork 或衍生出來的 SocialMediaPost type 好像都沒有適當的欄位儲存多於一個 media 檔
有沒有一個地方是分享爬了下來的檔案的？
所以這個建議是for instagram的嗎
對。in general 所有 SocialMediaPost 都有這問題
還沒，目前都還存在自己的電腦
另外，若 Instagram post 出現多於一張圖（蠻常見的），打算怎樣處理呢？因為 schema.org 的 CreativeWork 或衍生出來的 SocialMediaPost type 好像都沒有適當的欄位儲存多於一個 media 檔
謝謝大家今天的參與，大家記得到共筆留下自己的名字，紀錄今天的貢獻！
1
手上的檔案也記得分享到共筆喔