#rentea | g0v.tw | slack archive

ddio 14:40:48

<!channel>, 十月的小聚調查來囉～
因為小聚坑主十月中不在，所以這次的時間範圍是有點下旬的下旬，平假日都有，下週一（10/7）截止！

時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆還沒作，有人要拿上次範本幫忙複製一份嗎 XD

doodle.com

Doodle: Rentea 10 月小聚

Rentea 小聚將在 10 月下旬舉辦，雖然有預定時間，但要晚到或早走也沒問題。在日期確定後，我們會找間適合討論、用筆電的空間，一起來作 Rentea ，也開放帶自己手邊的事情來作～

Steven 2019-10-02 09:22:19

我可以幫忙小聚共筆，上一次的範本在哪裡呢

ddio 2019-10-02 10:26:11

就在樓上 XDDD
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view

在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～

Steven 2019-10-03 00:55:46

簡單的加了個標題，是這樣嗎
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w

Steven 2019-10-03 00:59:10

如果對的話後面的內容我之後補上XD

ddio 2019-10-03 21:20:17

完美！

Steven 09:22:19

我可以幫忙小聚共筆，上一次的範本在哪裡呢

ddio 10:26:11

就在樓上 XDDD
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view

在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～

g0v.hackmd.io

Rentea 第 1 次小聚 - HackMD

Steven 00:55:46

簡單的加了個標題，是這樣嗎
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w

g0v.hackmd.io

Rentea 第 2 次小聚 - HackMD

❤️ 1

Steven 00:59:10

如果對的話後面的內容我之後補上XD

Steven 01:06:33

請問爬蟲的程式進入點在哪裡呢，我看原始碼好像都是class

Steven 2019-10-03 09:31:13

發現這邊有爬蟲的使用說明
https://pypi.org/project/scrapy-tw-rental-house/

Steven 2019-10-03 14:17:21

原來Scrapy是Framework

https://docs.scrapy.org/en/latest/intro/overview.html

ddio 2019-10-03 21:22:36

你得到他了 XD
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程

Steven 09:31:13

發現這邊有爬蟲的使用說明
https://pypi.org/project/scrapy-tw-rental-house/

PyPI

scrapy-tw-rental-house

Scrapy spider for TW Rental House

Steven 14:17:21

原來Scrapy是Framework

https://docs.scrapy.org/en/latest/intro/overview.html

ddio 21:20:17

完美！

ddio 21:22:36

你得到他了 XD
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程

💯 1

ddio 11:42:49

明天就是小聚調查截止日囉～還沒填的快來填！

時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆：https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w （感謝 Steven ❤️ ）

doodle.com

Doodle: Rentea 10 月小聚

Rentea 小聚將在 10 月下旬舉辦，雖然有預定時間，但要晚到或早走也沒問題。在日期確定後，我們會找間適合討論、用筆電的空間，一起來作 Rentea ，也開放帶自己手邊的事情來作～

g0v.hackmd.io

Rentea 第 2 次小聚 - HackMD

❤️ 2 🤟 1

Steven 22:24:41

這次22 29 31三個時間同樣票數要選哪天呢🧙‍♂️

ddio 2019-10-10 09:26:41

先以 22 或 29 為主，我來確認一下場地狀況，感謝！

ddio 09:26:41

先以 22 或 29 為主，我來確認一下場地狀況，感謝！

ddio 15:11:56

@ddio set the channel topic: 小聚地點確定中！ - Rentea /ren-ti-a/

ddio 14:13:32

<!channel> 十月小聚確定在 10/22 (二) 19:00 - 21:00 囉～～

地點一樣在 NPO hub ，要參加的人請來小聚共筆簽到，我們下週見！
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w

g0v.hackmd.io

Rentea 第 2 次小聚 - HackMD

🐵 1

ddio 14:13:47

@ddio set the channel topic: 10/22 月小聚！ - Rentea /ren-ti-a/

ronnywang 14:13:51

今年十一月沒有大松喔 XD

ronnywang 14:13:56

大松會在十二月

ddio 14:14:27

所以十一月那個是純獎助金發表嗎 XD

ronnywang 14:15:05

還有募款餐會，像是社群尾牙 XD

ronnywang 14:15:36

12月大松可能會辦在台南 XD

❤️ 2

ddio 14:16:04

竟然出現募款餐會了！

York 14:40:17

10/22我要看牙醫，然後我可能真的要休息一下，這次小聚先pass

ddio 2019-10-14 14:42:41

沒問題～～～不用有壓力～～～

Steven 2019-10-14 15:01:23

早日康復

1

ddio 14:42:41

沒問題～～～不用有壓力～～～

Steven 15:01:23

早日康復

Steven 10:29:36

請問一下start_requests的start_list是誰生成的呢? 雖然下面的gen_list_request有生成scrapy.Request看起來可以用，但是沒有看到他被呼叫

rental_spider.py

ddio 2019-10-16 12:10:20

你有適合 trace python code 的編輯器嗎？
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明

ddio 2019-10-16 12:11:36

RentalSpider 是 abc ，所以是 abstract class ，實作要看 591 spider

Steven 2019-10-16 18:49:20

OK 我再研究看看不知道visual studio code 有沒有推薦的code tracer呢

ddio 2019-10-16 20:00:37

Vscode 內建的就夠用了~

ddio 12:10:20

你有適合 trace python code 的編輯器嗎？
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明

ddio 12:11:36

RentalSpider 是 abc ，所以是 abstract class ，實作要看 591 spider

Steven 18:49:20

OK 我再研究看看不知道visual studio code 有沒有推薦的code tracer呢

ddio 20:00:37

Vscode 內建的就夠用了~

💯 1

pm5 23:20:58

@pm5 has joined the channel

Steven 09:50:31

今天我嘗試用scrapy crawl two 去跑rentea\tw-rental-house-data\scrapy-package\trial\crawler\spiders 底下的spider，不過卻出現錯誤UnicodeDecodeError: 'cp950' codec can't decode byte 0xe5 in position 18: illegal multibyte sequence 有人知道該怎麼解嗎

loooffy 2019-10-17 17:16:22

跟使用的terninal編碼相關 https://coder.tw/?p=7487 你也是用wsl嗎？好像會碰到蠻多環境上的狀況可以一起研究：）

Steven 2019-10-17 17:54:22

我是用windows的cmd喔剛剛還在安裝ubuntu虛擬機，想說在linux shell會不會有相同問題

Steven 2019-10-17 17:57:10

網路上有提到要修改編碼方式，不過我想在不修改tw-rental-house-data package的情況下去跑他的範例程式

loooffy 2019-10-17 17:57:11

我用wsl有跑起來

loooffy 2019-10-17 17:57:49

有另一個方法是去修改cmd的設定？

Steven 2019-10-17 17:58:19

是喔我等等來試試你也是git clone tw-rental-house-data 然後從原始嗎去跑spider嗎

loooffy 2019-10-17 18:05:19

我是用docker去跑的不過我那天看現場好像只有兩台windows 得多靠我們自己嘗試錯誤沒辦法非主流總是比較辛苦XDD

Steven 2019-10-17 18:14:16

沒關係之後可以一起研究看看我是用python 的virtualenv去跑tw-rental-house-data的原始碼(不是直接pip install去跑tw-rental-house-data喔) 然後其實tw-rental-house-data是rentea-crawl引用的package喔兩個不太一樣XD

loooffy 2019-10-17 18:15:34

喔喔我誤會了晚點來試試

Steven 2019-10-17 18:45:06

可以開git bash輸入git clone https://github.com/g0v/tw-rental-house-data.git 就可以下載原始碼囉

Steven 2019-10-17 19:31:33

在linux shell下運作正常，是時候捨棄windows了

loooffy 17:16:22

跟使用的terninal編碼相關 https://coder.tw/?p=7487 你也是用wsl嗎？好像會碰到蠻多環境上的狀況可以一起研究：）

碼人日誌

Python 3 在 Windows 命令提示字元輸出時遇到 CP950 錯誤

今天在教學弟妹寫程式時，用 Python 印出一段中文字到命令提示字元，卻遇到「UnicodeEncodeError: 'cp950' codec can't encode character」這個錯誤，嘗試了各種方法都無法解決，最後爬了文章才搞懂是怎麼回事。看到這段錯誤，有經驗的開發者直覺就會認定是字串裡面有特殊字元，立馬給它加上 ignore 參數卻沒有效果，我遇到的情況檢查後發現是一個日文字，但眾所皆知 Python 3 預設使用 Unicode 字串，不應該會有無法輸出的問題才對，又不是萬惡的 Big5... 後來爬了文章才知道，原來問題根本

1

Steven 17:54:22

我是用windows的cmd喔剛剛還在安裝ubuntu虛擬機，想說在linux shell會不會有相同問題

Steven 17:57:10

網路上有提到要修改編碼方式，不過我想在不修改tw-rental-house-data package的情況下去跑他的範例程式

loooffy 17:57:11

我用wsl有跑起來

loooffy 17:57:49

有另一個方法是去修改cmd的設定？

Steven 17:58:19

是喔我等等來試試你也是git clone tw-rental-house-data 然後從原始嗎去跑spider嗎

loooffy 18:05:19

我是用docker去跑的不過我那天看現場好像只有兩台windows 得多靠我們自己嘗試錯誤沒辦法非主流總是比較辛苦XDD

❤️ 1

Steven 18:14:16

沒關係之後可以一起研究看看我是用python 的virtualenv去跑tw-rental-house-data的原始碼(不是直接pip install去跑tw-rental-house-data喔) 然後其實tw-rental-house-data是rentea-crawl引用的package喔兩個不太一樣XD

loooffy 18:15:34

喔喔我誤會了晚點來試試

Steven 18:45:06

可以開git bash輸入git clone https://github.com/g0v/tw-rental-house-data.git 就可以下載原始碼囉

Steven 19:31:33

在linux shell下運作正常，是時候捨棄windows了

💯 1 👽 1

jasmine820921 22:34:15

@jasmine820921 has joined the channel

ddio 13:22:41

Rentea 小聚就在下週二，還沒簽到的記得先來簽到喔～
https://g0v.hackmd.io/@OC-a336QTuq9vtoE371fkw/BJoRVUzOB

HackMD

Rentea 第 2 次小聚 - HackMD

# Rentea 第 2 次小聚 - 時間： 2019-10-22 (二) 19:00 - 21:00 - 地點： [NPO Hub](<https://g0v.hackmd.io/BNHyH7ESS>

❤️ 1

ddio 14:57:41

[相關活動廣告] 有人有興趣聊聊自己參加 Rentea ，或 g0v 其他專案的想法嗎？

最近有一個專門拍城市議題的團體，想要來拍台北市， g0v 也是其中的一個主題，他們在下週四 (10/24) 19:00 有一次實體的採訪，也可直接在文件中回覆提問：
https://g0v.hackmd.io/o6FWLdzNSy6-Eo0IJJo0aw?view

雖然 Rentea 才剛開始，但如果有人有興趣聊聊自己為什麼會想花時間投入這個專案（而不是別的專案），應該都會帶出很有趣的觀點。
我自己週四有事，所以可能這幾天會寫一些身為專案參與者 + PM 的想法～

g0v.hackmd.io

g0vers × “The Life-Sized City,” a documentary film - HackMD

👍 2 💯 1 🤩 1

Steven 17:32:38

請問未來我們的sentry伺服器是要用官方的伺服器還是我們必須自己架設sentry伺服器呢

ddio 2019-10-21 17:38:30

我傾向自己架，因為環境比較好控制，印象中費用也比較划算，因為我們不是典型那種要把一堆網站砍下來的爬蟲。

不過為何會問這個 XD

Steven 2019-10-21 20:05:32

因為我assign sentry這個issue，在研究的時候剛好想到這個問題所以上來問問大家😄

ddio 17:38:30

我傾向自己架，因為環境比較好控制，印象中費用也比較划算，因為我們不是典型那種要把一堆網站砍下來的爬蟲。

不過為何會問這個 XD

Steven 20:05:32

因為我assign sentry這個issue，在研究的時候剛好想到這個問題所以上來問問大家😄

❤️ 1

yellowsoar 18:57:15

求開門@@

ddio 18:58:43

大家記得要進到一樓的裡面喔，要先開第一扇門，才按電鈴～

ronnywang 18:58:47

proxy.conf

ronnywang 19:03:43

@ronnywang set the channel topic: 10/22 月小聚！ - Rentea /ren-ti-a/
https://beta.hackfoldr.org/rentea

ronnywang 19:03:57

topic 上我把 hackfoldr 連結加上去囉

👍 1

chris930921 19:13:53

不好意思下班比較晚，大概 1930 才會到

loooffy 19:16:16

不好意思，行程delay，大概也是1930到

Steven 19:40:51

求開門~

Steven 20:12:19

https://blog.scrapinghub.com/2016/05/18/scrapy-tips-from-the-pros-may-2016-edition

blog.scrapinghub.com

How to Debug your Scrapy Spiders

How to Debug your Scrapy Spiders

👍 1

ddio 20:22:49

範例資料 (json)

https://send.firefox.com/download/b25967c4e99c9e96/#uN3t3OK4ODRW7vaRrhZmrw

send.firefox.com

Firefox Send

Encrypt and send files with a link that automatically expires to ensure your important documents don’t stay online forever.

ddio 20:38:54

@chris930921, 目前中英對照請先看這邊：
https://github.com/g0v/tw-rental-house-data/blob/master/backend/rental/libs/export/uniq_export.py

這是 tw-rentea-house-data 把資料轉成中文 csv 的 script

GitHub

g0v/tw-rental-house-data

Collection of Taiwan Rental House Data from Public Website - g0v/tw-rental-house-data

yellowsoar 22:49:01

@ddio https://github.com/encode/starlette

GitHub

encode/starlette

The little ASGI framework that shines. :star2:. Contribute to encode/starlette development by creating an account on GitHub.

❤️ 1

ddio 11:35:15

@chris930921, 我們以前學 Linux 是上這本，但要先看一下你們的 Linux Distribution 是什麼，因為和套件還有 kernel 版本也有關係
https://www.amazon.com/Advanced-Programming-UNIX-Environment-3rd/dp/0321637739

amazon.com

Advanced Programming in the UNIX Environment, 3rd Edition

For more than twenty years, serious C programmers have relied on one book for practical, in-depth knowledge of the programming interfaces that drive the UNIX and Linux kernels: W. Richard Stevens’ Advanced Programming in the UNIX® Environment . Now, once again, Rich’s colleague St...

chris930921 2019-10-23 11:55:45

好的，我再參考看看
謝謝

chris930921 11:55:45

好的，我再參考看看
謝謝

yellowsoar 14:02:32

@randy19962 昨天有提到 pudb
https://pypi.org/project/pudb/
如果有用 sublime terminus
https://packagecontrol.io/packages/Terminus
可以用 user commands in palette 執行 pudb
https://github.com/randy3k/Terminus#user-commands-in-palette
user commands in palette code:
```
[
{
"caption": "Terminus: pudb",
"command": "terminus_open",
"args": {
"cmd": [
"python3",
"-m",
"pudb",
"$file"
],
"cwd": "${file_path:${folder}}",
}
},
]
```

🐵 1 👽 1

ronnywang 17:28:55

發現有個開一年的 #gis channel ，剛好 rentea 也有用到 #gis ，如果有經驗分享或問題討論歡迎可以到 #gis XD

😆 1 🐵 1

rentea

Month: 2019-10

2019-10-01

2019-10-02

2019-10-03

2019-10-06

2019-10-09

2019-10-10

2019-10-14

2019-10-16

rental_spider.py

2019-10-17

2019-10-18

2019-10-19

2019-10-21

2019-10-22

proxy.conf

2019-10-23

2019-10-27