rentea

Month: 2019-10

2019-10-01

ddio 14:40:48
<!channel>, 十月的小聚調查來囉~
因為小聚坑主十月中不在,所以這次的時間範圍是有點下旬的下旬,平假日都有,下週一(10/7)截止!

時間統計請點我: https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆還沒作,有人要拿上次範本幫忙複製一份嗎 XD

doodle.com

Doodle: Rentea 10 月小聚

Rentea 小聚將在 10 月下旬舉辦,雖然有預定時間,但要晚到或早走也沒問題。 在日期確定後,我們會找間適合討論、用筆電的空間,一起來作 Rentea ,也開放帶自己手邊的事情來作~

Steven 09:22:19
我可以幫忙小聚共筆,上一次的範本在哪裡呢
ddio 10:26:11
就在樓上 XDDD
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view

g0v.hackmd.io 開完之後,再加回 rentea hackfoldr 就好了~
Steven 00:55:46
簡單的加了個標題,是這樣嗎
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w
Steven 00:59:10
如果對的話後面的內容我之後補上XD
ddio 21:20:17
完美!

2019-10-02

2019-10-03

Steven 01:06:33
請問爬蟲的程式進入點在哪裡呢,我看原始碼好像都是class
Steven 09:31:13
發現這邊有爬蟲的使用說明
https://pypi.org/project/scrapy-tw-rental-house/
ddio 21:22:36
你得到他了 XD
然後 `scrapy-tw-rental-house` 是通用的 parser , rentea 拿他來用,但改了抓物件的條件和流程

2019-10-06

ddio 11:42:49
明天就是小聚調查截止日囉~還沒填的快來填!

時間統計請點我: https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆:https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w (感謝 Steven ❤️ )

doodle.com

Doodle: Rentea 10 月小聚

Rentea 小聚將在 10 月下旬舉辦,雖然有預定時間,但要晚到或早走也沒問題。 在日期確定後,我們會找間適合討論、用筆電的空間,一起來作 Rentea ,也開放帶自己手邊的事情來作~

g0v.hackmd.io

Rentea 第 2 次小聚 - HackMD

❤️ 2 🤟 1

2019-10-09

Steven 22:24:41
這次22 29 31三個時間同樣票數要選哪天呢🧙‍♂️
ddio 09:26:41
先以 22 或 29 為主,我來確認一下場地狀況,感謝!

2019-10-10

ddio 15:11:56
@ddio set the channel topic: 小聚地點確定中! - Rentea /ren-ti-a/

2019-10-14

ddio 14:13:32
<!channel> 十月小聚確定在 10/22 (二) 19:00 - 21:00 囉~~

地點一樣在 NPO hub ,要參加的人請來小聚共筆簽到,我們下週見!
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w

g0v.hackmd.io

Rentea 第 2 次小聚 - HackMD

🐵 1
ddio 14:13:47
@ddio set the channel topic: 10/22 月小聚! - Rentea /ren-ti-a/
ronnywang 14:13:51
今年十一月沒有大松喔 XD
ronnywang 14:13:56
大松會在十二月
ddio 14:14:27
所以十一月那個是純獎助金發表嗎 XD
ronnywang 14:15:05
還有募款餐會,像是社群尾牙 XD
ronnywang 14:15:36
12月大松可能會辦在台南 XD
❤️ 2
ddio 14:16:04
竟然出現募款餐會了!
York 14:40:17
10/22我要看牙醫,然後我可能真的要休息一下,這次小聚先pass
ddio 14:42:41
沒問題~~~不用有壓力~~~
Steven 15:01:23
早日康復
1

2019-10-16

Steven 10:29:36
請問一下start_requests的start_list是誰生成的呢? 雖然下面的gen_list_request有生成scrapy.Request看起來可以用,但是沒有看到他被呼叫
rental_spider.py
ddio 12:10:20
你有適合 trace python code 的編輯器嗎?
可以從 rentea crawler 的 spider 開始看,還有 scrapy twrh 的 readme 也有文字說明
ddio 12:11:36
RentalSpider 是 abc ,所以是 abstract class ,實作要看 591 spider
Steven 18:49:20
OK 我再研究看看 不知道visual studio code 有沒有推薦的code tracer呢
ddio 20:00:37
Vscode 內建的就夠用了~
pm5 23:20:58
@pm5 has joined the channel

2019-10-17

Steven 09:50:31
今天我嘗試用scrapy crawl two 去跑rentea\tw-rental-house-data\scrapy-package\trial\crawler\spiders 底下的spider,不過卻出現錯誤UnicodeDecodeError: 'cp950' codec can't decode byte 0xe5 in position 18: illegal multibyte sequence 有人知道該怎麼解嗎
loooffy 17:16:22
跟使用的terninal編碼相關 https://coder.tw/?p=7487 你也是用wsl嗎?好像會碰到蠻多環境上的狀況 可以一起研究:)
Steven 17:54:22
我是用windows的cmd喔 剛剛還在安裝ubuntu虛擬機,想說在linux shell會不會有相同問題
Steven 17:57:10
網路上有提到要修改編碼方式,不過我想在不修改tw-rental-house-data package的情況下去跑他的範例程式
loooffy 17:57:11
我用wsl有跑起來
loooffy 17:57:49
有另一個方法是去修改cmd的設定?
Steven 17:58:19
是喔 我等等來試試 你也是git clone tw-rental-house-data 然後從原始嗎去跑spider嗎
loooffy 18:05:19
我是用docker去跑的 不過我那天看現場 好像只有兩台windows 得多靠我們自己嘗試錯誤 沒辦法 非主流總是比較辛苦XDD
Steven 18:14:16
沒關係之後可以一起研究看看 我是用python 的virtualenv去跑tw-rental-house-data的原始碼(不是直接pip install去跑tw-rental-house-data喔) 然後其實tw-rental-house-data是rentea-crawl引用的package喔 兩個不太一樣XD
loooffy 18:15:34
喔喔 我誤會了 晚點來試試
Steven 18:45:06
可以開git bash輸入git clone https://github.com/g0v/tw-rental-house-data.git 就可以下載原始碼囉
Steven 19:31:33
在linux shell下運作正常,是時候捨棄windows了

2019-10-18

jasmine820921 22:34:15
@jasmine820921 has joined the channel

2019-10-19

ddio 13:22:41
Rentea 小聚就在下週二,還沒簽到的記得先來簽到喔~
https://g0v.hackmd.io/@OC-a336QTuq9vtoE371fkw/BJoRVUzOB

HackMD

Rentea 第 2 次小聚 - HackMD

# Rentea 第 2 次小聚 - 時間: 2019-10-22 (二) 19:00 - 21:00 - 地點: [NPO Hub](<https://g0v.hackmd.io/BNHyH7ESS>

❤️ 1
ddio 14:57:41
[相關活動廣告] 有人有興趣聊聊自己參加 Rentea ,或 g0v 其他專案的想法嗎?

最近有一個專門拍城市議題的團體,想要來拍台北市, g0v 也是其中的一個主題,他們在下週四 (10/24) 19:00 有一次實體的採訪,也可直接在文件中回覆提問:
https://g0v.hackmd.io/o6FWLdzNSy6-Eo0IJJo0aw?view

雖然 Rentea 才剛開始,但如果有人有興趣聊聊自己為什麼會想花時間投入這個專案(而不是別的專案),應該都會帶出很有趣的觀點。
我自己週四有事,所以可能這幾天會寫一些身為專案參與者 + PM 的想法~

g0v.hackmd.io

g0vers × “The Life-Sized City,” a documentary film - HackMD

👍 2 💯 1 🤩 1

2019-10-21

Steven 17:32:38
請問未來我們的sentry伺服器是要用官方的伺服器還是我們必須自己架設sentry伺服器呢
ddio 17:38:30
我傾向自己架,因為環境比較好控制,印象中費用也比較划算,因為我們不是典型那種要把一堆網站砍下來的爬蟲。

不過為何會問這個 XD
Steven 20:05:32
因為我assign sentry這個issue,在研究的時候剛好想到這個問題所以上來問問大家😄

2019-10-22

yellowsoar 18:57:15
求開門@@
ddio 18:58:43
大家記得要進到一樓的裡面喔,要先開第一扇門,才按電鈴~
ronnywang 18:58:47
proxy.conf
ronnywang 19:03:43
@ronnywang set the channel topic: 10/22 月小聚! - Rentea /ren-ti-a/
https://beta.hackfoldr.org/rentea
ronnywang 19:03:57
topic 上我把 hackfoldr 連結加上去囉
👍 1
chris930921 19:13:53
不好意思下班比較晚,大概 1930 才會到
loooffy 19:16:16
不好意思,行程delay,大概也是1930到
Steven 19:40:51
求開門~
ddio 20:22:49
範例資料 (json)

https://send.firefox.com/download/b25967c4e99c9e96/#uN3t3OK4ODRW7vaRrhZmrw

send.firefox.com

Firefox Send

Encrypt and send files with a link that automatically expires to ensure your important documents don’t stay online forever.

ddio 20:38:54
@chris930921, 目前中英對照請先看這邊:
https://github.com/g0v/tw-rental-house-data/blob/master/backend/rental/libs/export/uniq_export.py

這是 tw-rentea-house-data 把資料轉成中文 csv 的 script

GitHub

g0v/tw-rental-house-data

Collection of Taiwan Rental House Data from Public Website - g0v/tw-rental-house-data

yellowsoar 22:49:01
@ddio https://github.com/encode/starlette

GitHub

encode/starlette

The little ASGI framework that shines. :star2:. Contribute to encode/starlette development by creating an account on GitHub.

❤️ 1

2019-10-23

ddio 11:35:15
@chris930921, 我們以前學 Linux 是上這本,但要先看一下你們的 Linux Distribution 是什麼,因為和套件還有 kernel 版本也有關係
https://www.amazon.com/Advanced-Programming-UNIX-Environment-3rd/dp/0321637739

amazon.com

Advanced Programming in the UNIX Environment, 3rd Edition

For more than twenty years, serious C programmers have relied on one book for practical, in-depth knowledge of the programming interfaces that drive the UNIX and Linux kernels: W. Richard Stevens’ Advanced Programming in the UNIX® Environment . Now, once again, Rich’s colleague St...

chris930921 11:55:45
好的,我再參考看看
謝謝
yellowsoar 14:02:32
@randy19962 昨天有提到 pudb
https://pypi.org/project/pudb/
如果有用 sublime terminus
https://packagecontrol.io/packages/Terminus
可以用 user commands in palette 執行 pudb
https://github.com/randy3k/Terminus#user-commands-in-palette
user commands in palette code:
```
[
{
"caption": "Terminus: pudb",
"command": "terminus_open",
"args": {
"cmd": [
"python3",
"-m",
"pudb",
"$file"
],
"cwd": "${file_path:${folder}}",
}
},
]
```
🐵 1 👽 1

2019-10-27

ronnywang 17:28:55
發現有個開一年的 #gis channel ,剛好 rentea 也有用到 #gis ,如果有經驗分享或問題討論歡迎可以到 #gis XD
😆 1 🐵 1