#rentea
2019-10-01
<!channel>, 十月的小聚調查來囉～
因為小聚坑主十月中不在，所以這次的時間範圍是有點下旬的下旬，平假日都有，下週一（10/7）截止！
時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆還沒作，有人要拿上次範本幫忙複製一份嗎 XD
因為小聚坑主十月中不在，所以這次的時間範圍是有點下旬的下旬，平假日都有，下週一（10/7）截止！
時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆還沒作，有人要拿上次範本幫忙複製一份嗎 XD
doodle.com
Rentea 小聚將在 10 月下旬舉辦，雖然有預定時間，但要晚到或早走也沒問題。 在日期確定後，我們會找間適合討論、用筆電的空間，一起來作 Rentea ，也開放帶自己手邊的事情來作～
我可以幫忙小聚共筆，上一次的範本在哪裡呢
就在樓上 XDDD
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view
在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view
在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～
簡單的加了個標題，是這樣嗎
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w
如果對的話後面的內容我之後補上XD
完美！
2019-10-02
我可以幫忙小聚共筆，上一次的範本在哪裡呢
就在樓上 XDDD
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view
在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～
https://g0v.hackmd.io/5Ks_2eHQT_Scnb8UCDayTg?view
在 g0v.hackmd.io 開完之後，再加回 rentea hackfoldr 就好了～
2019-10-03
如果對的話後面的內容我之後補上XD
請問爬蟲的程式進入點在哪裡呢，我看原始碼好像都是class
發現這邊有爬蟲的使用說明
https://pypi.org/project/scrapy-tw-rental-house/
https://pypi.org/project/scrapy-tw-rental-house/
你得到他了 XD
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程
發現這邊有爬蟲的使用說明
https://pypi.org/project/scrapy-tw-rental-house/
https://pypi.org/project/scrapy-tw-rental-house/
PyPI 
完美！
你得到他了 XD
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程
然後 `scrapy-tw-rental-house` 是通用的 parser ， rentea 拿他來用，但改了抓物件的條件和流程
- 💯1
2019-10-06
明天就是小聚調查截止日囉～還沒填的快來填！
時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆：https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w （感謝 Steven ❤️ ）
時間統計請點我： https://doodle.com/poll/wndpzsrtb2rfmugq
小聚共筆：https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w （感謝 Steven ❤️ ）
Rentea 小聚將在 10 月下旬舉辦，雖然有預定時間，但要晚到或早走也沒問題。 在日期確定後，我們會找間適合討論、用筆電的空間，一起來作 Rentea ，也開放帶自己手邊的事情來作～
- ❤️2
- 🤟1
2019-10-09
這次22 29 31三個時間同樣票數要選哪天呢🧙♂️
先以 22 或 29 為主，我來確認一下場地狀況，感謝！
2019-10-10
先以 22 或 29 為主，我來確認一下場地狀況，感謝！
@ddio set the channel topic: 小聚地點確定中！ - Rentea /ren-ti-a/
2019-10-14
<!channel> 十月小聚確定在 10/22 (二) 19:00 - 21:00 囉～～
地點一樣在 NPO hub ，要參加的人請來小聚共筆簽到，我們下週見！
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w
地點一樣在 NPO hub ，要參加的人請來小聚共筆簽到，我們下週見！
https://g0v.hackmd.io/ECX2qx0FSRC0zsOU7TP36w
- 🐵1
@ddio set the channel topic: 10/22 月小聚！ - Rentea /ren-ti-a/
今年十一月沒有大松喔 XD
大松會在十二月
所以十一月那個是純獎助金發表嗎 XD
還有募款餐會，像是社群尾牙 XD
12月大松可能會辦在台南 XD
- ❤️2
竟然出現募款餐會了！
10/22我要看牙醫，然後我可能真的要休息一下，這次小聚先pass
1
沒問題～～～不用有壓力～～～
早日康復
沒問題～～～不用有壓力～～～
早日康復
2019-10-16
請問一下start_requests的start_list是誰生成的呢? 雖然下面的gen_list_request有生成scrapy.Request看起來可以用，但是沒有看到他被呼叫
你有適合 trace python code 的編輯器嗎？
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明
RentalSpider 是 abc ，所以是 abstract class ，實作要看 591 spider
OK 我再研究看看 不知道visual studio code 有沒有推薦的code tracer呢
Vscode 內建的就夠用了~
你有適合 trace python code 的編輯器嗎？
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明
可以從 rentea crawler 的 spider 開始看，還有 scrapy twrh 的 readme 也有文字說明
RentalSpider 是 abc ，所以是 abstract class ，實作要看 591 spider
OK 我再研究看看 不知道visual studio code 有沒有推薦的code tracer呢
Vscode 內建的就夠用了~
- 💯1
@pm5 has joined the channel
2019-10-17
今天我嘗試用scrapy crawl two 去跑rentea\tw-rental-house-data\scrapy-package\trial\crawler\spiders 底下的spider，不過卻出現錯誤UnicodeDecodeError: 'cp950' codec can't decode byte 0xe5 in position 18: illegal multibyte sequence 有人知道該怎麼解嗎
跟使用的terninal編碼相關 https://coder.tw/?p=7487 你也是用wsl嗎？好像會碰到蠻多環境上的狀況 可以一起研究：）
我是用windows的cmd喔 剛剛還在安裝ubuntu虛擬機，想說在linux shell會不會有相同問題
網路上有提到要修改編碼方式，不過我想在不修改tw-rental-house-data package的情況下去跑他的範例程式
我用wsl有跑起來
有另一個方法是去修改cmd的設定？
是喔 我等等來試試 你也是git clone tw-rental-house-data 然後從原始嗎去跑spider嗎
我是用docker去跑的 不過我那天看現場 好像只有兩台windows 得多靠我們自己嘗試錯誤 沒辦法 非主流總是比較辛苦XDD
沒關係之後可以一起研究看看 我是用python 的virtualenv去跑tw-rental-house-data的原始碼(不是直接pip install去跑tw-rental-house-data喔) 然後其實tw-rental-house-data是rentea-crawl引用的package喔 兩個不太一樣XD
喔喔 我誤會了 晚點來試試
可以開git bash輸入git clone https://github.com/g0v/tw-rental-house-data.git 就可以下載原始碼囉
在linux shell下運作正常，是時候捨棄windows了
跟使用的terninal編碼相關 https://coder.tw/?p=7487 你也是用wsl嗎？好像會碰到蠻多環境上的狀況 可以一起研究：）
碼人日誌
今天在教學弟妹寫程式時，用 Python 印出一段中文字到命令提示字元，卻遇到「UnicodeEncodeError: 'cp950' codec can't encode character」這個錯誤，嘗試了各種方法都無法解決，最後爬了文章才搞懂是怎麼回事。 看到這段錯誤，有經驗的開發者直覺就會認定是字串裡面有特殊字元，立馬給它加上 ignore 參數卻沒有效果，我遇到的情況檢查後發現是一個日文字，但眾所皆知 Python 3 預設使用 Unicode 字串，不應該會有無法輸出的問題才對，又不是萬惡的 Big5... 後來爬了文章才知道，原來問題根本
- 1
我是用windows的cmd喔 剛剛還在安裝ubuntu虛擬機，想說在linux shell會不會有相同問題
網路上有提到要修改編碼方式，不過我想在不修改tw-rental-house-data package的情況下去跑他的範例程式
我用wsl有跑起來
有另一個方法是去修改cmd的設定？
是喔 我等等來試試 你也是git clone tw-rental-house-data 然後從原始嗎去跑spider嗎
我是用docker去跑的 不過我那天看現場 好像只有兩台windows 得多靠我們自己嘗試錯誤 沒辦法 非主流總是比較辛苦XDD
- ❤️1
沒關係之後可以一起研究看看 我是用python 的virtualenv去跑tw-rental-house-data的原始碼(不是直接pip install去跑tw-rental-house-data喔) 然後其實tw-rental-house-data是rentea-crawl引用的package喔 兩個不太一樣XD
喔喔 我誤會了 晚點來試試
可以開git bash輸入git clone https://github.com/g0v/tw-rental-house-data.git 就可以下載原始碼囉
在linux shell下運作正常，是時候捨棄windows了
- 💯1
- 👽1
2019-10-18
@jasmine820921 has joined the channel
2019-10-19
Rentea 小聚就在下週二，還沒簽到的記得先來簽到喔～
https://g0v.hackmd.io/@OC-a336QTuq9vtoE371fkw/BJoRVUzOB
https://g0v.hackmd.io/@OC-a336QTuq9vtoE371fkw/BJoRVUzOB
HackMD
# Rentea 第 2 次小聚 - 時間： 2019-10-22 (二) 19:00 - 21:00 - 地點： [NPO Hub](<https://g0v.hackmd.io/BNHyH7ESS>
- ❤️1
[相關活動廣告] 有人有興趣聊聊自己參加 Rentea ，或 g0v 其他專案的想法嗎？
最近有一個專門拍城市議題的團體，想要來拍台北市， g0v 也是其中的一個主題，他們在下週四 (10/24) 19:00 有一次實體的採訪，也可直接在文件中回覆提問：
https://g0v.hackmd.io/o6FWLdzNSy6-Eo0IJJo0aw?view
雖然 Rentea 才剛開始，但如果有人有興趣聊聊自己為什麼會想花時間投入這個專案（而不是別的專案），應該都會帶出很有趣的觀點。
我自己週四有事，所以可能這幾天會寫一些身為專案參與者 + PM 的想法～
最近有一個專門拍城市議題的團體，想要來拍台北市， g0v 也是其中的一個主題，他們在下週四 (10/24) 19:00 有一次實體的採訪，也可直接在文件中回覆提問：
https://g0v.hackmd.io/o6FWLdzNSy6-Eo0IJJo0aw?view
雖然 Rentea 才剛開始，但如果有人有興趣聊聊自己為什麼會想花時間投入這個專案（而不是別的專案），應該都會帶出很有趣的觀點。
我自己週四有事，所以可能這幾天會寫一些身為專案參與者 + PM 的想法～
- 👍2
- 💯1
- 🤩1
2019-10-21
請問未來我們的sentry伺服器是要用官方的伺服器還是我們必須自己架設sentry伺服器呢
我傾向自己架，因為環境比較好控制，印象中費用也比較划算，因為我們不是典型那種要把一堆網站砍下來的爬蟲。
不過為何會問這個 XD
不過為何會問這個 XD
因為我assign sentry這個issue，在研究的時候剛好想到這個問題所以上來問問大家😄
我傾向自己架，因為環境比較好控制，印象中費用也比較划算，因為我們不是典型那種要把一堆網站砍下來的爬蟲。
不過為何會問這個 XD
不過為何會問這個 XD
因為我assign sentry這個issue，在研究的時候剛好想到這個問題所以上來問問大家😄
- ❤️1
2019-10-22
求開門@@
大家記得要進到一樓的裡面喔，要先開第一扇門，才按電鈴～
@ronnywang set the channel topic: 10/22 月小聚！ - Rentea /ren-ti-a/
https://beta.hackfoldr.org/rentea
https://beta.hackfoldr.org/rentea
topic 上我把 hackfoldr 連結加上去囉
- 👍1
不好意思下班比較晚，大概 1930 才會到
不好意思，行程delay，大概也是1930到
求開門~
blog.scrapinghub.com - 👍1
send.firefox.com
Encrypt and send files with a link that automatically expires to ensure your important documents don’t stay online forever.
@chris930921, 目前中英對照請先看這邊：
https://github.com/g0v/tw-rental-house-data/blob/master/backend/rental/libs/export/uniq_export.py
這是 tw-rentea-house-data 把資料轉成中文 csv 的 script
https://github.com/g0v/tw-rental-house-data/blob/master/backend/rental/libs/export/uniq_export.py
這是 tw-rentea-house-data 把資料轉成中文 csv 的 script
GitHub
Collection of Taiwan Rental House Data from Public Website - g0v/tw-rental-house-data
The little ASGI framework that shines. :star2:. Contribute to encode/starlette development by creating an account on GitHub.
- ❤️1
2019-10-23
@chris930921, 我們以前學 Linux 是上這本，但要先看一下你們的 Linux Distribution 是什麼，因為和套件還有 kernel 版本也有關係
https://www.amazon.com/Advanced-Programming-UNIX-Environment-3rd/dp/0321637739
https://www.amazon.com/Advanced-Programming-UNIX-Environment-3rd/dp/0321637739
amazon.com
For more than twenty years, serious C programmers have relied on one book for practical, in-depth knowledge of the programming interfaces that drive the UNIX and Linux kernels: W. Richard Stevens’ Advanced Programming in the UNIX® Environment . Now, once again, Rich’s colleague St...%2c445%2c291%2c400%2c400%2carial%2c12%2c4%2c0%2c0%2c5_SCLZZZZZZZ_.jpg)
好的，我再參考看看
謝謝
謝謝
好的，我再參考看看
謝謝
謝謝
@randy19962 昨天有提到 pudb
https://pypi.org/project/pudb/
如果有用 sublime terminus
https://packagecontrol.io/packages/Terminus
可以用 user commands in palette 執行 pudb
https://github.com/randy3k/Terminus#user-commands-in-palette
user commands in palette code:
```
[
{
"caption": "Terminus: pudb",
"command": "terminus_open",
"args": {
"cmd": [
"python3",
"-m",
"pudb",
"$file"
],
"cwd": "${file_path:${folder}}",
}
},
]
```
https://pypi.org/project/pudb/
如果有用 sublime terminus
https://packagecontrol.io/packages/Terminus
可以用 user commands in palette 執行 pudb
https://github.com/randy3k/Terminus#user-commands-in-palette
user commands in palette code:
```
[
{
"caption": "Terminus: pudb",
"command": "terminus_open",
"args": {
"cmd": [
"python3",
"-m",
"pudb",
"$file"
],
"cwd": "${file_path:${folder}}",
}
},
]
```
- 🐵1
- 👽1