Slack archive

tw-ly-and-council

Month: 2022-01

2022-01-09

ronnywang 16:09:28
lysayit 的部份我後端 API 正在處理中，目前就全部存到 elasticsearch 以及採用 PHP 轉成 API ，程式碼我放在
https://github.com/ronnywang/lysayit-api

目前 API 跑在 https://lysayit.g0v.ronny.tw/

ronnywang/lysayit-api

ronnywang 16:10:00
這樣子之後要更新資料就比較方便了，不需要產生幾百 MB 的 JSON
ronnywang 16:13:28
目前已經把上次大松時靜態的 JSON API 都轉成動態 API 了，可以參考 https://lysayit.g0v.ronny.tw/ 說明，格式可能跟之前有點不太一樣，因為是直接把 elasitcsearch 格式拿出來用
ronnywang 16:19:26
再來可能要處理幾件事：
1. 申請個 g0v.tw 的 domain （可能用 lysayit.g0v.tw 之類的，歡迎大家想個名字，就不要用 ronnywang.github.io 了，並且 repository 從 ronnywang 搬到 g0v 下面）
2. 把原先 repository 讀靜態 JSON 的程式轉換成從 API 讀取，這樣子就可以接上即時資料了
然後我這邊有列一些 TODO 應該是我會繼續後端進行的，如下：
1. 增加對話搜尋 API
2. 增加圖片支援顯示（目前有很多從 Word 轉出來是 [Pic] 的，要讓他變真的可見的圖片）
3. 增加顯示資料範圍的 API (讓大家知道現在資料庫收錄了哪些年的資料）
4. 自動更新資料（開始把舊資料補足，並且把自動新資料更新進來的機制完成）
1
ronnywang 16:26:24
上次大松有幫忙的 @kevinluo201 和 @thelilyinwater，如果有空的話想先麻煩你們幫忙幫我把原先讀取 json 檔的部份，幫我替換成從 API 讀取（格式可能有點變動，所以需要調整），repository 我搬到 https://github.com/g0v/lysayit 了。另外有什麼修改想法或建議也歡迎提出來或直接動手喔！或者有想要什麼 API 或 API 格式使用不方便的也可以跟我說

g0v/lysayit

@ronnywang 我剛有先把 speakers 頁改成 api，有遇到一些小問題：
• 本來 person-10-xxxx.json 的資料取不到了，不過可以改用 /api/meet 加上 /api/speaker/{name} 去算出來啦，還行
• CORS 要開 localhost 跟 lysayit.g0v.tw
Cors 我有開全部，不過 localhost 好像常會有問題
speakers 頁改好了，加了分頁進入， render 快一些。

我覺得好像還是得用一個 speaker 的個人資料的 api 耶
因為 /meet 就 2 Mb,
/api/speaker/{name} 有的人很多像黃國昌就有4.5Mb,
光進黃國昌的個人頁就要下載 6Mb 多

我提議加個 /api/speaker/{name}/show 的 json 可以方便顯示個人資料及參與的議程
```{
name: '黃國昌',
period: 10, // 會期
// 其它個人資料
meetings: [
{
meeting_id": 'xxxxxxx',
title": '立法院第10屆第1會期黨團協商會議紀錄',
date": '2019-01-01',
spoken_times": 31
},
...
]
}```
還是 API 也加上分頁？
> 還是 API 也加上分頁？
如果是個人頁的話，加有該人參與會議的 api 應該就足夠了，你說要分頁的是指秀出對話框的部分嗎？
還是我會錯意了， 是不是希望個人頁裡就可以顯示出所有會議的發言內容啊？
我是想說學 sayit 的界面，個人頁面也可以顯示發言內容，像 https://sayit.pdis.nat.gov.tw/speaker/audrey-tang-2 這頁
那這樣個人頁應該也要加上分頁功能會比較好
或者搜尋個人的會議跟搜尋個人的 API 可以分成兩個 API
我把 speaker API 加上了 pager 了
https://lysayit.g0v.ronny.tw/api/speaker/%E9%BB%83%E5%9C%8B%E6%98%8C?page=1
預設一頁顯示 100 筆，可以透過 total 知道總筆數跟透過 totalpage 知道總頁數，為了與舊程式相容，所以如果沒指定 page=x 的話，不會有 total, totalpage 等資訊
如果只是要個人參與的會議的話，有 /api/speaker/{nama}/meet API
Ex:
https://lysayit.g0v.ronny.tw/api/speaker/%E9%BB%83%E5%9C%8B%E6%98%8C/meet
(不過以黃國昌為例好像這 API 還是有點大 XD)
阿阿，抱歉我這週在準備雅思考試，想說離下前大松好像還有段時間，我就沒注意slack了，新年期間會再動工
> (不過以黃國昌為例好像這 API 還是有點大 XD)
恰好當 edge case 拿來測試 xD
哈哈沒關係，我們這邊沒什麼時間壓力，就有空再慢慢來就行了，沒空也沒關係，g0v 很自由的 XD
👀 1

2022-01-12

2022-01-15

2022-01-18

ronnywang 23:22:09
把最新資料更新進 API 了，不過現在 meet API 真的會遇到太肥的問題，畢竟會議數已經超級多了…看來需要大改版 meet API 了

目前覺得 meet API 可以增加下面的一些篩選條件：
1. 依照屆次和會期篩選 (第10屆第4會期）
2. 依照時間區間篩選
3. 依照委員會篩選
然後應該也需要加上 pager 了

2022-01-19

ronnywang 22:41:08
https://lysayit.g0v.ronny.tw/
/api/meet API 加入了 limit, page, term, sessionPeriod, dateStart, dateEnd 等參數的篩選條件，這樣子可以做到上面的各種篩選條件了（委員會留到之後再做）
做了 pager 之後，就會額外需要 total, page 等資訊，但舊的 API 會純粹回傳 array ，為了相容舊程式，我做成如果有指定 page=X 的話，就會回傳多包一層含 total, limit, totalpage, page 資訊，如果沒有給 page 的話就會直接回傳 array (但是也一樣只有 100 筆)
1

2022-01-22

ronnywang 23:49:48
https://g0v.github.io/lysayit/speech.html?id=LCIDC01_11010001_00002.doc#line-1348
把原先的 [pic] 這種圖檔的部份抓出來獨立上傳了，變成 [pic:https://twlydata.s3.amazonaws.com/data/picfile/LCIDC01_11010001_00002.doc-2a09d78cec678944.jpg]，這樣子之後也可以顯示圖片了

2022-01-23

2022-01-25

ronnywang 22:11:01
https://lysayit.g0v.ronny.tw/api/stat
加上一個顯示各種統計數據的 API 。 顯示目前資料庫內各屆的會議數、發言者數、發言數、最新最舊日期等資訊
kiang 22:59:26
廣島市這個發言分析不知道是原本就有逐字稿還是透過語音辨識
https://www.chugoku-np.co.jp/Edit/hiroshima_gikai/

chugoku-np.co.jp

市議会って何の話をしているの？　広島市議会議事録分析【2022年1月公開・随時更新】｜中国新聞デジタル

「市議会って何の話をしているの？　広島市議会議事録分析」は、中国新聞社が運営するサイトです。公開されている広島市議会議事録からテキストデータを収集し、テキストマイニングの手法を使って市議会議員の発言量や言及の多い単語、発言の内容などについて独自に分析しています。

kiang 22:59:26
廣島市這個發言分析不知道是原本就有逐字稿還是透過語音辨識
https://www.chugoku-np.co.jp/Edit/hiroshima_gikai/