2021-10-20 conda-forge 核心會議
- 若要加入視訊會議,請點擊此連結: https://zoom.us/j/9138593505?pwd=SWh3dE1IK05LV01Qa0FJZ1ZpMzJLZz09
- 或者,若要透過電話加入,請撥打 +1 347-384-8597 並輸入此 PIN 碼:828 997 153#
- 若要查看更多電話號碼,請點擊此連結: https://tel.meet/ijv-qsvm-tvn?hs=5
與會者
- Isuru Fernando
- Eric Dill
- Filipe Fernandes
- Matthew Becker
- Cheng H. Lee
- John Kirkham
- Ryan May
- Keith Kraus
- Wolf Vollprecht
- Jaime Rodriguez-Guerra
- CJ Wright
- Lori Burns
- Chris Burr
2021-10-20 議程
常規項目
-
在線新成員介紹
-
(FF) 預算
- 目前的核准狀況?
- 當更新的數字出來時,請螢幕分享並展示預算。
- 連結在 Keybase 中 (numfocus_spreadsheets.txt)
-
未決投票
- 無
來自先前會議
- (CB) NumFocus 修正案
- CB - 不確定我們是否曾討論過,想在代表核心團隊簽署之前與核心團隊討論。不確定自上次以來有什麼變化。
您的新議程項目
-
JRG: Quansight GPU 佇列:conda-forge 需求、存取類型、堆疊
- 上週與 OpenTeams 聊天 (伺服器終於安裝完成)。看到了如何管理伺服器的介面。想要在裸機上使用 OpenStack。這很慢,所以我們正在按需使用 VM。正在將基礎架構轉換為支援此功能。需要決定 CF 需要哪種存取權限。從我們的對話中並不完全清楚我們是否需要完整管理員權限,還是只需要管理員帳戶來設定 webhook,或者是否將由 Quansight 代表 conda-forge 進行管理。需要弄清楚 CF 的需求,以便 Quansight 可以配合。
- IF - 希望擁有 Drone 介面的管理員存取權限,不需要伺服器的管理員權限。您可以在 Drone 伺服器上建立管理員帳戶,因此我們需要存取該帳戶。有一個新的 Docker 映像檔支援 PowerPC。他們可以執行該映像檔而不是 Drone 映像檔嗎?
- JRG - Drone 伺服器需要 24x7 全天候運行。我們有 8 個 GPU、48 個核心,不確定 RAM 的數量。可能可以討論容納長時間建置 (例如,Qt)。我們將從 GPU 開始,並有可能從那裡擴展。目前沒有時間估計 - 現在我們有了這個,我們可以開始討論 CF 的需求。我們知道免費的 Drone 是否足夠嗎?
- IF - 是的,免費的 Drone 就足夠了。從伺服器端來看,我們應該允許任何 CF 儲存庫。有兩種方法可以限制存取 - 從伺服器端和執行器端。從伺服器端,我們需要存取所有 CF 儲存庫。需要能夠在該伺服器中註冊任何 CF 儲存庫。如果您想進行限制,則需要在執行器端進行。
- JRG - 這是問題之一 -- feedstock 的允許清單是什麼?還有另一個問題,但現在想不起來了。待辦事項:如果您想起來了,請發送問題。我們需要每人一個帳戶還是一個 CF 組織範圍的登入。
- IF - 個人帳戶可以。在 Drone 伺服器上,作業將是公開的,但我們可以限制誰可以在伺服器本身中建立帳戶。可以將 conda-forge/core 作為可以登入的人員。這樣,來自 CF/core 的人員可以建立帳戶並登入。
- MRB - 需要在我們運行的所有事物上新增一個機器人作為管理員。我們將需要使用 Drone API 將密鑰放入作業和所有其他內容中。應新增 conda-forge-admin。
- IF - 使用 Drone,您不需要新增機器人帳戶 - 可以在 Drone 端建立機器人帳戶。它不會具有 GUI 存取權限,但只有 API 存取權限。然後使用該機器人帳戶註冊作業的密鑰。
- JRG - Drone 伺服器可以與 Openstack 通訊以啟動 VM 嗎?執行器將如何從 Drone 伺服器建立?目前尚不清楚執行器將如何啟動。
- https://autoscale.drone.io/install/openstack/
- JRG - 我們對執行器 VM 需要什麼規格?
- IF - 就 Drone 伺服器而言,磁碟最重要 -
- 就執行器而言,CPU / 記憶體?
- KK - 這非常取決於軟體。Qt 不需要 GPU,但確實需要大量記憶體。
- 多 GPU?雙 GPU 的事情應該在上游完成。我們只需要知道它在單個 GPU 上可以運作即可。
- KK - 多 GPU 的運作方式很多時候都很奇怪。有時,如果您建置單 GPU,則多 GPU 無法運作。如果您使用 NCCL 進行建置
- 就執行器而言,CPU / 記憶體?
- https://docs.github.com/en/actions/using-github-hosted-runners/about-github-hosted-runners#supported-runners-and-hardware-resources
- 值得擁有比這更多的資源,因為某些建置 (例如 pytorch) 在此配置下需要 10 多個小時
- 我們應該預先向他們展示所需的 VM。
- 應將盒子劃分為 1/8 的增量。然後讓 CF 請求 1/8 或 2/8 盒子的 VM。
- JRG -
drone.conda-forge.org
可以與 Quansight GPU 伺服器通訊嗎? (也許我們可以避免授權成本)
-
IF: Intel 編譯器:Pam 的建議
- Pam 發送了我們想要的協議修正版本,大家對此有意見嗎?
- IF 將轉發給 Nikolay 以徵求他的意見
-
IF: python 3.10 遷移:aarch64、ppc64le 怎麼辦?
-
Travis-CI 在聖保羅工作站上已關閉。
-
選項
- drone.conda-forge.org
- 完整模擬
- 交叉編譯
- PyPy
- conda-smithy
-
ED - 根據 Drone 授權,我們可以託管面向公眾的 Drone 伺服器嗎?是的,它是 apache2 授權的。
-
-
IF: 向 IBM 請求 ppc64le 資源?
-
IF: 在 python 3.10 遷移之前取得 https://github.com/conda/conda-build/pull/4287
- IF - 由於此 PR,需要重建套件。現在是放入它的好時機,因為正在進行遷移。重建約 25% 的套件,因此最好在遷移開始之前放入它。
- MRB - 我們是否需要將任何與 pip 相關的東西放入 conda-build 版本中?
-
JRG:
menuinst
CEP https://github.com/conda/ceps/pull/8 (僅與 CF 略有相關 :] ) -
CHL: anaconda.org 是否需要任何更新/改進?
- 支援
.conda
套件 - (IF): 修改說明的能力
- (IF): 標籤的 repodata 修補程式
- (MRB): 更快的 CDN 同步
- 支援
2021-10-06 議程
常規項目
-
在線新成員介紹
-
(FF) 預算
- 目前的核准狀況?
- 當更新的數字出來時,請螢幕分享並展示預算。
- 連結在 Keybase 中 (numfocus_spreadsheets.txt)
-
未決投票
- 無
來自先前會議
-
(IF) Python 3.10
- conda 問題 - https://github.com/conda/conda/issues/10969
- 如何允許較舊的 conda 使用者失敗?
- 讓他們自己發現
- 新增
__conda
虛擬套件,並讓python=3.10
套件依賴__conda>=4.10.3
- 符號連結
lib/python3.1
->lib/python3.10
- 待辦事項 新的 python 建置,執行符號連結 (以上選項 #3)
- Py3.10 相關修復將會滾動到下一個 conda 次要版本中
-
(CJ 透過 MRB) 更可重現的建置?
- CJ:認為已經非常接近了
- 受此部落格文章啟發: https://hpc.guix.info/blog/2021/09/whats-in-a-package/
- 將 Azure 建置日誌嵌入到套件中
- 嵌入哪個建置系統
- feedstock 的 git 雜湊值?
- 關閉強制推送至 feedstock
- 需要一種方法來強制建置/主機/測試環境相同
- (IF): 參見 https://github.com/conda/conda-build/issues/2140
- 可能的待辦事項
- 將建置的來源儲存在某處
- 將建置的日誌儲存在某處,可能以套件名稱為鍵?
- 以及 info.json 的部分內容 -- 有時我們對不同的建置使用相同的文件名
- 儲存建置/主機/測試環境的 conda-locks
- 筆記
-
透明度 vs 可重複性 vs 可重現性
-
出處 != 可重現性
-
(Eric) 透明度+可重複性 > 可重現性
-
您的新議程項目
-
(WV) 受 gitter 上對話的啟發:在 conda-forge 中使用更多 mamba
- 將
mamba install ...
新增至 feedstock readme - 允許從
mambabuild
上傳 - boa 食譜之路?
- 待辦事項
- PR 至 conda-smithy 以新增幾個標誌,允許使用者啟用 mamba debug 和 mamba build&upload
- 將
-
(CB) NumFocus 修正案
-
(IF) aarch64 建置
- cloud.drone.io 速度慢
- 我們從 Oracle 獲得了 3000 美元的信用額度,為期一年
- 足夠 8 個執行器使用,配備 4 個 vCPU 和 24 GB 記憶體,為期一年
- 選項
- 託管我們自己的 Drone 伺服器/執行器
- 託管我們自己的 Azure Agent
- 交叉編譯
- 使用 qemu 進行測試
- pypy 建置
- 模擬
推遲到下次會議
進行中的投票
CFEPs
- cfep-12 移除違反來源套件條款的套件
- 自 2020 年 5 月 26 日起停滯
- 關於移動到「broken」與從 conda-forge 管道中刪除的激烈辯論
- 進行中的投票,於 2020-03-11 結束
- 投票結果如何?
- 我們是否收到 NumFOCUS 的回覆?他們舉辦了法律研討會,並已錄製下來
待辦事項
2021-10-18
2021-09-22
-
(MRB) Travis 相關事項的更新
- 待辦事項:撰寫部落格文章以提高透明度。需要一位負責人來處理此事 (Matt 可以在十月底)
-
(MRB) master 到 main 的移動 (https://github.com/conda-forge/conda-forge.github.io/issues/1162)
- 除了 feedstock、releases、conda-smithy 和我們的 github actions 之外,一切都已完成
- releases 已損壞,已在 github 上開啟問題
- feedstock 的一些選項
- 確保更改 branch 上的上傳密鑰
- (MRB) 發布關於如何更新本地副本的公告 (已移動到上面的問題)
- (MRB) 確保更新 upload_on_branch (已移動到上面的問題)
- 除了 feedstock、releases、conda-smithy 和我們的 github actions 之外,一切都已完成
2020-11-18
- (IF/MRB/MV) intel oneAPI
- 待辦事項
- (Nikolay) opencl_rt 的授權
- (Nikolay) intelmpi ABI 與 mpich 的相容性
- (MRB/IF) 弄清楚如何準確地封裝 C/C++ 編譯器
- (MRB/IF) 考慮 fortran ABI
- (MRB) 建立 conda-forge 編譯器聊天室 (新增包括 keith 在內的人員)
- 待辦事項
- (MB) 要求核心成員轉為「榮譽退休」狀態
- 待辦事項:Eric 設定所有核心成員的季度性檢查,以查看他們是否有興趣保持「活躍」狀態,或者他們是否想轉為榮譽退休
- 從榮譽退休人員中移除對各種憑證 (api token、twitter 密碼等) 的存取權限?這將需要修改治理文件。
- 待辦事項:Eric 設定所有核心成員的季度性檢查,以查看他們是否有興趣保持「活躍」狀態,或者他們是否想轉為榮譽退休
2020-11-11
- 待辦事項:考慮引入 JOSS 以提供關於我們如何最好地撰寫論文的背景資訊
2020-11-03
- 待辦事項:檢查 Forrest Watters 的核心團隊權限
- (FF) Outreachy 將花費 6500 美元。
- 下一步:撰寫摘要並投票決定資金支出。
2020-10-28 2020-10-21
- (Marius?) Python 2.7 遷移
- ( ) [ ] 做出提示
- ( ) [ ] 發布公告
- ( ) [ ] 將提示變成 lint
2020-10-07
- 確保將 NVBug 資訊新增至 conda-forge 製作的 cudatoolkit 套件 (如果我們製作一個)
2020-09-09
- (ED) 使用與 conda-tools 相同的投票模型更新治理文件 (+3 且沒有 -1 即為通過)
- (SC) 撰寫 jinja 模板,將機構合作夥伴 yaml 轉換為網站 https://github.com/conda-forge/conda-forge.github.io/blob/2a2d3caaf7d74eb370ac40c679ba337a73d15c8a/src/inst_partners.yaml
- (SC) 記錄建立 OVH 帳戶並取得存取權限所需執行的操作
2020-08-26 Docker hub
- (JK) 檢查 Azure 建置工作站,查看它們是否具有 docker hub 限制。
- (JK) 與 dockerhub 合作,看看我們是否可以獲得 OSS 狀態
- 在某個時間點再次檢查。截至 2020-09-23,我們尚未收到回覆
OVH
-
在某個時間點在 Twitter 上大聲疾呼。「感謝 OVHCloud 提供 VM」等等。(也許在我們使用它在 Windows 上發布 qt 之後?)
-
弄清楚如何向使用者傳達重大變更。可能應該立即開啟問題以進行進一步討論。Ping @kkraus,並從這些會議記錄中擷取更上面的筆記
-
John K. 將更新 git 儲存庫上的 cuda toolkit feedstock,以註明 NVBug 連結到 NVIDIA 內部問題追蹤器
-
Jonathan 將更新文件,註明一些非詳盡的套件清單 (例如 cuda-toolkit、MKL 等)
-
Jonathan 將審查此 PR
-
(Kale) 安排 conda 工作小組會議
-
cfep-10 後續步驟:CJ 呼籲投票徵求回饋
-
cfep-06 後續步驟:要求 staged recipes 團隊支持此 CFEP 並推動其前進
-
jakirkham & CJ-wright 同步關於將 CUDA 新增至遷移機器人的事宜
-
(Eric) 安排 Anaconda <-> conda-forge 在 anaconda.org 上關於需求收集的同步會議
- 將嘗試在下個月安排此會議。
-
(Anthony) 聯繫 NumFocus 以 выяснить 不在文件中包含許可證的法律後果。
-
(Eric) 在內部查詢關於酒店和從社群邀請人員飛來的經費水準?
-
(Eric) 弄清楚 conda-forge 的財務狀況以支持自身?
-
(jjhelmus) 開啟 CFEP 以決定我們將支援哪些 python 版本
-
(jakirkham) 撰寫一篇關於我們今天討論的 CUDA 內容的部落格文章
-
(jakirkham) 更新關於如何將 CUDA 支援新增至 feedstock 的文件
-
(jakirkham) 將在 conda-smithy 上開啟一個問題以調查 Drone 問題。(ping aarch 團隊)
-
(ED) 關於我們頁面?FAQ 和每個人是誰的某種組合。FAQ 諸如
- CF <> Anaconda、CF <> NumFocus、CF <> Azure 的 POC 是誰
- 各個子團隊的 POC 是誰?
- 非正式資訊:角色、日常工作、簡歷、所有細節、你為什麼在這裡等等。
- 公開還是內部?我どちらでもいい。任何人強烈傾向於某種方式嗎?
- 選擇加入公開簡歷
- 軟體木工坊有大量講師,並有 https://carpentries.org/instructors
- 有人擔心「又一個保持內容更新的地方」
-
(ED) 記錄使用 conda-forge 實現可重現環境的策略
-
(UK) 靜態函式庫相關內容
- 新增 linting 提示到建置中以找到它們
- 建議如何封裝它們 -> CFEP-18
- 我們應該撰寫文件說明我們不提供支援,這是一個壞主意。 -> CFEP-18