跳到主要內容

2021-10-20 conda-forge 核心會議

上週會議 我的時區的會議時間 會議資訊

與會者

  • Isuru Fernando
  • Eric Dill
  • Filipe Fernandes
  • Matthew Becker
  • Cheng H. Lee
  • John Kirkham
  • Ryan May
  • Keith Kraus
  • Wolf Vollprecht
  • Jaime Rodriguez-Guerra
  • CJ Wright
  • Lori Burns
  • Chris Burr

2021-10-20 議程

常規項目

  • 在線新成員介紹

  • (FF) 預算

    • 目前的核准狀況?
    • 當更新的數字出來時,請螢幕分享並展示預算。
      • 連結在 Keybase 中 (numfocus_spreadsheets.txt)
  • 未決投票

來自先前會議

  • (CB) NumFocus 修正案
    • CB - 不確定我們是否曾討論過,想在代表核心團隊簽署之前與核心團隊討論。不確定自上次以來有什麼變化。

您的議程項目

  • JRG: Quansight GPU 佇列:conda-forge 需求、存取類型、堆疊

    • 上週與 OpenTeams 聊天 (伺服器終於安裝完成)。看到了如何管理伺服器的介面。想要在裸機上使用 OpenStack。這很慢,所以我們正在按需使用 VM。正在將基礎架構轉換為支援此功能。需要決定 CF 需要哪種存取權限。從我們的對話中並不完全清楚我們是否需要完整管理員權限,還是只需要管理員帳戶來設定 webhook,或者是否將由 Quansight 代表 conda-forge 進行管理。需要弄清楚 CF 的需求,以便 Quansight 可以配合。
    • IF - 希望擁有 Drone 介面的管理員存取權限,不需要伺服器的管理員權限。您可以在 Drone 伺服器上建立管理員帳戶,因此我們需要存取該帳戶。有一個新的 Docker 映像檔支援 PowerPC。他們可以執行該映像檔而不是 Drone 映像檔嗎?
    • JRG - Drone 伺服器需要 24x7 全天候運行。我們有 8 個 GPU、48 個核心,不確定 RAM 的數量。可能可以討論容納長時間建置 (例如,Qt)。我們將從 GPU 開始,並有可能從那裡擴展。目前沒有時間估計 - 現在我們有了這個,我們可以開始討論 CF 的需求。我們知道免費的 Drone 是否足夠嗎?
    • IF - 是的,免費的 Drone 就足夠了。從伺服器端來看,我們應該允許任何 CF 儲存庫。有兩種方法可以限制存取 - 從伺服器端和執行器端。從伺服器端,我們需要存取所有 CF 儲存庫。需要能夠在該伺服器中註冊任何 CF 儲存庫。如果您想進行限制,則需要在執行器端進行。
    • JRG - 這是問題之一 -- feedstock 的允許清單是什麼?還有另一個問題,但現在想不起來了。待辦事項:如果您想起來了,請發送問題。我們需要每人一個帳戶還是一個 CF 組織範圍的登入。
    • IF - 個人帳戶可以。在 Drone 伺服器上,作業將是公開的,但我們可以限制誰可以在伺服器本身中建立帳戶。可以將 conda-forge/core 作為可以登入的人員。這樣,來自 CF/core 的人員可以建立帳戶並登入。
    • MRB - 需要在我們運行的所有事物上新增一個機器人作為管理員。我們將需要使用 Drone API 將密鑰放入作業和所有其他內容中。應新增 conda-forge-admin。
    • IF - 使用 Drone,您不需要新增機器人帳戶 - 可以在 Drone 端建立機器人帳戶。它不會具有 GUI 存取權限,但只有 API 存取權限。然後使用該機器人帳戶註冊作業的密鑰。
    • JRG - Drone 伺服器可以與 Openstack 通訊以啟動 VM 嗎?執行器將如何從 Drone 伺服器建立?目前尚不清楚執行器將如何啟動。
    • https://autoscale.drone.io/install/openstack/
    • JRG - 我們對執行器 VM 需要什麼規格?
    • IF - 就 Drone 伺服器而言,磁碟最重要 -
      • 就執行器而言,CPU / 記憶體?
        • KK - 這非常取決於軟體。Qt 不需要 GPU,但確實需要大量記憶體。
      • 多 GPU?雙 GPU 的事情應該在上游完成。我們只需要知道它在單個 GPU 上可以運作即可。
        • KK - 多 GPU 的運作方式很多時候都很奇怪。有時,如果您建置單 GPU,則多 GPU 無法運作。如果您使用 NCCL 進行建置
    • https://docs.github.com/en/actions/using-github-hosted-runners/about-github-hosted-runners#supported-runners-and-hardware-resources
      • 值得擁有比這更多的資源,因為某些建置 (例如 pytorch) 在此配置下需要 10 多個小時
    • 我們應該預先向他們展示所需的 VM。
      • 應將盒子劃分為 1/8 的增量。然後讓 CF 請求 1/8 或 2/8 盒子的 VM。
    • JRG - drone.conda-forge.org 可以與 Quansight GPU 伺服器通訊嗎? (也許我們可以避免授權成本)
  • IF: Intel 編譯器:Pam 的建議

    • Pam 發送了我們想要的協議修正版本,大家對此有意見嗎?
    • IF 將轉發給 Nikolay 以徵求他的意見
  • IF: python 3.10 遷移:aarch64、ppc64le 怎麼辦?

    • Travis-CI 在聖保羅工作站上已關閉。

    • 選項

      • drone.conda-forge.org
      • 完整模擬
      • 交叉編譯
        • PyPy
        • conda-smithy
    • ED - 根據 Drone 授權,我們可以託管面向公眾的 Drone 伺服器嗎?是的,它是 apache2 授權的。

  • IF: 向 IBM 請求 ppc64le 資源?

  • IF: 在 python 3.10 遷移之前取得 https://github.com/conda/conda-build/pull/4287

    • IF - 由於此 PR,需要重建套件。現在是放入它的好時機,因為正在進行遷移。重建約 25% 的套件,因此最好在遷移開始之前放入它。
    • MRB - 我們是否需要將任何與 pip 相關的東西放入 conda-build 版本中?
  • JRG: menuinst CEP https://github.com/conda/ceps/pull/8 (僅與 CF 略有相關 :] )

  • CHL: anaconda.org 是否需要任何更新/改進?

    • 支援 .conda 套件
    • (IF): 修改說明的能力
    • (IF): 標籤的 repodata 修補程式
    • (MRB): 更快的 CDN 同步

2021-10-06 議程

常規項目

  • 在線新成員介紹

  • (FF) 預算

    • 目前的核准狀況?
    • 當更新的數字出來時,請螢幕分享並展示預算。
      • 連結在 Keybase 中 (numfocus_spreadsheets.txt)
  • 未決投票

來自先前會議

  • (IF) Python 3.10

    • conda 問題 - https://github.com/conda/conda/issues/10969
    • 如何允許較舊的 conda 使用者失敗?
      1. 讓他們自己發現
      2. 新增 __conda 虛擬套件,並讓 python=3.10 套件依賴 __conda>=4.10.3
      3. 符號連結 lib/python3.1 -> lib/python3.10
    • 待辦事項 新的 python 建置,執行符號連結 (以上選項 #3)
    • Py3.10 相關修復將會滾動到下一個 conda 次要版本中
  • (CJ 透過 MRB) 更可重現的建置?

    • CJ:認為已經非常接近了
    • 受此部落格文章啟發: https://hpc.guix.info/blog/2021/09/whats-in-a-package/
    • 將 Azure 建置日誌嵌入到套件中
    • 嵌入哪個建置系統
    • feedstock 的 git 雜湊值?
    • 關閉強制推送至 feedstock
    • 需要一種方法來強制建置/主機/測試環境相同
    • (IF): 參見 https://github.com/conda/conda-build/issues/2140
    • 可能的待辦事項
      • 將建置的來源儲存在某處
      • 將建置的日誌儲存在某處,可能以套件名稱為鍵?
        • 以及 info.json 的部分內容 -- 有時我們對不同的建置使用相同的文件名
      • 儲存建置/主機/測試環境的 conda-locks
    • 筆記
      • 透明度 vs 可重複性 vs 可重現性

      • 出處 != 可重現性

      • (Eric) 透明度+可重複性 > 可重現性

您的議程項目

  • (WV) 受 gitter 上對話的啟發:在 conda-forge 中使用更多 mamba

    • mamba install ... 新增至 feedstock readme
    • 允許從 mambabuild 上傳
    • boa 食譜之路?
    • 待辦事項
      • PR 至 conda-smithy 以新增幾個標誌,允許使用者啟用 mamba debug 和 mamba build&upload
  • (CB) NumFocus 修正案

  • (IF) aarch64 建置

    • cloud.drone.io 速度慢
    • 我們從 Oracle 獲得了 3000 美元的信用額度,為期一年
      • 足夠 8 個執行器使用,配備 4 個 vCPU 和 24 GB 記憶體,為期一年
    • 選項
      1. 託管我們自己的 Drone 伺服器/執行器
      2. 託管我們自己的 Azure Agent
      3. 交叉編譯
        • 使用 qemu 進行測試
        • pypy 建置
      4. 模擬

推遲到下次會議

進行中的投票

CFEPs

  • cfep-12 移除違反來源套件條款的套件
    • 自 2020 年 5 月 26 日起停滯
    • 關於移動到「broken」與從 conda-forge 管道中刪除的激烈辯論
    • 進行中的投票,於 2020-03-11 結束
    • 投票結果如何?
    • 我們是否收到 NumFOCUS 的回覆?他們舉辦了法律研討會,並已錄製下來

待辦事項

2021-10-18

2021-09-22

  • (MRB) Travis 相關事項的更新

    • 待辦事項:撰寫部落格文章以提高透明度。需要一位負責人來處理此事 (Matt 可以在十月底)
  • (MRB) master 到 main 的移動 (https://github.com/conda-forge/conda-forge.github.io/issues/1162)

    • 除了 feedstock、releases、conda-smithy 和我們的 github actions 之外,一切都已完成
      • releases 已損壞,已在 github 上開啟問題
    • feedstock 的一些選項
      • 確保更改 branch 上的上傳密鑰
    • (MRB) 發布關於如何更新本地副本的公告 (已移動到上面的問題)
    • (MRB) 確保更新 upload_on_branch (已移動到上面的問題)

2020-11-18

  • (IF/MRB/MV) intel oneAPI
    • 待辦事項
      • (Nikolay) opencl_rt 的授權
      • (Nikolay) intelmpi ABI 與 mpich 的相容性
      • (MRB/IF) 弄清楚如何準確地封裝 C/C++ 編譯器
      • (MRB/IF) 考慮 fortran ABI
      • (MRB) 建立 conda-forge 編譯器聊天室 (新增包括 keith 在內的人員)
  • (MB) 要求核心成員轉為「榮譽退休」狀態
    • 待辦事項:Eric 設定所有核心成員的季度性檢查,以查看他們是否有興趣保持「活躍」狀態,或者他們是否想轉為榮譽退休
      • 從榮譽退休人員中移除對各種憑證 (api token、twitter 密碼等) 的存取權限?這將需要修改治理文件。

2020-11-11

  • 待辦事項:考慮引入 JOSS 以提供關於我們如何最好地撰寫論文的背景資訊

2020-11-03

  • 待辦事項:檢查 Forrest Watters 的核心團隊權限
  • (FF) Outreachy 將花費 6500 美元。
    • 下一步:撰寫摘要並投票決定資金支出。

2020-10-28 2020-10-21

  • (Marius?) Python 2.7 遷移
    • ( ) [ ] 做出提示
    • ( ) [ ] 發布公告
    • ( ) [ ] 將提示變成 lint

2020-10-07

  • 確保將 NVBug 資訊新增至 conda-forge 製作的 cudatoolkit 套件 (如果我們製作一個)

2020-09-09

2020-08-26 Docker hub

  • (JK) 檢查 Azure 建置工作站,查看它們是否具有 docker hub 限制。
  • (JK) 與 dockerhub 合作,看看我們是否可以獲得 OSS 狀態
    • 在某個時間點再次檢查。截至 2020-09-23,我們尚未收到回覆

OVH

  • 在某個時間點在 Twitter 上大聲疾呼。「感謝 OVHCloud 提供 VM」等等。(也許在我們使用它在 Windows 上發布 qt 之後?)

  • 弄清楚如何向使用者傳達重大變更。可能應該立即開啟問題以進行進一步討論。Ping @kkraus,並從這些會議記錄中擷取更上面的筆記

  • John K. 將更新 git 儲存庫上的 cuda toolkit feedstock,以註明 NVBug 連結到 NVIDIA 內部問題追蹤器

  • Jonathan 將更新文件,註明一些非詳盡的套件清單 (例如 cuda-toolkit、MKL 等)

  • Jonathan 將審查此 PR

  • (Kale) 安排 conda 工作小組會議

  • cfep-10 後續步驟:CJ 呼籲投票徵求回饋

  • cfep-06 後續步驟:要求 staged recipes 團隊支持此 CFEP 並推動其前進

  • jakirkham & CJ-wright 同步關於將 CUDA 新增至遷移機器人的事宜

  • (Eric) 安排 Anaconda <-> conda-forge 在 anaconda.org 上關於需求收集的同步會議

    • 將嘗試在下個月安排此會議。
  • (Anthony) 聯繫 NumFocus 以 выяснить 不在文件中包含許可證的法律後果。

  • (Eric) 在內部查詢關於酒店和從社群邀請人員飛來的經費水準?

  • (Eric) 弄清楚 conda-forge 的財務狀況以支持自身?

  • (jjhelmus) 開啟 CFEP 以決定我們將支援哪些 python 版本

  • (jakirkham) 撰寫一篇關於我們今天討論的 CUDA 內容的部落格文章

  • (jakirkham) 更新關於如何將 CUDA 支援新增至 feedstock 的文件

  • (jakirkham) 將在 conda-smithy 上開啟一個問題以調查 Drone 問題。(ping aarch 團隊)

  • (ED) 關於我們頁面?FAQ 和每個人是誰的某種組合。FAQ 諸如

    • CF <> Anaconda、CF <> NumFocus、CF <> Azure 的 POC 是誰
    • 各個子團隊的 POC 是誰?
    • 非正式資訊:角色、日常工作、簡歷、所有細節、你為什麼在這裡等等。
    • 公開還是內部?我どちらでもいい。任何人強烈傾向於某種方式嗎?
    • 選擇加入公開簡歷
    • 軟體木工坊有大量講師,並有 https://carpentries.org/instructors
    • 有人擔心「又一個保持內容更新的地方」
  • (ED) 記錄使用 conda-forge 實現可重現環境的策略

  • (UK) 靜態函式庫相關內容

    • 新增 linting 提示到建置中以找到它們
    • 建議如何封裝它們 -> CFEP-18
    • 我們應該撰寫文件說明我們不提供支援,這是一個壞主意。 -> CFEP-18