process-executor

ドキュメント

  • Quick Start
    • 基本形
    • submit と wait
    • job の状態と結果
    • worker を確認する
    • constructor arguments を渡す
    • SharedContext を使う
    • 終了処理
    • 最初に理解しておく制約
  • process-executor
    • Quick Start
      • 基本形
      • submit と wait
      • job の状態と結果
      • worker を確認する
      • constructor arguments を渡す
      • SharedContext を使う
      • 終了処理
      • 最初に理解しておく制約
  • Quick Start
    • 既存クラスをそのまま worker にする
  • 1. ProcessExecutor が抽象化しているもの
  • 2. constructor の全体像
  • 3. worker_count
  • 4. worker_class と worker_factory
    • worker_class
    • worker_factory
  • 5. worker process が保持する instance
  • 6. SharedContext
  • 7. jobs と workers と state は同じ dictionary ではない
  • 8. lock
  • 9. submit
  • 10. job ID の意味
  • 11. queued
  • 12. worker startup
  • 13. 親側 _processes と共有 workers の違い
  • 14. worker readiness
  • 15. idle
  • 16. worker が job を取る
  • 17. job を running にする
  • 18. handler dispatch
  • 19. handler 名と安全境界
  • 20. succeeded
  • 21. failed
  • 22. handler failure 後の worker
  • 23. state(job_id)
  • 24. job(job_id)
  • 25. jobs()
  • 26. worker(worker_id)
  • 27. workers()
  • 28. result(job_id)
  • 29. wait(job_id)
  • 30. timeout は execution cancellation ではない
  • 31. cancellation
  • 32. priority
  • 33. ordering
  • 34. job metadata の timestamp
  • 35. worker metadata
  • 36. worker ID
  • 37. stop sentinel
  • 38. close()
  • 39. close() と running job
  • 40. context manager
  • 41. dead worker detection
  • 42. replenish が呼ばれるタイミング
  • 43. worker recovery と job recovery は別
  • 44. process-level failure
  • 45. factory failure
  • 46. startup failure が継続する場合
  • 47. daemon worker
  • 48. Manager
  • 49. Queue
  • 50. args / kwargs
  • 51. result の保存
  • 52. job retention
  • 53. dead worker metadata retention
  • 54. logger
  • 55. snapshot helper
  • 56. timestamp helper
  • 57. parent から SharedContext を取得する
  • 58. SharedContext は domain schema を持たない
  • 59. shared state を使うべき場合
  • 60. shared lock を使うべき場合
  • 61. 一つの physical resource と複数 worker
  • 62. worker_count を増やす意味
  • 63. CPU-bound job
  • 64. I/O-bound job
  • 65. 上位同期 API
  • 66. 上位非同期 API
  • 67. FastAPI 等との境界
  • 68. unknown job ID
  • 69. failed result の exception
  • 70. result object と snapshot
  • 71. submit arguments の検証範囲
  • 72. worker class constructor arguments
  • 73. factory に渡る worker ID
  • 74. worker metadata 登録前の failure
  • 75. worker stop metadata
  • 76. close 後の metadata
  • 77. close の idempotency
  • 78. result の None
  • 79. error の None
  • 80. metadata update pattern
  • 81. jobs dictionary と lock
  • 82. workers dictionary と lock
  • 83. Queue の STOP 数
  • 84. close と queued jobs
  • 85. submit と close の concurrency
  • 86. multiprocessing start method と platform
  • 87. pickle と worker factory
  • 88. physical device object を直接渡す問題
  • 89. worker-local connection
  • 90. single resource broker
  • 91. job state machine
  • 92. worker state machine
  • 93. state machine にない状態を作らない
  • 94. handler の粒度
  • 95. long-running handler
  • 96. starvation と fairness
  • 97. backpressure
  • 98. persistence
  • 99. remote execution
  • 100. ProcessExecutor の適用範囲
  • 101. ProcessExecutor が現在持たないもの
  • 102. 実例: 単純な計算
  • 103. 実例: state を観測する
  • 104. 実例: worker を観測する
  • 105. 実例: shared counter
  • 106. 実例: parent から shared state を読む
  • 107. 実例: 同期 facade
  • 108. 実例: job-oriented facade
  • 109. 実例: timeout 後に再確認する
  • 110. 実例: failed job の traceback
  • 111. 実例: close
  • 112. API Reference
  • 113. 手動本文と自動 API の役割
  • 114. documentation build
  • 115. GitHub Pages workflow
  • 116. source と documentation の同期
  • 117. 設計変更時の確認軸
  • 118. 現在の実装を一枚で読む
  • 119. まとめ
  • 120. Source-derived API inspection
    • __init__
    • shared_context
    • submit
    • state
    • job
    • jobs
    • worker
    • workers
    • result
    • wait
    • close
    • __enter__
    • __exit__
    • _start_workers
    • _start_worker
    • _replenish_workers
    • SharedContext
  • APIリファレンス
    • process_executor
      • process_executor package
        • ProcessExecutor
        • SharedContext
        • Submodules
        • process_executor.executor module
        • process_executor.shared_context module
process-executor
  • APIリファレンス
  • process_executor
  • View page source

process_executor

  • process_executor package
    • ProcessExecutor
      • ProcessExecutor.close()
      • ProcessExecutor.job()
      • ProcessExecutor.jobs()
      • ProcessExecutor.result()
      • ProcessExecutor.shared_context
      • ProcessExecutor.state()
      • ProcessExecutor.submit()
      • ProcessExecutor.wait()
      • ProcessExecutor.worker()
      • ProcessExecutor.workers()
    • SharedContext
    • Submodules
    • process_executor.executor module
      • ProcessExecutor
        • ProcessExecutor.close()
        • ProcessExecutor.job()
        • ProcessExecutor.jobs()
        • ProcessExecutor.result()
        • ProcessExecutor.shared_context
        • ProcessExecutor.state()
        • ProcessExecutor.submit()
        • ProcessExecutor.wait()
        • ProcessExecutor.worker()
        • ProcessExecutor.workers()
    • process_executor.shared_context module
      • SharedContext
Previous Next

© Copyright .

Built with Sphinx using a theme provided by Read the Docs.