Awesome Software Engineering for Machine Learning
Software Engineering for Machine Learningを扱う資料や関連プロジェクトをまとめたAwesomeリストです。
目次
幅広い概観
これらのリソースはあらゆる側面を扱います。
- AI Engineering: 11 Foundational Practices ⭐
- Best Practices for Machine Learning Applications
- Engineering Best Practices for Machine Learning ⭐
- Hidden Technical Debt in Machine Learning Systems 🎓⭐
- Rules of Machine Learning: Best Practices for ML Engineering ⭐
- Software Engineering for Machine Learning: A Case Study 🎓⭐
データ管理
機械学習で使うデータセットの管理方法。
- A Survey on Data Collection for Machine Learning A Big Data - AI Integration Perspective_2019 🎓
- Automating Large-Scale Data Quality Verification 🎓
- Data management challenges in production machine learning
- Data Validation for Machine Learning 🎓
- How to organize data labelling for ML
- The curse of big data labeling and three ways to solve it
- The Data Linter: Lightweight, Automated Sanity Checking for ML Data Sets 🎓
- The ultimate guide to data labeling for ML
モデル訓練
モデル訓練実験の整理方法。
- 10 Best Practices for Deep Learning
- Apples-to-apples in cross-validation studies: pitfalls in classifier performance measurement 🎓
- Fairness On The Ground: Applying Algorithmic FairnessApproaches To Production Systems🎓
- How do you manage your Machine Learning Experiments?
- Machine Learning Testing: Survey, Landscapes and Horizons 🎓
- Nitpicking Machine Learning Technical Debt
- On Comparing Classifiers: Pitfalls to Avoid and a Recommended Approach 🎓⭐
- On human intellect and machine failures: Troubleshooting integrative machine learning systems 🎓
- Pitfalls and Best Practices in Algorithm Configuration 🎓
- Pitfalls of supervised feature selection 🎓
- Preparing and Architecting for Machine Learning
- Preliminary Systematic Literature Review of Machine Learning System Development Process 🎓
- Software development best practices in a deep learning environment
- Testing and Debugging in Machine Learning
- What Went Wrong and Why? Diagnosing Situated Interaction Failures in the Wild 🎓
デプロイと運用
本番環境でモデルをデプロイ・運用する方法。
- Best Practices in Machine Learning Infrastructure
- Building Continuous Integration Services for Machine Learning 🎓
- Continuous Delivery for Machine Learning ⭐
- Continuous Training for Production ML in the TensorFlow Extended (TFX) Platform 🎓
- Fairness Indicators: Scalable Infrastructure for Fair ML Systems 🎓
- Machine Learning Logistics
- Machine learning: Moving from experiments to production
- ML Ops: Machine Learning as an engineered disciplined
- Model Governance Reducing the Anarchy of Production 🎓
- ModelOps: Cloud-based lifecycle management for reliable and trusted AI
- Operational Machine Learning
- Scaling Machine Learning as a Service🎓
- TFX: A tensorflow-based Production-Scale ML Platform 🎓
- The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction 🎓
- Underspecification Presents Challenges for Credibility in Modern Machine Learning 🎓
- Versioning for end-to-end machine learning pipelines 🎓
社会的側面
効果的なコラボレーションと説明責任を確保するため、チーム・プロジェクトを組織する方法。
- Data Scientists in Software Teams: State of the Art and Challenges 🎓
- Machine Learning Interviews
- Managing Machine Learning Projects
- Principled Machine Learning: Practices and Tools for Efficient Collaboration
ガバナンス
- A Human-Centered Interpretability Framework Based on Weight of Evidence 🎓
- An Architectural Risk Analysis Of Machine Learning Systems
- Beyond Debiasing
- Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing 🎓
- Inherent trade-offs in the fair determination of risk scores 🎓
- Responsible AI practices ⭐
- Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims
- Understanding Software-2.0 🎓
ツール
ツールは作業を容易にできます。
ここではオープンソースツール、または研究向けに実質的な無料パッケージを提供する商用プラットフォームだけを共有します。
- Aim - オープンソースの実験追跡ツール。
- Airflow - ワークフローをプログラムで作成、スケジュール、監視する。
- Alibi Detect - 外れ値、敵対的サンプル、ドリフト検出に焦点を置くPythonライブラリ。
- Archai - ニューラルアーキテクチャ探索。
- Data Version Control (DVC) - データ・ML実験管理ツール。
- Facets Overview / Facets Dive - 機械学習データセットの理解を助ける堅牢な可視化。
- FairLearn - 機械学習モデルの公平性を評価・改善するツールキット。
- Git Large File System (LFS) - データセットなどの大きなファイルをGit内のテキストポインターに置き換える。
- Great Expectations - パイプライン統合を備えたデータ検証・テスト。
- HParams - 機械学習プロジェクト向けの慎重な設定管理アプローチ。
- Kubeflow - MLパイプラインを構築・実験したいデータサイエンティスト向けプラットフォーム。
- Label Studio - 標準化された出力形式を持つ複数種類のデータラベル付け・アノテーションツール。
- LiFT - LinkedInの公平性ツールキット。
- MLFlow - 実験、デプロイ、中央モデルレジストリを含むMLライフサイクルを管理する。
- Model Card Toolkit - モデルドキュメント用のモデルカード生成を合理化・自動化する。
- Neptune.ai - データサイエンスプロジェクトへ組織化・コラボレーションをもたらす実験追跡ツール。
- Neuraxle - 深層学習プロジェクトのハイパーパラメーター調整・AutoML向けSklearn風フレームワーク。
- OpenML - 機械学習のためのオープンで組織化されたオンラインエコシステムを構築する包括的な運動。
- PyTorch Lightning - 高性能AI研究向けの軽量PyTorchラッパー。ボイラープレートではなくモデルをスケールする。
- REVISE: REvealing VIsual biaSEs - 視覚データセット内のバイアスを自動検出する。
- Robustness Metrics - 分類モデルのロバスト性を評価する軽量モジュール。
- Seldon Core - Kubernetes上で数千の本番機械学習モデルをパッケージ化、デプロイ、監視、管理するMLOpsフレームワーク。
- Spark Machine Learning - 一般的な学習アルゴリズム・ユーティリティから成るSparkのMLライブラリ。
- TensorBoard - TensorFlowの可視化ツールキット。
- Tensorflow Extended (TFX) - 本番MLパイプラインをデプロイするエンドツーエンドプラットフォーム。
- Tensorflow Data Validation (TFDV) - 機械学習データを探索・検証するライブラリ。Great Expectationsに似るがTensorflowデータ向け。
- Weights & Biases - 実験追跡、モデル最適化、データセットバージョニング。
寄稿
寄稿を歓迎します！まず寄稿ガイドラインを読んでください。