Hatena Blog Tags
はてなブログ トップ
mlflow
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

mlflow

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
SeaHub•5ヶ月前

水産業の課題解決を目指す機械学習：GeminiとMLflowで積み重ねる私の学びの記録

はじめに 私はAI（Gemini等）を活用した機械学習の学習体験や、その成果を効率的に管理するMLflowの利用について、複数の記事で紹介しています。 これらの記事は、私が機械学習を学び、将来的に水産業の課題解決に貢献したいという思いから始めた、これまでの学習記録です。 Google Gemini を先生として機械学習の基礎を固め、Kaggleの「タイタニック号生存者予測」のような実践的な課題に取り組みました。 さらに、試行錯誤のプロセスを効率的に管理し、実験の再現性を確保するためMLflow を導入。 水槽の魚の数から酸素濃度を予測するモデル構築 や、その先にあるアクアポニックスへの応用まで…

#生成AI#アクアポニックス

関連ブログ

every Tech Blog•5ヶ月前

デリッシュAIの評価基盤を改善した話

デリッシュAIの評価基盤を改善した話 はじめに こんにちは、デリッシュキッチンでインターンをしている村上です。本記事では、料理アシスタント「デリッシュAI」の評価基盤を改善し、より多角的な性能評価を可能にした取り組みについて紹介します。 背景 デリッシュAIは、ユーザーのクエリに応じてチャット形式でレシピを提案する料理アシスタントです。AIモデルはDatabricks上で動作し、評価にはMLflowのAgent Evaluationを利用しています。 docs.databricks.com 従来の評価基盤では、AIが生成するコメントの安全性や正確性といった限定的な側面に留まっていました。これに…

#LLM#Databricks#LLM-as-a-Judge#mlflow#2025_summer_internship
every Tech Blog•6ヶ月前

MLflow Tracing時に並行処理するとTracingが分かれる問題への対処法

はじめに こんにちは。デリッシュキッチンでデータサイエンティストをしている古濵です。 今回はニッチな内容ですが、タイトル通りの問題が発生したため、その対処法について備忘録的にまとめます。 動作環境は以下になります。 Databricks Runtime: 15.4LTS for ML Python: 3.11.11 ライブラリはDatabricks Runtimeのバージョンから以下にアップグレードしています openai==1.65.2 mlflow==2.20.3 pydantic==2.10.6 databricks-agents==0.16.0 databricks-sdk==0.50…

#mlflow#OpenTelemetry#OpenAI API#Databricks#Databricks MLFlow
CCCMKホールディングス TECH LABの Tech Blog•6ヶ月前

DSPyとMLflowで LLMアプリケーションを開発！

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 先日、今年6月に開催されたdatabricksのDATA+AI Summit2025を振り返るdatabricksのユーザー会に参加し、LT枠で登壇させていただきました。 jedai.connpass.com 大分前からLLMアプリケーション開発フレームワーク"DSPy"をテーマにしてお話したい！と考えていました。DSPyは"Programming-not prompting-LMs"というメッセージを掲げた、AIアプリケーションの構築をプロンプトエンジニアリングに頼るのではなく、Moduleの組み合わせ (プログラミング) と…

#AI#mlflow
CCCMKホールディングス TECH LABの Tech Blog•6ヶ月前

MLflowのPrompt Registryを使ってみる！

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。 生成AI周りの機能がアップデートされたMLflowに、ベータ版の機能で"Prompt Registry"が搭載されていました。この機能はプロンプトエンジニアリングの効率化を目的とした機能で、生成AIアプリに搭載するプロンプトの編集、バージョン管理、タグ付け等を行うことが出来ます。Prompt Registryに登録されたプロンプトはコマンド一つでダウンロードすることが可能です。 今回の記事では、現在ベータ版であるPrompt Registryを触って調べてみたことをまとめたいと思います。おそらく今後様々なアップデートが行われ、現…

#AI#生成AI#mlflow
APC 技術ブログ•1年前

MLflow & Hyperopt を活用したDatabricks上での機械学習効率化①（ベースラインモデルの訓練まで）

はじめに GLB事業部Lakehouse部の長尾です。 本ブログ（と後編）では、Databricks社の Training machine learning models on tabular data: an end-to-end example (Unity Catalog) を参照して（2025年1月16日時点）、MLflow & Hyperoptを活用したDatabricks上で機械学習を効率化させるための実装・管理方法について紹介します。 ひとつのパターンとして本ブログでの一連の実行の流れを覚えておけると他のケースでも応用できるのではないかと考えています。 ※本ブログは上記参照先の内…

#Databricks#mlflow#Hyperopt#machine learning
every Tech Blog•1年前

Databricks Asset Bundlesを活用したAIプロダクトのCI/CDパイプライン

こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 最近はAIプロダクト開発をメインで担当しています。 今回は、Databricks Asset Bundlesを活用して、AIプロダクト開発向けにCI/CDパイプラインを整備した内容をまとめます。 Databricks Asset Bundlesとは Databricks Asset Bundlesは、データやAIプロジェクトでソフトウェア開発におけるソース管理、コードレビュー、テスト、CI/CDなどを導入しやすくするツールです。 簡単に言えば、Databricksの各種リソースをInfrastructure…

#LLM-as-a-Judge#Databricks#mlflow#CI/CDパイプライン
CCCMKホールディングス TECH LABの Tech Blog•1年前

DatabricksでOllamaを使ったLLMアプリの実験と検証をやってみました！

こんにちは、CCCMKホールディングスTECH LABの三浦です。 だいぶ気温が下がって、空気が乾燥してきたように感じます。すぐに手がしもやけになってしまうので、外に出る時は手袋をするようにしないと・・・と思います。 はじめに 先日Databricksの年次のイベント"Data + AI World Tour 2024 Tokyo"に参加しました。他社様のLLMを使った取り組みを聞くことが出来て、とても刺激になりました。特にLLMの動作の検証は単に「いい感じの結果が生成された」という感覚的な評価でなく、定量的な評価もしている、という他社様の取り組みを聞き、自身の今のLLMへの取り組み方を見直さ…

#生成AI#Databricks#LLM
CCCMKホールディングス TECH LABの Tech Blog•1年前

DatabricksでMLflow Tracingを使ってLLM Agentの内部処理を確認してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 なんだか急に気温が下がり、秋めいてきました。秋は美味しいものが多く、外を歩くのも気持ちがいいので一年で一番好きな時期です。 LLM AgentはLarge Language Model(LLM)にWeb APIやデータベース検索機能をツールとして与え、ユーザーの入力に対してそれを解くための計画を作らせ、必要なツールを実行し、その結果を使って回答を生成させる手法です。LLMを有効に活用する方法として、LLM自体の性能向上と並行して注目しています。 LLM Agentはユーザー目線で見れば入力した質問に対して回答が返ってくるだけ…

#生成AI#Datbricks
APC 技術ブログ•2年前

Building Enterprise-Grade GenAI Apps with MLflow and Vector Search（MLflowとベクトル検索を用いたエンタープライズグレード生成AIアプリの構築）

セッションでは、Mosaic AIに関わるアーキテクチャと戦略に深く掘り下げ、ジェネレーティブAIでの進歩と、プロンプトエンジニアリングおよびRAG（Retrieval Augmented Generation）に関連する実用的なアプリケーションや方法論に焦点が当てられました。 これらの重要なコンポーネントは、企業環境内でのAI能力の拡大のための重要な基盤を形成し、意思決定の精度を向上させます。 このセッションの参加者は、MLflowおよびベクターサーチなどのツールを利用して、エンタープライズグレードのジェネレーティブAIアプリケーションの開発と実装に関して、深い理解を得る事ができました。 1…

#Databricks#Data + AI SUMMIT#dais2024#生成AI/LLM#governance