1. はじめに 近年、機械学習、特に深層学習が急速に発展し、さまざまな分野でその効果が実証されています。深層学習は、人工ニューラルネットワークを用いて複雑な問題を解決するための手法であり、画像認識や自然言語処理などの分野で優れた成果を上げてい…

情報幾何を体系的に理解するためにまず全体像をおおまかにまとめてみます。個別のトピックに関しての記事を随時追加していくつもりです。 1. はじめに 1.1. 情報幾何学とは 情報幾何学は、確率分布や確率モデルの空間における幾何学的構造を研究する学問分野…

目次 はじめに モデルアーキテクチャの最適化 学習プロセスの最適化 データパイプラインの最適化 ハードウェアの最適化 メモリプロファイリングとモニタリング まとめ はじめに 近年、深層学習モデルは画像認識、自然言語処理、強化学習など、様々な分野で驚…

LoRA: Low-Rank Adaptation of Large Language Models 元論文 arxiv.org 公式実装 github.com 目次 はじめに LoRAの概要 LLMへの適用方法 実験と評価 LoRAの利点と応用例 まとめと今後の展望 はじめに LLMの課題 近年、LLM(大規模言語モデル)が多くの自然言…

本記事では、時系列モデリング手法HiPPOの理解を目指し、著者実装をstep-by-stepで動かす。 参考にする著者実装はこちら。 github.com なお、HiPPOの理論は第一部の記事にまとめたのでそちらも参照されたい。 dosuex.com 必要モジュールのインポート from fu…

ICLR2022で発表された、新しい時系列モデリング手法としてS4(Structured State Space Sequence model)というものがある。S4は長距離ベンチマークで従来手法を圧倒的性能で破って話題となった。 S4の論文はいくつかの研究の集大成となっており、核となる技術…

目次 目次 本シリーズについて アンサンブルカルマンフィルタ 適用 参考書籍 本シリーズについて 非線形現象に対するカルマンフィルタを本で勉強したのでメモも兼ねてまとめます. 前回の記事 dosuex.hatenablog.com では状態遷移、観測がともに線形である(行…

目次 目次 本シリーズについて TL;DR カルマンフィルタ カルマンスムーザ 実装 参考資料 本シリーズについて 非線形現象に対するカルマンフィルタを本で勉強したのでメモも兼ねてまとめます. 観測データに基づいて, 線形確率システムの状態ベクトルを逐次的…