llm load_datasetからdata_collatorまで
Zenn · 2024-01-14
概要 llmを学習する際にデータをロードしてmodelにデータを渡すまでの流れをまとめました。 今までなんとなくの雰囲気でやっていたので、整理するためのメモです。 load_dataset Hugging Face Hubまたはローカルファイルから学習データをロードする。
概要 llmを学習する際にデータをロードしてmodelにデータを渡すまでの流れをまとめました。 今までなんとなくの雰囲気でやっていたので、整理するためのメモです。 load_dataset Hugging Face Hubまたはローカルファイルから学習データをロードする。
たびたび話題になってる気がしますが以下のようなポストが流れてきました。https://x.com/yuiyui12322/status/1746002374869795047?s=20これについ…
Node.jsでヘッドレスブラウザを用いたテスト自動化のためのフレームワーク「Puppeteer」が、ブラウザ自動化の次世代標準である「WebDriver BiDi」（「BiDi」は双方向を表すため、読みは「ウェブドライバー バィディ」との...
GithHubは、今後はAPI仕様を記述する業界標準であるOpenAPIに対応した生成ツールで生成したAPIクライアントをSDKとして提供することを明らかにしました。 現在まで同社は「Octokit」と呼ばれるSDKを提供しています。これは...
<a href="https://mwskwong.com/blog/migrating-from-zod-to-valibot-a-comparative-experience">https://mwskwong.com/blog/migrating-from-zod-to-v
GitHubは、同社公式の認定資格制度として「GitHub Actions Certification」や「GitHub Administration Certification」などを一般向けに公開開始したと発表しました。 Unlock ...
作ったもの↓環境:Kotlin +Jetpack Compose開発期間:3週間かかった費用:約3000円 (ChatGPT4.0 1か月/30ドル)※自分が遊ぶ目的のためアプリ公開はしてな…
Remix v2.5.0 で SPA Mode がサポートされました。(unstable) SPA Mode 導入の背景 Remix は React をベースとし、Web 標準に基づいた API で構築されるフルスタックフレームワークです。 Remix はリリース当初からサー
はじめにこの記事では、GitHub Actionsを使って、Dockerのイメージなどの変更やパッケージ管理ファイルの変更などがmainブランチにマージされたときに、他の開発者にnpm insta…
JavaScriptのイベントとは？ユーザがボタンをクリックしたり、キーボードで入力したりなど操作することで何らかの動作をする、きっかけのことです。イベントの設定はaddEventListene…
はじめに React Developer Roadmap 2024 を眺めつつ筆者の独り言を書く記事です。筆者の React 歴は 3 年ちょっとです。 https://roadmap.sh/react Visit JavaScript Roadmap React のロ
はじめにこんにちは！！ Watanabe Jin (@Sicut_study)です！突然ですが、皆さんは踏絵をご存知ですか？？「踏絵」は、十字架やキリスト像、マリア像などが描かれた板を踏ませ…
はじめに この記事は、Lancers（ランサーズ） Advent Calendar 2023 の22日目の記事です。 本来公開すべき日付から3週間以上たっていますが、気にしないでください。(^^;) フロントエンドエンジニアの谷（@high_g_engineer）です。 本記
はじめにこんにちは、都内でソフトウェアエンジニアとして活動しているYSasagoです。AWS re:Invent 2023の基調講演でDr. Werner Vogelsによって発表されたAWS …
先日 Flutter大学で共同開発15 が始まりました。 今回私は「Yo-Hey-Guild」というプロジェクトをやってみることにしました。 https://github.com/flutteruniv/yoheiguild Yo-Hey-Guild とは Flutter大学
はじめに以前、AutoScalingでスケールアウト時に、別VPCに作っておいたENIをアタッチする内容を記事にしました。https://qiita.com/a_b_/items/136fb26…
はじめにQiitaの投稿記事の情報をサクッと可視化しましょう。Power BIとQiita APIを利用して3分で完成します👌https://qiita.com/api/v2/docs記事の…
はじめに実行環境はこちらを参照して下さい。https://qiita.com/Mind-Club_2017/items/0fdad646aff08a87618dライブラリはこちらを参照して下さ…
2023年もCSSの進化がすごかったですね！ その進化を2024年でも生かしていけるように、今回まとめておいていつでも参照できるように記事を書こうと思いました。 お読みいただけると幸いです。 一緒に2024年もスタートダッシュで走り抜けましょう。 まず、はじめに この記事では