MACのローカル環境にControlNetを利用したて画像生成を行う方法をまとめました。 これを読めばご自身のMACのパソコンでControlNetを利用して狙った画像を何枚でも生成できるようになります。 1.はじめに ControlNetはGoogle ColabによるComfyUIやGPU搭載のPCで画像生成を ...

イラストのスタイルを実写に変換する際、従来のimage-to-image (i2i) 手法では、変換元画像の特徴を維持しながらの変換が困難でした。今回は、その課題をComfyUIのConrolNetで解決します！ こんにちわ、AICU media編集部です。 「ComfyUI マスターガイド」第26回目に ...

“棒人間”姿のVRアバターで取ったポーズを基に、画像生成AIで出力する美少女イラストの姿勢を指定する――こんなチャレンジをした人がいる。生成するキャラクターのポーズを制御できる技術を活用したもので、VR空間でアバターを動かせばいいので ...

AIでのイラスト生成時、キャラクターに自由なポーズを取らせることができる──そんな新技術が話題だ。その名は「ControlNet」。2月10日に論文が投稿されると、数日後にはStable Diffusion用WebUI向けの拡張機能がGitHubに登場。15日には、AIイラストに注目する ...

Stable Diffusionなどの事前学習済みモデルに対して、輪郭線や深度、画像の領域区分(セグメンテーション)情報などを追加して出力をサポートする技術が「ControlNet」です。このControlNetを使うことで、別途に読み込ませた画像に写っている線画や人の姿勢などを ...

Official implementation of Adding Conditional Control to Text-to-Image Diffusion Models. ControlNet is a neural network structure to control diffusion models by adding extra conditions. It copys the ...

News: A nightly version of ControlNet 1.1 is released! ControlNet 1.1 is released. Those new models will be merged to this repo after we make sure that everything is good. Below is ControlNet 1.0 ...

画像生成AIに対して画面上の棒人間（ボーン）を使ってポーズを指示できる「ControlNet」が発表された。米スタンフォード大学のLvmin Zhang氏とManeesh Agrawala氏により、論文と、画像生成AI「Stable Diffusion」向けの拡張機能が公開されている。 テキストでは難しい ...

近年はテキストから音楽を生成するAIツールが進歩を遂げ、さまざまなスタイルで高品質の音楽を生成できるようになっていますが、従来のテキストによる生成ではビートの位置や音楽のダイナミクス(強弱)など、時間と共に変化する属性を制御するのが ...