ゲームが完成するかどうかで考えると、きちんと仕事出来るレベルでないといけないのはプログラマーです。
他の要素は職人レベルでなくても、良いか悪いかは別としてゲームは完成します。
そして音楽や絵はほとんどの人が下手か上手か簡単に判断できることが多いでしょう。

ですので難易度が高いのはプログラマー＞絵師、音楽＞ストーリーではないでしょうか。

ただ、上手なストーリー展開を作るとなると一番難しいのがストーリーではないでしょうか？
プログラムや絵は練習で上手になってもストーリーの発想能力はなかなか鍛える事はできませんよね。
ゲーム中の文言で効果的にプレイヤーに伝える文章能力、綿密な設定や想像力など数えればきりがありません。

なので、どの要素でもちゃんとしようと思えば難易度は一緒だと思いますが、手が出しやすいのはストーリーかな、と思います。
売れないアーティストが世の中にはたくさんいるので音楽も難しさという意味では同じぐらいの難易度かもしれませんね。

ストーリー投げたい人はシステム寄りの職人さんか絵師でしょ。

どっちもフリゲでは珍しいパターンだと思う。
ストーリー自分で考えたい人のが多数派

とても楽しい事ですよ。私の場合はキャラクターとの掛け合いから
ストーリーを発展させていくやり方ですが、ゲーム制作の肝っていうくらい楽しい事です。
人それぞれ得意分野はありますが、多分慣れの問題もあるのかもしれませんね。