Можно ли указать переводчику, чтобы в переводе СОР на украинский язык он записал фамилию так, как она произносится, т.е. с мягким знаком?

Переводчику вы можете указать все, что вам угодно. Вы же ему деньги платите. А он лишь оказывает вам услугу.

Или есть какие-то правила, что каждая буква просто транслитетируется отдельно

Есть такие-то правила. Впорядкування транслітерації українського алфавіту латиницею, называются. Там 32 буквы подлежащие транслитерации и ни мягкого, ни твердого знаков среди них нет.

так что фамилия будет писаться без мягкого знака, ".......х" вместо ".......хь" (т.к. в латинском алфавите нет буквы-эквивалента мягкому знаку)?

Более того, читаться она будет совсем не так, как вам хочется. Например, Teppich, gleich, Bereich это Теппіч, глеіч, Береіч, а вовсе не то мягкое ...хь, которое вы слышите в немецком произношении.

если фамилия будет записана кириллицей все-таки с мягким знаком

То это будет совсем другая фамилия.

и если ребенок будет какое-то время жить в Украине

(Оставим за скобками сам собой напрашивающийся вопрос - а нафига это ему нада?)

не будет ли проблем с мягким знаком? (например, будут получены какие-то документы, например, школьные аттестаты, и при переводе документов на немецкий чиновники начнут что-то мудрить с этим мягким знаком?)

Смотря что считать проблемами. Например, из немецкой Horch украинская Хорьхь не получится. Хорошо, если будет Хорх, а не Хорч. Простой транслитерацией тут не обойтись. Но и иметь одному и тому же человеку разные фамилии одновременно в немецком и украинском паспортах никто не запрещает.