Для любой страны вам придется для начала легализовать документ. Способы легализации для всех стран разные, нужно уточнять. Если говорить конкретно о Германии, то она - участник Гаагской конвенции 1961 года. Среди стран, подписавших эту конвенцию, значительно упрощена процедура легализации документов. То есть вам придется просто поставить штамп "апостиль" на документ. Что это такое можно тут почитать http://apostil-info.ru/, там же про легализацию много всего.
Что касается именно "веса" вашего диплома, то все зависит от ВУЗа, где вы получили образование. То есть, даже если вы легализуете документ, выданный неизвестным коммерческим ВУЗом, не факт что работодателя он устроит.